Прошел месяц и тут, как ни в чем не бывало, сначала хотел вернуться к теме инвалидации кэша в Redis, но потом решил, что лучше написать что-то поинтереснее (по крайней мере, на мой взгляд).
Пока я готовил материалы к докладу по ИИ, наткнулся на интересную статью по использованию LLM для анализа бизнес-требований.
Если супер-кратко, то в 25 году исследователи решили проверить, насколько поможет при запросе в LLM некоторое количество качественных референсов.
Для начала дополнительный термин в копилку:
🔹in-context learning - это процесс обучения модели прямо в контексте запроса.
Простой пример in-context learning:
Далее примеры в виде пар "Требование" и "Метка" (однозначное/неоднозначное).
И в конце целевой текст, который требуется проверить.
То есть суть здесь в том, чтобы прямо в запросе дополнительно передавать какое-либо количество эталонных примеров.
Вывод статьи: чем больше примеров в запросе, тем лучше, но в тестах значительный отрыв продемонстрировал именно пример с 10 эталонными примерами.
Эти выводы, на самом деле, мне стали интересны (и могут заинтересовать вас) сразу по нескольким причинам:
1️⃣ когда я настраивал свою систему AI-агентов, которые разбирают обращения пользователей, я использовал поиск по старым, уже разобранным обращениям и закидывал в контекст 3-4 примера ранее разобранных обращений.
Так вот - можно смело пихать 10 и болше и проверять результаты. Хотя я и не думал это тестировать.
2️⃣ нам далеко не всегда нужны RAG-платформы и полноценное понимание контекста для решения нашей задачи. То есть процесс дообучения моделей, создания сложной базы знаний, проектирование гибридного поиска по внешней памяти - это конечно круто и очень полезно, но это долго, муторно и все-равно создает проблему "экспертного лжеца".
Ведь если просто скормить LLM вашу документацию, то, при галлюцинациях - она станет ОЧЕНЬ эффективно вам врать со ссылками, что будет действительно порой сложно проверить.
Поэтому для каких-то задач действительно стоит использовать LLM как чистый лист и обучать прямо в запросе.
3️⃣ исходя из предыдущего - нам пока что все-равно не следует избавляться от человека в ходе работы LLM, цена ошибки все-таки высока. НО, всегда надо держать в голове, что, переусложняя процесс обучения и работы LLM - результаты ее работы становится все сложнее проверять.
@nobrstories #LLM
Пока я готовил материалы к докладу по ИИ, наткнулся на интересную статью по использованию LLM для анализа бизнес-требований.
Если супер-кратко, то в 25 году исследователи решили проверить, насколько поможет при запросе в LLM некоторое количество качественных референсов.
Для начала дополнительный термин в копилку:
🔹in-context learning - это процесс обучения модели прямо в контексте запроса.
Простой пример in-context learning:
"Ты - эксперт в бизнес-анализе. Определи, является ли требование неоднозначным.
Вот примеры:"
Далее примеры в виде пар "Требование" и "Метка" (однозначное/неоднозначное).
И в конце целевой текст, который требуется проверить.
То есть суть здесь в том, чтобы прямо в запросе дополнительно передавать какое-либо количество эталонных примеров.
Вывод статьи: чем больше примеров в запросе, тем лучше, но в тестах значительный отрыв продемонстрировал именно пример с 10 эталонными примерами.
Эти выводы, на самом деле, мне стали интересны (и могут заинтересовать вас) сразу по нескольким причинам:
1️⃣ когда я настраивал свою систему AI-агентов, которые разбирают обращения пользователей, я использовал поиск по старым, уже разобранным обращениям и закидывал в контекст 3-4 примера ранее разобранных обращений.
Так вот - можно смело пихать 10 и болше и проверять результаты. Хотя я и не думал это тестировать.
2️⃣ нам далеко не всегда нужны RAG-платформы и полноценное понимание контекста для решения нашей задачи. То есть процесс дообучения моделей, создания сложной базы знаний, проектирование гибридного поиска по внешней памяти - это конечно круто и очень полезно, но это долго, муторно и все-равно создает проблему "экспертного лжеца".
Ведь если просто скормить LLM вашу документацию, то, при галлюцинациях - она станет ОЧЕНЬ эффективно вам врать со ссылками, что будет действительно порой сложно проверить.
Поэтому для каких-то задач действительно стоит использовать LLM как чистый лист и обучать прямо в запросе.
3️⃣ исходя из предыдущего - нам пока что все-равно не следует избавляться от человека в ходе работы LLM, цена ошибки все-таки высока. НО, всегда надо держать в голове, что, переусложняя процесс обучения и работы LLM - результаты ее работы становится все сложнее проверять.
@nobrstories #LLM