Вчера я провел AI Discovery Workshop для одного клиента. Они пришли с таким запросом:
С этой отправной точки мы начали общение и провели workshop. Они поняли, как можно с иной перспективы посмотреть на решаемую ими проблему "мы экономим время экспертов и технарей" и упростить весь остальной продукт:
(1) поменять формулировку решения и декомпозицию задач.
(2) сформировать интерфейс/scope/ACL в рамках которого команда разработки будет общаться с бизнесом в процесс разработки продукта
(3) сформировать процесс общения команды разработки с экспертами по отладке этих станков (это те самые эксперты, время которых техники тратят запросами)
(4) свести решение к 1-2 простым промптам и паре техник (и выкинуть весь LangChain/LangGraph хлам подальше) [2]
(5) выстроить feedback loop так, чтобы осознанно улучшать качество системы и не допускать регрессий.
Разобрать UX решения для in-process сбора customer feedback мы уже не успели, т.к. истек час, который я отвел на workshop. Но этого часа уже было достаточно, чтобы они перестали смотреть в сторону тупичка имени гибридного RAG-а.
К слову, на workshop я их заманил фразой, что мы чат-ботов не делаем, но можем детально описать все те грабли, на которых они потеряют следующие 2-3 месяца своей жизни (т.к. я сам в прошлом году наступал, да и кейсов насмотрелся) 🙈
До предсказаний дело не дошло, клиента сразу заинтересовало то, как можно все упростить и сделать быстрее. В итоге R&D отдел международной компании ушел думать со словами “нам нужно переварить и согласовать бюджеты, но мы к вам обязательно вернемся, чтобы дальше продукт так двигать”.
Про конкретное решение данной бизнес проблемы я тут расказывать не буду, т.к. это очередное повторение всего того, что я рассказывал в канале в последние 6 месяцев. Вместо этого, обсасывание деталей кейса и симуляцию общения с клиентом оставим на практикум курса.
Но, если кому-то хочется обсудить то, как можно было бы подойти к данному кейсу и общению с клиентом - это можно сделать в комментариях этого поста.
Ваш, @llm_under_hood 🤗
[1] на самом деле, оборудование не совсем медицинское. Отрасль в этом посте я изменил, чтобы не раскрывать вчерашнего клиента. Но в MedTech я именно такие кейсы тоже видел. Они постоянно повторяются.
[2]
- Ринат, а какую библиотеку использовать вместо LangChain?
- OpenAI, Pydantic и matplotlib.
- А зачем matplotlib?
- Что Pydantic вопросов не вызывает - это уже очень хорошо. Matplotlib - чтобы визуализировать распределение ошибок системы на вашем наборе данных для валидации
Мы поставляем сложное медицинское оборудование [1]. Иногда что-то идет не так, и это оборудование надо отлаживать. Техники выгружают логи, смотрят ошибки, потом находят схожие кейсы в нашей документации и исправляют. Если все сложно - пробиваются до инженеров, отвлекают их, потом снова едут к клиенту и продолжают тратить время компании.
Что мы попробовали - LangGraph + LangChain, чтобы ужимать громадные файлы логов и извлекать релевантные статьи из проиндексированной базы знаний в Confluence(гибридный поиск).
Все хорошо, но система галлюцинирует. Она выдумывает типы ошибок и новые записи в логах. Ответы - бывают вообще недопустимые. Как нам исправить ситуацию?
Что думаем делать дальше:
(1) Self-RAG или еще какой вариант RAG
(2) fine-tuning
(3) лучше промпты
(4) предобработка логов
С этой отправной точки мы начали общение и провели workshop. Они поняли, как можно с иной перспективы посмотреть на решаемую ими проблему "мы экономим время экспертов и технарей" и упростить весь остальной продукт:
(1) поменять формулировку решения и декомпозицию задач.
(2) сформировать интерфейс/scope/ACL в рамках которого команда разработки будет общаться с бизнесом в процесс разработки продукта
(3) сформировать процесс общения команды разработки с экспертами по отладке этих станков (это те самые эксперты, время которых техники тратят запросами)
(4) свести решение к 1-2 простым промптам и паре техник (и выкинуть весь LangChain/LangGraph хлам подальше) [2]
(5) выстроить feedback loop так, чтобы осознанно улучшать качество системы и не допускать регрессий.
Разобрать UX решения для in-process сбора customer feedback мы уже не успели, т.к. истек час, который я отвел на workshop. Но этого часа уже было достаточно, чтобы они перестали смотреть в сторону тупичка имени гибридного RAG-а.
К слову, на workshop я их заманил фразой, что мы чат-ботов не делаем, но можем детально описать все те грабли, на которых они потеряют следующие 2-3 месяца своей жизни (т.к. я сам в прошлом году наступал, да и кейсов насмотрелся) 🙈
До предсказаний дело не дошло, клиента сразу заинтересовало то, как можно все упростить и сделать быстрее. В итоге R&D отдел международной компании ушел думать со словами “нам нужно переварить и согласовать бюджеты, но мы к вам обязательно вернемся, чтобы дальше продукт так двигать”.
Про конкретное решение данной бизнес проблемы я тут расказывать не буду, т.к. это очередное повторение всего того, что я рассказывал в канале в последние 6 месяцев. Вместо этого, обсасывание деталей кейса и симуляцию общения с клиентом оставим на практикум курса.
Но, если кому-то хочется обсудить то, как можно было бы подойти к данному кейсу и общению с клиентом - это можно сделать в комментариях этого поста.
Ваш, @llm_under_hood 🤗
[1] на самом деле, оборудование не совсем медицинское. Отрасль в этом посте я изменил, чтобы не раскрывать вчерашнего клиента. Но в MedTech я именно такие кейсы тоже видел. Они постоянно повторяются.
[2]
- Ринат, а какую библиотеку использовать вместо LangChain?
- OpenAI, Pydantic и matplotlib.
- А зачем matplotlib?
- Что Pydantic вопросов не вызывает - это уже очень хорошо. Matplotlib - чтобы визуализировать распределение ошибок системы на вашем наборе данных для валидации