Мандрик, Казаков и роботы

Ого. Чуть не пропустил новость. Несколько дней назад Meta выпустили новую модель Llama 3 70B.

Из плюсов:
- опенсорс!
- бесплатная и вообще без регистрации и смс

Норм:
- 4К токенов на вход (не так много)

Минусы:
- постоянно надо напоминать говорит на русском (легко исправляется системным промптом)
- интерфейс и управление грустные - ни регенерации, ни изменения прошлого сообщения

Но в целом это хороший шаг вперёд, особенно рад продвижению именно опенсорса.

В четверг и пятницу прошла конференция DL. Думаю многие из подписчиков на ней были.

Второй день был богат на демонстрацию курсов и процессов изнутри. Показали как используют ЧатГПТ для создания структуры курса. Показали круто, хотя сложно было следить за происходящим на экране - и мелко, и не понятно на что смотреть.

Вот думаю, нужно ли в канале попробовать разобрать пару кейсов на видео, чтобы посмотреть вблизи на процесс. Например создание структуры курса, создание тестовых вопросов, выбор методологии? Или для многих тут это уже пройденный этап? Все-таки времени с появления ИИ прошло много.

Появился первый кейс, где GPT модель была встроена в курс и работала в корп.сети без всяких установок и серверов.

К сожалению скрины дать не смогли (маркетологи запретили) но выглядит интересно.

Кейс: тренажер делового письма, где в виде упражнений нужно было писать план письма и содержимое отдельных кусочков. ИИ оценивал и давал комментарии по написанному. Раньше эти упражнения уходили тренерам через документы - было супер не удобно и долго.

Использовали LLM.js - при первом включении нужно было загрузить модель (занимало 4-5 минут - почти 300МБ) в это время пользователь читал лонгриды, так что для него все проходило достаточно незаметно.

Дальше появлялись упражнения, пользователь вводил свой вариант, получал комментарии.

Из отзывов пользователей:
- на слабых компах ответы печатаются долго. Иногда несколько минут. Это пока сильный минус, но можно было бы "расшить" дав что-то почитать пока модель готовит ответ.
- а вот ответы пользователям очень понравились, они были даже подробнее, чем обычно хватало ресурсов дать тренеру.

Курс "программировали" полностью в ручном режиме силами команды разработки, без конструктора. Моя роль была скорее в аудите и показе своих наработок, но если кому-то интересно у себя такое сделать - приходите, мы с Ромой поможем.

Ну и продолжая цикл про разработку, есть еще одна хорошая новость. К счастью есть уже большое число готовых систем для того, чтобы встроить их в свои решения - от конструкторов ботов, до GPT's где без особо сложного кода можно описать алгоритмы и логику.

Из примечательных сервисов:
- https://aimylogic.com/
- https://writesonic.com/botsonic
- https://chatfuel.com/
- https://www.chatbase.co/

Делать описание к каждому нет смысла (сами на странице прочитаете), но в целом в таких сервисах есть два ключевых бонуса:
1) почти во всех ИИ можно дообучать на ваших данных, ответы становятся более адекватные. К сожалению это не так просто как кажется - вариант "закинем все, пусть сам разбирается" не работакт так хорошо как бы хотелось
2) простую и прямолинейную логику в них делать очень и очень просто. А вот сложную - не факт что вообще получится.

Так что если я напугал вас сложностью кодинга - вот вам рецепт как справить без него.

Показалось любопытным рассказать о примерном распределении времени, когда делаешь такую вот промпт-стратегию.

Данные очень примерные, но дают представление.

Подготовка:
- продумать первую версию логики "на бумажке" - 1 час
- прописать первые версии промптов - 1-2 часa (тестировать прямо в интерфейсе чата)
- поправить логику и промпты (совсем-совсем базово - поняли, что забыли какой-то шаг) - еще час

Разработка:
- начать пилить код, который покажет пользователю сначала поле, где можно задать вопрос, потом уточняющие вопросы или кнопки для выбора варантов, потом ответы - тут в зависимости от того, насколько готово окружение, но если все готово и нет потребности искать сервера и окружение - около 8 часов. Если уже есть наработки - 4 часа.

Отладка:
- начинается самое интересное. Допустим на первом шаге мы хотим, чтобы нейросеть уточнила какой-то момент и хотим вывести варианты в виде кнопок пользователю - нам нужно, чтобы нейросетка отдала строго до 4х вариантов, каждый длинной до 80 символов (а то не влезет) и без нумерации или дефисов... вот в этот момент промпты начинают жирнеть и наполняться фаршем из "не пиши предисловие и заключение, отвечай строго по делу, начни с первого пункта, не используй нумерацию, вообще не используй я сказал!" - от 4 часов для небольшой задачки
- внезапно понимаем, что хоть и мы и придумывали логику, но в реальности есть еще какой-то этап, который мы пропустили, где нужно было бы показать пользователю промежуточный шаг или спросить уточнение - это сразу аффектит на все написанное ранее - еще от 4х часов минимум
- и самое гадкое, когда мы ожидаем, что на определенном шаге нейросеть нам будет выдавать, допустим, три красивых абзаца (которые мы потом разделим и отдельным промптом попросим как-то оформить), но она выдает то так, то 15 буллитов, то еще как-то, и нужно наши промпты "стабилизировать", чтобы они 10 из 10 раз отдавали схожий результат. И вот тут у меня уже улетает от 8 часов.

Написал и понимаю, что без конкретного примера - не понятно примерно ничего ))) На днях закину что-то, ну пусть будет разделение задач по Эйзенхауэру или SWOT анализ. Или предложите свой вариант?

Ну и теперь к плохой новости (хотя я знаю еще одну хорошую, но про нее тоже отдельным постом).

Помимо интеграции на уровне техники, придется решать кучу проблем с интеграцией на уровне логики.

Кажется что вот же, отдадим курс ИИ, пусть он его сам "изучит" и будет отвечать пользователям. Не будет. И даже не изучит. Как минимум потому, что на самом деле нет еще никакого ИИ, а есть нейронка, очень умело прикидывающаяся умной.

Итак.

Чтобы нейронка дала вразумительный ответ, ей кроме вопроса от пользователя нужно передать еще какой-то контекст, в котором есть как минимум подсказки к верному ответу. И не отдельно, а прямо вместе с вопросом.

Условно, юзер спрашивает про функционал вашего продукта "Как мне сделать ..." - вы должны этот вопрос превратить во что-то типа "Действуй как опытный консультант. Ты помогаешь отвечать на вопросы о продукте ... (и тут много инфомации о том как он работает). Ответь на вопрос пользвателя: ... (и тут вопрос). Ответ должен быть точным и конекретным, если ты не знаешь точного ответа то... (и тут еще пачка инструкций как дать хороший ответ)"

И тут сразу начинаются проблемы - если ваш контент (курс или что-то еще) собран как преза, то выдрать из него читабельный текст - это целая задача. А если контент в формате видео - все еще веселее. И решать эти проблемы будет не нейронка, а вы.

Более того - как правило весь контент разом не влезает в объем который можно передать в одном запросе. Нужно резать на кусочки. На какие? Если я спросил одно, а в нейронку ушел кусочек про другое - я получу бредовый ответ. То есть контент нужно сначала разрезать и разметить, потом передать в нейронку вопрос с уже другой формулировкой, например "Действуй как консультант по продукту ... (очень общая информация по теме), пользователь задал вопрос ... (текст вопроса), определи к какой категории он относится. Категории: 1 ..., 2 ... ... . Отправь в ответ только цифру категории, а если не уверен, то отправь в ответ уточняющий вопрос"

А дальше вам нужно самим (да, это надо прогаммировать) смотреть на ответ и писать в коде проверку, что если получили цифру, то нужно повторно отправить уже первый вариант промпта и уже второй ответ показывать пользователю, а если текст, то показать его пользователю сразу, дождаться уточнения, еще раз отправить в нейронку полный текст диалога с инструкциями что она или дает цифру или снова что-то уточняет...

Эту логику нужно:
а) придумать
б) запрограммировать
в) (самое сложное) стабилизировать

В моем опыте - самое гадостное, что нейронки часто на просьбу прислать одну цифру в ответ присылают кучу мусора, типа "конечно я с удовольствием помогу, номер категории 59, если будут еще вопросы с радостью на них отвечу". Блин! А я жду одну цифру. И в коде написано, что если получил текст, то показываю его юзеру. А это совсем не то, что он ждал. А уж как она любит ставить то точки, то буллиты когда не просили...

И в итоге 99% проблем связаны именно с тем, что мы должны написать промпты так, чтобы периодически обрабатывать их строгой логикой if () else (), при этом нейронка будет творить что угодно.

Вывод? Сам процесс "интеграции" это лишь вершина айсберга. В первую очередь придется решать проблемы связанные с логикой и самим контентом. А передать текст в API и получить ответ - вообще не сложно.

Несколько раз за последнее время встречался с вопросами "а как интегрировать GPT" в свой сайт/бот/курс/...

У меня два ответа и они, как обычно, делятся на "хороший и плохой".

Начну с хорошей новости:
Технически нет никаких проблем с интеграцией, она очень простая. Спецификация для SCORM курсов в 1000500 раз сложнее, да даже интеграция вашей СДО с 1С будет казаться космическим кораблем, по сравнению с подключением к языковой модели.

Более того, моделей много, но они уже умудрились между собой договориться и у них примерно одинаковый процесс подключения. Не совсем, но есть те, где переключение между моделями вообще происходит бесшовно.

Если убрать все лишнее, то в сухом итоге вы передаете в API нейросетки текст вопроса, а получаете текст ответа. Все. Текст туда, текст обратно. Никаких вам 100 параметров как в интеграции с 1С. Ну ладно, есть, но их буквально по пальцам пересчитать можно и большая часть не обязательная.

Разумеется для этого всего вам понадобится:
🖥 какой никакой, но сервер (может быть с IP не в РФ, если планируете работать с зарубежными моделями)
🧑‍💻 чутка навыков программирования и вообще понимания как писать код
⌨️ настроенное "окружение" и прочие пререквизиты, типа созданного бота в телеге или проделанной безопасниками дырки в фаерволе компании, для нужных доступов

Но все эти пункты были бы нужны и если бы вы интегрировались не с ИИ, а с чем угодно, так что их правда можно вынести за скобки.

А про плохую новость напишу завтра ))

Всем отличной недели!

Для тех, кому мало нашего курса https://mkrobots.ru/#course, и кто хотел бы изучить глубже, Гугл подготовил очень большой и совершенно бесплатный набор курсов, от введения в большие языковые модели до разворачивания собственной сеточки в облако. Разумеется на английском.

https://www.cloudskillsboost.google/paths/118

Если кто-то ждал знак, то вот вам восклицательный: ❗️(с) – мой техлид )

Не реклама, но рекомендация. Уверен, что на нашем канале есть много людей, которые уже хорошо шарят в ИИ.

Корпорация СИНЕРГИЯ ищет ДИРЕКТОРА ШТАБА ИИ

Кто такой?
Фактически генерал над инструментами ИИ в корпорации Синергия.

Что делает?
Придумывает, разрабатывает и внедряет разнообразных нейропомощников для всех возможных сфер жизнидеятельности компании и в первую очередь самого большого ВУЗа в России. Нейротьюторы, нейрокураторы, нейропреподователи, различные инструменты оптимизации и автоматизации бизнес процессов, поддержка работы сотрудников креативных дисциплин, интеграция в ИТ-продукты и и.д. и т.п.

По сути ищут продакта и организатора с хорошими навыками в ИИ и промптинженерии.

Откликнуться тут

Давненько не было загадок? Нашел тут интересную!

В чем смысл загадки: Что содержит 3 буквы, иногда 6 букв, но никогда 7 букв?

Ответ: Это не загадка, а утверждение. Ч-Т-О = 3 буквы, И-Н-О-Г-Д-А = 6 букв, Н-И-К-О-Г-Д-А = 7 букв.

Пока я сам не смог получить правильного ответа от ИИ в чистом виде, но близкие ответы были. Как минимум я бы получил направление, что меня могло бы ускорить, но хочется написать общий промпт без прямых подсказок, который даст полное объяснение.

У кого получится - кидайте вашу версию промпта в комментарии)

Запись встречи с Ольгой Ладога.

Специально сделал именно репостом, чтобы заодно и подсветить канал Ольги, а еще хочу сказать, что у нас получилось очень глубоко пройтись по теме развития нейронок и как лучше всего двигаться в них и строить план обучения.

Ольга потрясающий собеседник с хорошими вопросами и по этому я очень советую запись к просмотру!

Очень интересно наблюдать за внутренними ИИ стартапами в компаниях.

Я бы их разделил на 2 типа:

1) "Давайте автоматизируем хоть что-то" - больше всего напоминают мне как 15-17 лет назад, когда вебинары только входили в моду, все хотели проводить вебинары, просто чтобы проводить вебинары. При этом есть реально интересные кейсы. Разбор багов по категориям, анализ отзывов по курсам с рекомендациями методологу/автору, оценка свободных ответов тестов. Я бы сказал, что у этих ребят есть результаты, когда задачи выполняются прям на 100% круто, но... хорошо если у 10% таких стартапов. Остальные мимо.

2) "Давайте выберем то, что реально надо автоматизировать" - это такие серьезные ребята, которые сначала посмотрели какие задачи дадут наибольший профит и потом за них взялись. Все проекты мега интересные - оценка риска выгорания, оценка риска увольнения, оценка климата в коллективе, бот-помогатор для дистрибьюторов... но... все они хорошо если сделали хоть 10% по пути к результату. То есть пока у всех, кого я вижу с такими проектами, все в стадии "через пару кварталов посмотрим что получилось", а пока прототипы, пруф-оф-концепты (технически работает, но результат не устраивает) и т.д.

В целом все как и в остальных сферах - быстрые победы возможны на небольших задачах, все, что требует усилий - не делается ни за день, ни за неделю.

В прошлом посте поговорили про расшифровку, а тут и крутая новость подъехала! МТС Линк первыми в России запускают автоматическую саммаризацию встреч. Ну и транскрибацию речи в текст, очевидно, но тут уже никого не удивить )

На самом деле по запросу можно было подключить уже достаточно давно, но вот теперь доступно всем, у кого тариф для крупного бизнеса.

Чем полезно:
- любой вебинар можно использовать как источник информации для создания курса - текст уже есть, по сути интервью с экспертом расшифровано, осталось взять и разложить по полочкам для получения курса.
- можно не пересматривать запись, если там ничего полезного
- можно быстро вспомнить о чем говорили и о чем договорились

А еще в записи можно будет проматывать до нужной реплики! Долой просмотр длиннющих вебинаров!

Какие лично я тут вижу перспективы? Много. Очень много!
- автоматическая обрезка "воды" и получение получасовой записи из двухчасового вебинара за 5 минут
- автоматическое разрезание вебинара на смысловые блоки, чтобы было легче смотреть или перекладывать в курс
- а может быть и вообще автоматическое превращение вебинара в курс - ИИ выберет нужное, там где полезно смотреть и слушать оставит видео, там где легче читать - напишет текст, если текста мало - вставит слайды или скриншоты со скриншаринга
- подспорье для людей с ограничениями по слуху (вчера смотрел запись одного вебинара в метро и очень хотел, чтобы можно было бы читать текст одновременно с этим)

А чего бы вам еще хотелось?

Пропустить молоко через корову дважды?? Я сам бы не додумался )

Коллеги, которые занимаются расшифровкой и саммаризацией голоса со встреч и интервью, ловите кайфовый рецепт!

Преамбула: если загнать в ИИ распознаную речь и попросить сделать саммари, то с высокой вероятностью на выходе будет расплывчатое "обсуждали все подряд, ничего не решили, ни о чем не договорились".

Фабула: мы уже знаем, что для качественных ответов от нейронки нейронке нужно давать максимальный контекст. И казалось, что расшифровка голоса и есть этот контекст, но...

Собственно лайфхак: прогоняем расшифровку в первый раз, с просьбой выделить основные темы. Тратим 3 минуты, чтобы вычистить из них мусор. Во второй заход полученный текст добавляем к промпту и теперь уже просим сделать саммари по этой структуре. Результат гораздо лучше и чище, чем сразу просить сделать саммари.

Все гениальное просто!

Прикольный кейс принёс товарищ. Он сделал тренажёр сложения, вычитания для детей. ИИ тут чисто для интереса хотел приложить, но эффект оказался выше его ожиданий.

Изначально это была просто страничка, которую он открывал детишкам, на ней большие цифры типа «2+2=» и внизу циферки, на которые надо нажать для выбора.

В первой версии примеры выбирались просто случайно, но были ограничения на сложение/вычитание в пределах десятка, двух, сотни, с переездом через десяток и так далее. Дети играли, запоминали что-то, но долго. Чтобы начать решать все примеры быстро и без ошибок уходило 2-3 недели.

Затем, пообщавшись со мной, он добавил алгоритм, который смотрел где больше всего ошибок и повторял эти задачи. По сути что-то типа карточек с интервальным повторением. На тот же уровень решения без ошибок получалось быстрее. Около двух недель.

Просто из интереса решил написать промпт, что-то типа «ты родитель, который хочет научить своего ребёнка сложению и вычитанию...» зачем в нём он добавил часть «примеры, которые ребёнок решил хорошо последние несколько раз это ..., ... и ...» (подставлял сюда те примеры, где ответ давался быстрее всего из последних 10 решённых) и затем «а вот тут были ошибки ...» и «а эти примеры заставили задуматься» (тут подставлял где ребёнок долго думал прежде чем нажать). Ну и дальше просил с учётом этого всего придумать пример, который бы улучшил ответы на те, где долго думал и помочь с выбором ответа.

В итоге, если раньше просто повторялся один и тот же пример где было больше всего ошибок, например 5+2, и всегда давались на выбор все варианты от 0 до 10, то теперь ИИ то предлагал решить 2+5 (да, с детьми так работает) то показывал примеры где есть или 2 или 5 (и в итоге получалось что ребёнок именно на двойке залипал, а после нескольких примеров переставал) и ещё ИИ показывало сначала не все варианты, а 3-4, чтобы было легче выбрать.

Итог: примерно неделя уходит на то, на что раньше уходило около двух.

После того как он это понял, первая его мысль была «а зачем мне тут ИИ, нужно просто алгоритм чутка докрутить». Сел докручивать и через неделю сдох, говорит что там вложенных циклов и условий получается сотня, страничка вместо 100 строк кода уже выходит на 1000 и ему надоело. Откатил. Оставил ИИ. Доволен.