Adjacent Possible

Читаю "The Operating Manual for Spaceship Earth" Бакминстера Фуллера. Пока продирался через его пространные рассуждения о синергетическом (читай "системном") взгляде на Вселенную, по-новому взглянул на стремление некоторых ИИ-гуру (Хассабис, Альтман, Шмидт...) и венчурных капиталистов активнее применять методы ИИ для решения научных и инженерных задач из материального мира.

Wealth (актив? благосостояние?) по Фуллеру состоит из материальной и нематериальной компоненты. Под первым он понимает энергию (и, видимо, содержащие её ресурсы), под вторым — ноу-хау (знание, как эти ресурсы эффективно использовать для достижения цели).

Научиться использовать машины (LLM, ИИ-агенты, квантовые компьютеры, whatever) для решения knowledge-intensive задач в реальном мире — значит, создать инструмент для более быстрой и эффективной генерации знаний по манипулированию физической реальностью, чем сейчас. И, соответственно, увеличить благосостояние - как глобальное, так и конкретного предпринимателя/VC (через повышение стоимости IP и владеющей ею компании).

Кроме того, в лице “ИИ-ученого” человечество получит инструмент для эффективного перераспределению и использования доступных ресурсов для решения глобально значимых задач. Будь то освоение космоса, будь то борьба с болезнями — всё, о чём пишет Альтман в "The Intelligence Age", и прочие визионеры типа Диамандиса. А как только AI-generated ноу-хау станут активно использоваться в цепочках создания ценности (а они будут! проблемы-то глобальные и волнуют всех), вырастет глобальный wealth — и доля конкретных VCs заодно.

Сегодня один из основных use cases для больших языковых моделей - поиск информации и questions answering по базе знаний. Для решения этой задачи используется технология Retrieval-Augmented Generation (или просто RAG), которая объединяет LLM и векторный поиск. RAG позволяет добавлять к промпту LLM фрагменты документации, содержащие ответ на вопросы пользователя - так LLM не галлюцинирует ответ, а опирается на внешние источники информации. В таком подходе уже не нужно переобучать LLM, чтобы синтезировать ответ с опорой на актуальные данные (напомню, GPT-4 обучена на данных, собранных до декабря 2023).

Хотя подход RAG впервые был предложен в 2020 году, по-настоящему популярным он стал только с распространением LLM. Сегодня 4 из 5 проектов по Generative AI включают в себя разработку и настройку RAG-поисковика. Приложения типа Chat to Your PDF, боты клиентской поддержки, внутренние чат-боты для сотрудников компании, ИИ-тьюторы и ассистенты - все эти продукты основаны на RAG в том или ином виде. Появление мультимодальных LLM сделало возможным сценарии типа “Chat with Videos/Audios/Images…”, AI-ассистенты для программистов тоже основаны на технологии RAG.

Использование RAG не только снижает уровень галлюцинаций языковых моделей, но и повышает объяснимость ответов и управляемость генерации - ответ синтезируется строго на основе контента из базы знаний, и все шаги процесса можно проследить.

В общем случае, RAG-система работает так:

1. База знаний нарезается на фрагменты (chunks), для каждого чанка рассчитывается отдельной нейронкой векторное представление (aka эмбеддинг), эмбеддинги индексируются и складываются в векторную базу данных.
2. Когда пользователь задает вопрос в чате, для него рассчитывается эмбеддинг и сопоставляется с эмбеддингами чанков в базе. Благодаря магии deep learning, ближайшие в пространстве эмбеддингов чанки и содержат ответ на заданный вопрос.
3. Наиболее релевантные чанки подаются на вход LLM, которая и генерирует ответ на вопрос.

Для RAG пайплайнов можно использовать как проприетарные, так и опен-сорсные LLM. И хотя наилучшее качество ответов обеспечат GPT-4 или Claude, многие задачи требуют использования локальных opensource моделей (Llama, Mistral, Qwen etc) - к примеру, если компания работает с чувствительными финансовыми или медицинскими данными. Для разработки RAG приложений обычно используются опенсорсные python фреймворки LlangChain или LlamaIndex - хотя у каждого из них хватает особенностей, и часто приходится перевозить проекты на самописные фреймворки.

Хотя в теории процесс RAG кажется относительно простым, на практике редко удается добиться нужного качества ответов с первого раза. В процессе есть куча подводных камней, поэтому в пайплайн часто приходится добавлять дополнительные этапы - от хитрых стратегий нарезки документов на чанки или переформулирования вопроса до ИИ-агентов, которые декомпозируют запрос пользователя и планируют генерацию ответа по нескольким индексам. Обзор основных техник Advanced RAG я сделаю в следующих постах.

Ссылки:
Обзор сабжа на Хабре
Обзор сабжа на arXiv
RAG vs finetuning
Vanilla vs advanced RAG (картинку взял тут)

#rag #llm #generativeai

Сегодня хочу поделиться еще одним прикольным инструментом, который использую последнее время для всевозможного ресерча. Добрый Google недавно выкатил NotebookLM - бесплатный сервис, который позиционируется как personalized AI collaborator that helps you do your best thinking. Если проще - это ИИ-ассистент, который читает вместе с вами (или за вас😅) документы, помогает систематизировать информацию и доставать ценные инсайты.

Как это работает? Ну представьте, что вам нужно для исследования сделать краткую выжимку из десятка научных статей, сравнить результаты и написать какой-то общий вывод. Закидываете исходные pdfки (или ссылки на них) пачкой в NotebookLM и мучаете нейронку вопросами и сохраняете ответы (со ссылками на конкретные места в документах). Если нужно, по найденным фрагментам можно задать уже более глубокие вопросы. Вангую, кстати, что в референс-менеджерах типа Zotero скоро появится похожая функциональность. Да и узконаправленные research assistants (медицина, юриспруденция, отдельные области науки) тоже не за горами.

Под капотом у NotebookLM гугловская LLM Gemini-1.5 с большим контекстным окном и RAG-движок, для ответов на вопросы с опорой на загруженные документы. В рамках одного блокнота можно загружать до 50 источников объемом до 500 000 слов каждый - согласитесь, внушительно.

А еще в последнем обновлении завезли мегаприкольную фичу - генерацию подкастов по загруженным документам. Теперь вы можете сгенерировать 15-минутное аудио по статье и слушать, как 2 синтетических персонажа обсуждают друг с другом key takeaways статьи. Звучит все это, кстати, вполне реалистично, с интонациями живых подкастеров🎙 Теперь можно слушать статьи с arXiv или питч-деки стартапов на прогулке или во время тренировки, хехе.

Впрочем, научными статьями дело тут точно не ограничивается. Google позиционирует Notebook LM как универсального ассистента для knowledge work, будь то подготовка материалов для новостного канала или обработка транскриптов встреч с клиентами. Заходите и пользуйтесь, пока дают бесплатно.

P.s. в документации заявлена возможность загружать mp3 и видео с ютуба по ссылке. Я пока не проверял, но если Q&A по видео работает так же, как по документам - то это просто🔥

https://notebooklm.google.com/
https://www.generativeaipub.com/p/google-releases-notebooklm-a-new
https://blog.google/technology/ai/notebooklm-audio-overviews/
https://leonfurze.com/2024/09/16/hands-on-with-google-notebooklm/

#AI #Gemini #NotebookLM #AIToolbox

Рецензия на "AI 2041: Ten Visions for Our Future"

Всем любителям ИИ и научной фантастики (особенно если вам интересны социальные аспекты развития технологий) рекомендую прочитать "AI 2041: Ten Visions for Our Future" авторства Кай-Фу Ли и Чен Цюфаня. Профессиональный писатель из них, кстати, только Чен; Кай-Фу Ли - это венчурный инвестор, экс-CEO Google China и вообще известный в мире хайтека персонаж. Благодаря такому необычному авторскому тандему книга читается просто на одном дыхании (особенно в сравнении с "Задачей Трех Тел", ха-ха).

Название книги говорит само за себя - авторы попытались спроецировать в недалекое будущее современные тренды в ИИ и оформили свое видение в 10 небольших рассказов. Новеллы - это истории людей из самых разных уголков Земли и слоев общества, которые сталкиваются в своей повседневной жизни с технологиями ИИ и этическими дилеммами, возникающими вокруг них. К каждой новелле прилагается обстоятельный рассказ Кай-Фу Ли о технологии, вокруг которой строится сюжет.

Отдельно хочется поблагодарить авторов за то, что они не стали пускаться в спекуляции на тему AGI - наоборот, ИИ-повседневность 2041 года выглядит предельно реалистичной. Стоит отметить, что книга была написана до бума ChatGPT - поэтому чатботы и LLM фигурируют только в одном рассказе. Возможно, кому-то книга покажется из-за этого морально устаревшей😅 Зато авторы уделяют достаточно внимания и другим технологиям ИИ, будь то автономные дроны или deepfakes.

Сюжеты спойлерить не буду, лучше прочитайте😉

#книги #ai

LM Studio, или как запустить ChatGPT на ноутбуке без доступа к сети.

Сегодня хочу рассказать про LM Studio - очень удобное и полезное десктопное приложение, которое позволяет запускать языковые модели локально на вашем компьютере и общаться с ними без единой строчки кода.

Почему это круто? Представьте, что вам предстоит 6-часовой перелет без доступа в интернет. Открываете LM Studio, скачиваете подходящую LLM, и вуаля - у вас на ноутбуке есть почти полноценный ChatGPT. Причем полностью настраиваемый - вы можете менять системные промпты и параметры генерации. Из других полезных фишек хочу отметить группировку чатов по папкам и возможность добавления заметок.

В последней версии LM Studio появился RAG и поддержка мультимодальных моделей. Теперь вы можете даже загружать в чат документы или изображения и задавать по ним вопросы - согласитесь, удобно. Особенно если это конфиденциальные документы, которые нельзя заливать в облачные чатики.

Если вы продвинутый пользователь или разработчик LLM-приложений - одним кликом вы можете поднять OpenAI-подобный сервер с поддержкой structured output и логированием. Все серьезно.

Никакие GPU вам не потребуются, для работы приложения достаточно 16 Гб RAM - спасибо создателю фреймворка llama.cpp и энтузиастам ML-опенсорса, которые выкладывают на HuggingFace оптимизированные версии нейросетей. К примеру, Llama-3.1-8B при максимальной степени сжатия займет всего лишь 5 Гб RAM (хотя за сжатие моделей приходится платить качеством генерации). Через интерфейс LM Studio вы можете скачать практически любые опенсорсные LLM, включая самые последние - был бы доступен чекпойнт в формате gguf. В мои 32 Гб, например, помещаются 8-битные версии Mistral Nemo или Deepseek-Coder v2 lite.

Впечатляет? Меня - однозначно да. Еще год назад такие возможности сложно было себе представить. Да, есть ограничения по размеру и качеству доступных моделей, но потенциальный профит от запуска LLM на ноутбуке перекрывает эти недостатки.

Официальный сайт, обзор на Youtube