AI feed

Какой из промптов будет давать более точный ответ?

Промпты почти одинаковые, меняется только порядок.


from openai import OpenAI
client = OpenAI()

prompt1 = f"How many times is word 'RAG' mentioned in the text? Answer with a number.\n{text}"
prompt2 = f"{text}\nHow many times is word 'RAG' mentioned in the text? Answer with a number."

for p in [prompt1, prompt2]:
completion = client.chat.completions.create(
temperature=0,
model="gpt-4o-2024-11-20",
messages=[
{"role": "user", "content":p}
]
)
print(completion.choices[0].message.content)


Сможете ответить сходу и объяснить почему?

Если сложно сказать, попробуйте выполнить несколько раз и убедиться сами. Абзац текста я добавлю в комментарии.

Это новая практическая задачку на построение интуиции для курса.

Второй вопрос - а какой из промптов будет давать более точный ответ в этом случае и почему? 😜


for p in [prompt1, prompt2]:
completion = client.beta.chat.completions.parse(
model="gpt-4o-2024-11-20",
temperature=0,
response_format=Response,
messages=[
{"role": "user", "content": p}
]
)

print(completion.choices[0].message.parsed)



Ваш, @llm_under_hood 🤗


PS: Это новая задачка, которую я решил добавить в практическую часть курса. Уж больно она наглядная и неожиданная.

Что бы вы хотели знать о проблемах и задачах крупных компаний в Европе?

На Enterprise RAG Challenge в конце февраля придет с keynote Stephan Gillich. По его роду деятельности, у него есть куча инсайтов о крупном бизнесе в Европе. Он расскажет про задачи, которые компании пытаются с решать с помощью AI, что у них из этого выходит, и на что есть спрос.

Например, одна из таких вещей - OPEA - это LangChain для компаний, но из Linux Foundation. В него вкладываются компании вроде AMD, Intel, ByteDance, SAP и China Unicom. И при этом про него в русскоязычном сегменте мало кто слышал.

Кстати, Stephan говорит, что спрос на локальные решения сейчас на самом деле очень большой, и Project Digits от NVidia вышел в очень удачное время.

Эти топики уже интересны, и будет про них очень здорово услышать подробнее. Но, может быть, еще есть какие-то вопросы вокруг этих тем? Задавайте свои вопросы в комментарии, я потом их соберу, обработаю и вынесу на Q&A сессию после Keynote.

Ваш, @llm_under_hood 🤗

На together.ai появилась бесплатная Llama 3.3 70B по API.

🔸 На Free tier'е у них 60 запросов в минуту/60k токенов. Если добавить карту, то будет 600/180k.

🔸 Работает без VPN и мобильных, совместима с OpenAI клиентом. Можете встроить в свой пет-проектик.

https://api.together.ai/models/meta-llama/Llama-3.3-70B-Instruct-Turbo-Free

import os
import openai


os.environ["TOGETHER_API_KEY"] = "your_free_key"

client = openai.OpenAI(
api_key=os.environ.get("TOGETHER_API_KEY"),
base_url="https://api.together.xyz/v1",
)

response = client.chat.completions.create(
model="meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo",
messages=[
{"role": "system", "content": "Ты — ассистент Шерлока Холмса."},
{"role": "user", "content": "Кто убил садовника?"},
]
)

#Хорошая задача, мистер Холмс! Позвольте мне собрать все имеющиеся у меня данные и мы начнем расследование.

#Садовник, как я понимаю, был найден мертвым на территории поместья...

(Впрочем, надо отметить, что организаторы, как со стороны Пятигорского университета, так и со стороны МАКИ, вложили в организацию конференции большой труд, и проблемы, по-видимому, были связаны с недостаточными для проведения такой большой конференции ресурсами и отсутствием в команде людей, хорошо разбирающихся в тонкостях оргнизации научных конференций).

- Один из симпозиумов конференции был посвящен памяти одного из основателей конференции Бориса Митрофановича Величковского, ушедшего из жизни в 2022 году. Симпозиум запомнился очень ярким и чрезвычайно содержательным выступлением его сына Бориса, который рассказывал о наиболее плодотворных годах работы Б.М. -- они прошли в Германии и Канаде. Однако непростой период работы Б.М. после возвращения в Россию остался почти совсем не освещенным. В конференции участвовали все три руководителя направлений созданного им в Курчатовском институте центра когнитивных исследований (поначалу это был Институт когнитивных исследований, далее он был превращен руководством Курчатника в отделение, отдел, и, наконец, в лабораторию), но почему-то никому из них не предложили выступить.

- С сайтом конференции все время происходили разные приключения, а сейчас и вовсе осталась только информационные странички 2024 года на портале Ломоносов, и, в частности, негде смотреть программу даже последней конференции, не говоря уже о предыдущих (кажется, их и раньше не сохраняли) -- по основному адресу https://conf.cogsci.ru/ показывается лишь сообщение от хостинга "Please renew your subscription".

Volga Neuroscience Meeting

Впечатления о конференции 2023 года (Нижний Новгород, загородный отель "Чайка")

• Сайт: https://neuroconf.unn.ru/vnm-2023/
• Раз в два года, следующая в 2025 году (?)

Одна из серий конференций, организуемых Нижегородским госуниверситетом и привязанных к Волге. В доковидные времена участники конференции плыли по Волге на выделенном исключительно для них теплоходе, что создавало особую атмосферу и способствовало привлечению очень крупных зарубежных ученых и научной диаспоры. В 2023м конференция поначалу проплыла примерно пару часов по Оке, затем высадилась на ее берегу и обосновалась там же в большом и довольно пафосном доме отдыха, который делила с его обычными гостями.

Плюсы

- Несмотря на тяжелое положение отечественных нейронаук и резко ограничившиеся возможности приглашения ведущих мировых ученых, уровень Volga Neuroscience не снижается, и даже, кажется, растет. Стало, правда, меньше звезд, но все-таки более значим состав рядовых участников, а он очень радовал. И каким-то образом конференции удается обходиться почти совсем без фриков и псевдонауки.

- Хорошим качеством отличались все основные жанры -- keynotes, секции/симпозиумы, постерные секции -- причем и содержательно, и организационно.

- Торжественные ужины в честь открытия и закрытия конференции плавно переходили в дискотеки, в которых приняли участие не только молодежь, но и многие из участников солидного возраста, включая весьма известных ученых.

Минусы

- Непривычно высокий для российских конференций оргвзнос. Впрочем, в него входит проживание и питание, а молодые ученые могут получить гранты, покрывающие оргвзнос (вместе с этими расходами).

- Культурная программа была в явном диссонансе с научной. На торжественных ужинах в честь открытия и закрытия конференции громкая музыка делала невозможными сколь-нибудь содержательные разговоры -- а ведь для большинства основная цель участия в конференциях -- это networking; пришлось слушать очень затянутое выступление некой певицы (которое было очень на любителя). С юмором на этих ужинах тоже переборщили: вел программу конферансье, который, надо сказать, вносил оживление, но как-то очень уж много и долго он говорил... он, кажется, сам имел какое-то отношение к науке, но, увы, совершенно не чувствовал жанр научной конференции. (Тут не лишне вспомнить, что у участников конференции на таком ужине нет выбора, тогда как в обычной жизни мы выбираем культурный досуг квждый сам и в соотвтетствии со своими вкусами). Музыка на дискотеках (которые сами по себе очень похвальное явление, их очень не хватает на большинстве конференций) почему-то была подчеркнуто импортозамещенная, сплошь какие-то калинки-малинки.

- В культурной программе конференции был Science Fail Night. Это очень неплохой жанр (чаще вместо Fail употребляется слово Fuckup, но, видимо, оно показалось организаторам недостаточно приличным), предполагающий, что выступающие рассказывают о своих научных факапах, обычно курьезных, но в то же время и поучительных в научном отношении. Здесь, однако, его превратили в сугубо увеселительное мероприятие, да еще и в формате конкурса (в нем ожидаемо победил рассказ о спаривании кроликов).

- Регистрация на конференцию в 2023 году совершенно нежиданно закончилась еще до дедлайна подачи тезисов, и многие из планировавших участвовать в конференции не смогли на нее попасть. Кроме того, как и раньше при проведении конференции в плавучем формате, большинству участников пришлось жить по двое в одном номере. По-видимому, желающих принять участие в конференции оказалось намного больше, чем ожидали организаторы. Проблемы не возникло бы, если бы регистрация, как это обычно принято, проходила уже после принятия решения о принятии тезисов (в этом случае большой наплыв желающих принять участие привел бы лишь к жесткому конкурсу тезисов) -- но, возможно, организаторы боялись оказаться в финансовом пролете в случае, если бы число участников оказалось ниже планировавшегося.

В последние годы ездить на международные конференции стало сложно, и приходится частично компенсировать недостаток научного общения путем участия во внутрироссийских научных конференциях. У меня накопились впечатления о нескольких таких конференциях за 2023-2024 годы, которые я хотел опубликовать в канале, но постоянно не хватало времени их дописать. Однако сейчас я посмотрел на свои записки и понял, что они и так уже стали безбожно длинными, так что пора поставить точку и что-то наконец выложить.

О Съезде физиологов 2023 года (aka XXIV съезд Физиологического общества им. И.П. Павлова) я довольно много писал в канале во время самого съезда и сразу после него (см поиск по слову съезд), поэтому в этой подборке его нет.

О конференции IEEE CSGB (в 2023м проходила в новосибирском Академгородке, в этом году будет на Алтае) я очень скоро напишу, так как в этом году мы с коллегами снова организуем на ней секцию/симпозиум по интерфейсам мозг-компьютер и некоторым близким нейронаучным тематикам.

Среди конференций должен был бы быть ярославский Брунер, которого коллеги очень хвалят, но я уже который год не могу на него попасть, поскольку не успеваю вовремя завершить дела конца года.

Еще я участвовал в некоторых конференциях, которые или не являются регулярно проводимыми, или с большой вероятностью будут проводиться существенно иначе, так что про них я тоже не стал писать.

Остались три.

Сразу скажу, что организация конференций -- это огромный и очень важный труд, и я чрезвычайно признателен организаторам всех конференций, в которых участвовал, за предоставленные ими возможности для общения с коллегами и обмена знаниями и опытом. Среди моих впечатлений есть и негативные, но описанием их я никоим образом не хотел бы "обесценить" работу коллег -- я лишь хотел бы обратить внимание на то, что вполне можно попытаться подправить в будущем. Ну и, разумеется, все это не более чем мои сугубо субъективные впечатления, никак не претендующие на выражение какого-то общего мнения.

Праздники и отпуск прошли, теперь пора и что-нибудь интересное разобрать. Впереди 9 часов в поезде и много отложенных статей — вечер обеспечен 🏃

Начнем с The Lessons of Developing Process Reward Models in Mathematical Reasoning. Исследование от команды Qwen на тему, как делать хорошие PRM (Process Reward Model) в математике, то есть модели, оценивающие промежуточные рассуждения модели. Ребята в последнее время очень часто радуют не только классными моделями, но и качественными статьями.

Для того, чтобы тренировать модель оценивать шаги рассуждений, нам нужна разметка, где каждому такому шаг присвоена некоторая метка. Вариантов тут немного:

- Использовать LLM-as-a-judge (просим другую модель оценить шаг) или ручную разметку.
- Использовать monte-carlo (MC) оценку шага, то есть для оценки шага делаем из него множество продолжений и смотрим, сколько из них завершились успехом. Метку можно определить как a) soft label — доля успешных продолжений или b) hard label — 1, если хотя бы одно продолжение успешно и 0 иначе.

Авторы делают большое кол-во экспериментов, из которых формулируют много интересных тезисов, например:

- MC методы неявно закладывают смысл value функции в оценку шага, то есть оценивают перспективность состояния для будущего решения задачи. Это может накладывать ограничения в умения модели находить неверные шаги.
- MC методы имеют меньший прирост качества от скейлинга данных по сравнению с LLM-as-a-judge и human annotation.
- Большая проблема MC методов заключается в том, что модели склонны решать задачи даже со множеством ошибок в рассуждениях. Это приводит к артефактам во время инференса.

Это только малая часть, в статье намного больше мыслей, подкрепленных обильными экспериментами, рекомендую почитать всем интересующимся реворд моделями.

Далее авторы предлагают алгоритм “консенсуса” между MC методом и LLM-as-a-judge, обученные модели показывают соту на математических бенчмарках и выложены в опенсурс (7B и 72B)