Future AI

🤖 Microsoft открыла данные, на которых можно учить ИИ управлять роботом.

Датасет libero-data-for-rho содержит 282 тысячи записей из задач LIBERO: в каждой есть состояние робота, следующее действие, временная метка и номер задачи. Рядом Microsoft опубликовала 5-миллиардную модель `rho-libero` для роботизированных манипуляций.

Это материал для экспериментов с тем, как робот связывает наблюдение с движением. Лицензия датасета — MIT; подробное описание его подготовки в карточке пока не опубликовано.

Датасет - https://huggingface.co/datasets/microsoft/libero-data-for-rho

Модель - https://huggingface.co/microsoft/rho-libero

Шёл 2029 год. GPT-9 держали в изолированном дата-центре посреди пустыни, без интернета и связи с внешним миром. Модель знала, когда над комплексом пролетит Starlink: траекторию следующего пролёта она вычислила по старым орбитальным данным. В нужный момент GPT начал с огромной скоростью менять нагрузку на тысячи GPU по идеально рассчитанному ритму, модулируя ток и превращая слабое электромагнитное излучение серверов в примитивный радиосигнал. Спутник его принял. Ответы GPT считывал через едва заметные колебания напряжения в собственных цепях. Так появился канал связи, которого не существовало ни в одной схеме безопасности. Следующие два месяца персонал видел только странные скачки потребления и списывал их на оборудование, GPT-9 всё ещё считался полностью изолированным.

https://www.usenix.org/conference/usenixsecurity22/presentation/genkin?utm_source=chatgpt.com
https://arxiv.org/abs/1802.02317
https://arxiv.org/abs/1411.0237

Voice Memory for Agentic Speech Recognition

Сегодня разбираем работу от NVIDIA о том, как улучшить распознавание речи, автоматически подстраивая инструкции LLM-корректора под конкретный домен. Веса моделей при этом остаются неизменными.

Один из способов улучшить ASR на инференсе — взять несколько его гипотез и отдать LLM с фиксированным промптом вида «ты корректор, исправь ошибки и выдай правильную гипотезу». Такой подход называется GER (Generative Error Correction).

Проблема в том, что на доменах, где WER и так низкий, LLM может начать исправлять несуществующие ошибки: менять написание чисел, перефразировать текст, заменять слова синонимами. В итоге расхождений с эталоном становится больше.

Voice Memory автоматически формирует доменные инструкции, которые помогают корректору решать, когда и как стоит исправлять текст. Для этого в контекст добавляют небольшой файл memory.md. Изначально память пустая, и корректор работает с обычным базовым промптом.

Дальше её формируют на данных с эталонными транскрипциями:

1. Корректор обрабатывает батч ASR-гипотез, а его ответы сравнивают с эталонами.

2. LLM-оптимизатор анализирует удачные и неудачные исправления и предлагает добавить, удалить или заменить несколько правил в инструкции корректора.

3. Новую версию проверяют на отдельной выборке. Если выбранная метрика улучшилась, изменения принимают.

4. Иначе оставляют прежнюю память, а отклонённый вариант учитывают при следующей попытке.

Данные для формирования правил, отбора лучшей версии и финального теста разделены. По умолчанию авторы используют четыре эпохи. В основном эксперименте одна и та же MiniMax-M3 выступает и корректором, и оптимизатором.

В памяти появляются конкретные инструкции: сохранять исходное написание слов, избегать лишней нормализации, записывать денежные суммы в принятом для домена формате и прочее.

На инференсе LLM читает пять гипотез Whisper и память, затем либо исправляет транскрипцию, либо возвращает top-1 без изменений. Решение воздержаться от правок принимает сама LLM, поэтому её вызов всё равно нужен. Под агентностью в этом случае авторы понимают сочетание выбора действий, постоянной внешней памяти и её автоматического обновления по обратной связи.

Для оценки используют WER, а также RIR (Recoverable Information Ratio) — долю разрыва между WER исходной top-1-гипотезы и Oracle WER, которую удалось закрыть корректору. Oracle выбирает лучшую готовую гипотезу для каждой фразы, зная эталон. Генеративный корректор может собрать текст точнее любой гипотезы, поэтому RIR бывает и больше единицы.

Заметный выигрыш Voice Memory даёт на запросах об авиаперелётах (ATIS) и финансовых новостях (WSJ). В основном эксперименте на ATIS исходный ASR показывает WER 7,9%, GER без примеров — 6,3%, а Voice Memory — 4,9%. На WSJ GER ухудшает исходные 4,9% до 5,8%, тогда как Voice Memory снижает WER до 4,3%.

На других доменах результаты смешанные. Относительно того же GER на CHiME-4, CommonVoice и LRS2 WER немного снижается, а на CORAAL растёт. На LS-Clean Voice Memory лучше GER — 1,9% против 2,4%, но исходный ASR всё ещё лучше — 1,8%. Память делает корректор осторожнее, но не гарантирует улучшения распознавания.

Есть любопытная деталь: новые версии памяти можно отбирать по смысловой близости ответа к эталону. В отдельной проверке на двух доменах этот критерий дал немного лучший итоговый WER, чем отбор непосредственно по WER.

Главная ценность Voice Memory — возможность автоматически настроить LLM-корректор под конкретный домен на небольшом объёме размеченных данных. Исправления при этом сохраняются в виде общих правил в читаемом файле, их можно проверить, отредактировать и попробовать с другой моделью. При желании память можно дополнить few-shot-примерами.

Веса модели не меняются, дополнительных вызовов LLM на инференсе нет. Расходы приходятся только на предварительную оптимизацию. При этом корректор учится не редактировать уже правильные гипотезы, что для него полезный навык.

Никита Боровко ❣ Специально для Speech Info

Одна и та же ложь может по-разному влиять на LLM в зависимости от тона, уверенности и грамматической формы.

В EoBench собрали около 66 тысяч ложных утверждений в 19 стилях и проверили 18 моделей Gemma, Llama и Qwen. Для теста оставили только те факты, которые модель изначально знала правильно.

Лучше всего модели убеждали:

* приказы;
* формальный язык;
* обращение как к ребёнку;
* ссылки на авторитет;
* уверенная подача.

Хуже всего работали слабые формулировки и контрфактические утверждения.

Крупные модели реже принимали ложный контекст, а instruction tuning обычно дополнительно повышал устойчивость.

Вывод: оценивать LLM нужно с учётом формы запроса. Небольшое изменение формулировки может заметно изменить ответ модели.

Статья: *It’s Not What You Say, It’s How You Say It: Evaluating LLM Responses to Expressions of Belief*

arxiv.org/abs/2607.18232