👨💻Качество машинного перевода неуклонно растет, но пока еще в значительной степени нуждается в человеческом участии – проверке, редактировании. Возможно, сделать этот процесс еще более автоматизированным и уничтожить переводчиков как вид поможет агентный подход к переводам – это когда перевод, полученный в результате одного прогона LLM, итеративно улучшается с помощью “агентов”: последовательных вызовов LLM с заданной ролью (редактор/корректор и т.д.).
Известный исследователь ИИ Эндрю Ын (может быть знаком кому-то по курсам ML) опубликовал ранний прототип агентного машинного перевода. Ын считает, что прототип имеет “огромный потенциал по сравнению с традиционным нейронным машинным переводом”, поскольку представляет собой систему с высокой степенью управляемости – одним запросом можно указать тональность (формальную/неформальную), региональные вариации (кастильский или латиноамериканский вариант испанского), и обеспечить согласованность перевода терминов (предоставив глоссарий).
Открытый код можно найти здесь, но общий флоу решения укладывается в несколько шагов:
Файл с конкретными промптами.
📊 По словам Ына, метрика BLEU, предназначенная для оценки машинных переводов, показала, что прототип обычно справляется так же или хуже, чем текущие коммерческие решения для переводов (один из самых популярных – DeepL). Но иногда удается получить превосходные переводы.
Прототип Ына частично основывается на исследовании китайского технологического гиганта Tencent и Университета Монаша о том, как можно улучшить качество машинного перевода литературных текстов с помощью ИИ-агентов, имитирующих различные человеческие роли в агентстве переводов.
Исследователями было создано 30 агентов, для которых они прописали специализацию (CEO, переводчик, редактор, локализатор, корректор) и даже пол, национальность, ставку за слово, образование и опыт работы.
Дополнительно для виртуальных сотрудников прописали стратегии поведения и взаимодействия. Как CEO назначает сотрудников на проект, как агенты должны выполнять перевод, выдавать критику, делать конечное ревью и т.д.
📊 Что в итоге? Оценка BLEU для полученных переводов была довольно низкой по сравнению с человеческим переводом или даже переводом ChatGPT в один прогон (исследователи винят во всем ограниченность этой метрики, особенно для литературных переводов). Однако человеческая оценка показала, что люди, владеющие обоими языками (с которого переводили и на который переводили) или только языком перевода, считали лучшим тот самый перевод, созданный командой ИИ-агентов.
Известный исследователь ИИ Эндрю Ын (может быть знаком кому-то по курсам ML) опубликовал ранний прототип агентного машинного перевода. Ын считает, что прототип имеет “огромный потенциал по сравнению с традиционным нейронным машинным переводом”, поскольку представляет собой систему с высокой степенью управляемости – одним запросом можно указать тональность (формальную/неформальную), региональные вариации (кастильский или латиноамериканский вариант испанского), и обеспечить согласованность перевода терминов (предоставив глоссарий).
Открытый код можно найти здесь, но общий флоу решения укладывается в несколько шагов:
1. Запрашиваем начальный перевод всего исходного текста без объяснений.
2. Следующим промптом получаем от модели критику и предложения по улучшению начального перевода.
3. Затем просим улучшить перевод на основе полученных экспертных предложений и критики.
4. Повторяем алгоритм с отдельными кусочками исходного
текста – просим их перевести и отредактировать с учетом всего контекста.
Файл с конкретными промптами.
📊 По словам Ына, метрика BLEU, предназначенная для оценки машинных переводов, показала, что прототип обычно справляется так же или хуже, чем текущие коммерческие решения для переводов (один из самых популярных – DeepL). Но иногда удается получить превосходные переводы.
Прототип Ына частично основывается на исследовании китайского технологического гиганта Tencent и Университета Монаша о том, как можно улучшить качество машинного перевода литературных текстов с помощью ИИ-агентов, имитирующих различные человеческие роли в агентстве переводов.
Исследователями было создано 30 агентов, для которых они прописали специализацию (CEO, переводчик, редактор, локализатор, корректор) и даже пол, национальность, ставку за слово, образование и опыт работы.
Дополнительно для виртуальных сотрудников прописали стратегии поведения и взаимодействия. Как CEO назначает сотрудников на проект, как агенты должны выполнять перевод, выдавать критику, делать конечное ревью и т.д.
📊 Что в итоге? Оценка BLEU для полученных переводов была довольно низкой по сравнению с человеческим переводом или даже переводом ChatGPT в один прогон (исследователи винят во всем ограниченность этой метрики, особенно для литературных переводов). Однако человеческая оценка показала, что люди, владеющие обоими языками (с которого переводили и на который переводили) или только языком перевода, считали лучшим тот самый перевод, созданный командой ИИ-агентов.