Главная новость в AuK — не синтез речи, а возможность редактировать её как текст. Tencent и Шанхайский университет выпустили открытую модель на 1,5 млрд параметров, которая умеет не только озвучивать запрос, но и менять уже записанный звук: слово в реплике, строку в песне, темп, громкость, высоту тона и даже эмоциональную подачу. 🎙️

По сути, AuK объединяет в одном инструменте пять задач: клонирование и генерацию голоса, правку содержания, акустическую обработку, управление паралингвистикой — от шёпота до смешка — и очистку записи. Для автора видео это означает простой сценарий: не перезаписывать дубль из-за одной фразы, а исправить её инструкцией.

Модель открыта под MIT, есть версия AuK-Flash, которая сокращает инференс с 32 шагов до четырёх и ускоряет его примерно в 4,5 раза. Но универсальность пока не равна совершенству: русский язык официально не поддерживается, а в шумоподавлении и разделении источников специализированные решения всё ещё сильнее.

Мой вывод: Tencent двигает речь из категории «сгенерировать аудио» в категорию «редактировать аудио по смыслу». Теперь главное — посмотреть, насколько хорошо эта идея перенесётся на другие языки и выдержит реальные, а не лабораторные записи.