В чём смысл Incremental FastPitch

Сейчас большинство систем ТТС работают с глобальным вниманием, из-за трансформеров под капотом. Это здорово и улучшает интонацию, но создаёт проблемы когда мы делаем стриминг речи из LLM. А LLM во время инференса выдают нам результат рекуррентно, с самплингом, посимвольно.

В общем, есть у вас LLM, которая очень медленная и, каким бы быстрым ваш ТТС не был, нужно ждать пока LLM доделает свою реплику до конца, или, хотя бы, до точки.

Тут приходит на помощь инкрементный ТТС. Он позволяет генерировать речь уже на первых нескольких токенах. А это в свою очередь, экономит где-то полсекунды-секунду от общей задержки системы, что очень сильно влияет на отзывчивость системы.

За ссылку спасибо @milana_shhanukova.

https://arxiv.org/abs/2401.01755