Открытие ДжарвисаОдин из важных анонсов GTC 2021 — открытый доступ к фреймворку Jarvis. Это набор предобученных моделей и инструментов для разработчиков речевых приложений. Джарвиса тренировали на 1 млрд страниц текстов и 60 000 часах голосовых записей. Это потребовало нескольких миллионов часов работы GPU.
🉐Во время своего ключевого доклада, основатель NVIDIA продемонстрировал, как Jarvis бодро переводит его речь с английского на японский на лету. По его заявлениям, Jarvis набрал 40 баллов в тесте по переводу с английского на японский, что считается высоким уровнем и 50 баллов — с английского на испанский (это уже уровень fluent translation, свободного перевода).
🤪Перевод с языка на язык — лишь одна из возможностей, которую можно реализовать с помощью фреймворка. Некоторые другие: трансляция речи в текст, понимание основного смысла и интонаций разговора, функции агента контактного центра. Причём, фреймворк даёт возможность регулировать уровень эмоциональности синтезированной речи, что позволяет избежать роботоподобных интонаций.
🇷🇺На данный момент Jarvis поддерживает пять языков: английский, японский, испанский, немецкий, русский. Предобученные модели «из коробки» показывают точность распознавания в 90%. По словам Дженсена Хуанга, с помощью платформы TAO и кастомизации за счёт добавления специфической терминологии можно получить более высокую точность. На данный момент Джарвис обучен под медицинские и технические сценарии.
Компания анонсировала продукт в 2019 году, и с тех пор принимала заявки на ранний доступ от заинтересованных разработчиков. С мая прошлого года ограниченное число счастливчиков получили возможность поработать с фреймворком. Впрочем, их оказалось немало — Дженсен сообщил, что Jarvis уже скачали 45 тысяч раз. Теперь же фреймворк открыт всем желающим для бета-тестирования без необходимости специально регистрироваться и подавать заявку. Jarvis доступен из облака и может запускаться на практически любых edge-устройствах. Новые функции обещают добавить уже во второй половине этого года.
🎧Слушать и смотреть, что Дженсен говорит про Jarvis в своём
ключевом докладе с 1:24:00
👆
Пресс-релиз NVIDIA🧠Детальная
документация по Jarvis с примерами приложений
