Если кому интересно, почему сейчас рынок воюет за разработчиков чипов для инференса нейросетей, то вот тут можно попробовать с какой скоростью работают эти чипы.
А вот тут умный мужик из Гугла поясняет, насколько инференс на специально выделенных для этого чипах быстрее, надежнее и (самое важное) энегроэффективнее.
*UPD оказывается Droider только что выпустил видео на ту же тему 🤷♂️
А вот тут умный мужик из Гугла поясняет, насколько инференс на специально выделенных для этого чипах быстрее, надежнее и (самое важное) энегроэффективнее.
Фантазии автораВ комментариях скинул текстовку интервью. Переведена на русский.
Вангую, лет через 10-15 такие чипы станут продаваться на ПК отдельной платой, как это сейчас происходит с видеокартами. И даже игры будут с требованием из категории: минимум 100 токенов/сек на модели в 40B параметров и контекстным окном в 200к.
*UPD оказывается Droider только что выпустил видео на ту же тему 🤷♂️