Воркшоп / 2024.10.18 / 'https://t.me/c/2069889012/10/12860' rel='nofollow'>Инференс и квантизация для LLM / Артур Панюков

Ведущий — Артур Панюков, AI Frameworks Engineer в Intel. Артур структурированно погрузил нас в теорию построения инференсов и в то, как работает квантизация, всё на примере OpenVINO.

ЧТО ВНУТРИ
- Интро в Deep Learning и теорию инференсов
- Demo инференса без оптимизаций
- KV Cache
- Demo OpenVINO GenAI + оптимизации
- Квантизация
- На чём лучше инферить LLM?

#evo_воркшоп