Репост из: Al Talent Hub
Линейное внимание снова стало важным? → Разбираемся в новом #ReadingClub
🗓 27 апреля в 19:00
Раньше linear attention избегали, а теперь внедряют в SOTA-модели 🤨
🎙 Спикер: Владислав Попов — ML-инженер в Точка Банк, магистрант AI Talent Hub.
📕 Статьи на обзор:
Точно будет о чем поговорить — приходи!
🏃♂️ ЗАРЕГИСТРИРОВАТЬСЯ
Reading Club — ни дня без научных прорывов 😎
@aitalenthubnews
#ITMO #NapoleonIT
🗓 27 апреля в 19:00
Раньше linear attention избегали, а теперь внедряют в SOTA-модели 🤨
Чтобы разобраться, как так вышло, в новом выпуске мы пройдем весь путь линейного внимания: увидим, как модели из мира физики стали применять для языкового моделирования, и проследим эволюцию в Gated DeltaNet.
🎙 Спикер: Владислав Попов — ML-инженер в Точка Банк, магистрант AI Talent Hub.
📕 Статьи на обзор:
→ RNN Attention
→ Attention is all you need
→ RWKV
→ S4
→ H3
→ Mamba
→ Mamba 2
→ DeltaNet
→ Gated DeltaNet
Точно будет о чем поговорить — приходи!
🏃♂️ ЗАРЕГИСТРИРОВАТЬСЯ
Reading Club — ни дня без научных прорывов 😎
@aitalenthubnews
#ITMO #NapoleonIT