В этом году вышла статья про то, как на спайковых сетях сделать трансформер https://github.com/BICLab/Spike-Driven-Transformer
Что это значит?
1) Вероятно скоро будет language modelling на спайковых сетях. Подобие ChatGPT станет страшно мощным «чудовищем»/инструментом
2) все механизмы, связанные с трансформерами и самовниманием станут в 80 раз менее энергозатратными.
Что это значит?
1) Вероятно скоро будет language modelling на спайковых сетях. Подобие ChatGPT станет страшно мощным «чудовищем»/инструментом
2) все механизмы, связанные с трансформерами и самовниманием станут в 80 раз менее энергозатратными.