Репост из: Анализ данных (Data analysis)
🔎 Looped-модели научились экономить память: качество 12 блоков при KV-кэше на 4
Looped-модели прогоняют токен через один и тот же блок слоёв несколько раз, и так глубина растёт без роста параметров. Мешало одно: на каждой итерации копится свой KV-кэш, и память раздувается.
Авторы заметили, что внутреннее состояние модели со временем почти перестаёт меняться. Поэтому на декодинге можно хранить только финальные ключи и значения, а не всю цепочку итераций.
На модели 1.6B это дало 60% в среднем по бенчмаркам. Обычный трансформер из 4 блоков набирает 51%, из 12 блоков 61.5%. Получается почти уровень 12 блоков при втрое меньшем KV-кэше. Бонусом промпт обрабатывается до 1.79 раза быстрее, а RL-обучение идёт вдвое быстрее.
Код и 49 чекпоинтов открыты.
https://arxiv.org/abs/2610.06833
https://github.com/ifm-ai/xllm-loop
Looped-модели прогоняют токен через один и тот же блок слоёв несколько раз, и так глубина растёт без роста параметров. Мешало одно: на каждой итерации копится свой KV-кэш, и память раздувается.
Авторы заметили, что внутреннее состояние модели со временем почти перестаёт меняться. Поэтому на декодинге можно хранить только финальные ключи и значения, а не всю цепочку итераций.
На модели 1.6B это дало 60% в среднем по бенчмаркам. Обычный трансформер из 4 блоков набирает 51%, из 12 блоков 61.5%. Получается почти уровень 12 блоков при втрое меньшем KV-кэше. Бонусом промпт обрабатывается до 1.79 раза быстрее, а RL-обучение идёт вдвое быстрее.
Код и 49 чекпоинтов открыты.
https://arxiv.org/abs/2610.06833
https://github.com/ifm-ai/xllm-loop