Главная новость в Kolibri — не цифра 78,1 млрд параметров, а то, что на каждый токен модель активирует только 3,46 млрд. Это Mixture-of-Experts: внутри большая система, но при каждом обращении работает лишь нужная часть — как склад, где не открывают все секции ради одной коробки.

Aleph Alpha выпустила Kolibri как модель с открытыми весами для английского и немецкого языков. У неё контекст до 1 млн токенов и настраиваемый для каждого запроса уровень усилий на рассуждение. Это важнее красивого общего числа параметров: разработчик получает возможность выбирать, сколько вычислений тратить на конкретную задачу.

Но есть существенная оговорка: Apache 2.0 распространяются FP8-веса, а запуск заявлен на одном ускорителе B200 или H200. То есть Kolibri выглядит не как модель «для любого ноутбука», а как попытка уместить очень большую общую ёмкость в более экономный режим обработки.

Мой вывод: смотреть на Kolibri нужно прежде всего как на эксперимент с архитектурой — 78,1 млрд параметров без необходимости активировать их все сразу. Реальную ценность покажут уже не размеры, а качество на английском и немецком и стоимость запуска в этих условиях.

Источник: Aleph Alpha Releases Kolibri: A 78.1B Open-Weight English-German MoE Model With Only 3.46B Active Parameters