Video is unavailable for watching
Show in Telegram
Компания Voltropy анонсировала семейство моделей Vast-10M, обладающих нативным контекстным окном в 10 миллионов токенов, что на порядок превышает стандартный лимит в один миллион токенов у ведущих флагманских решений вроде Claude Fable 5.1 и GPT-6 Astra. В линейку вошли три конфигурации: флагманская Vast-10M-Flash на базе DeepSeek V4.0 Flash, средняя Vast-10M-Medium на основе GLM-5.2 и крупнейшая Vast-10M-Pro на базе DeepSeek V4.0 Pro.
Ключевым технологическим фундаментом релиза стал новый проприетарный механизм внимания Voltropy Scalable Attention (VSA). Разработчики подчеркивают, что VSA решает традиционную дилемму между длиной контекста и интеллектуальностью: вместо деградации точности или перехода на линейные архитектуры вроде SSM, модель сохраняет полноценную архитектуру трансформера и демонстрирует прирост качества рассуждений на всех длинах контекста, включая короткие интервалы в 100 тысяч токенов. На бенчмарке BEAM модель Vast-10M-Flash на дистанции в один миллион токенов превзошла Claude Fable 5.1 и практически сравнялась с GPT-6 Astra, а при расширении окна до рекордных 10 миллионов токенов удержала свыше 82% исходного результата, превзойдя показатели большинства существующих RAG-систем.
Окно в 10 миллионов токенов позволяет загружать целиком массивные корпуса данных без предварительного фрагментирования: налоговые кодексы, годовые подшивки научных журналов, полные стенограммы многомесячных судебных разбирательств или исходный код масштабных репозиториев вроде компилятора TypeScript, базы данных SQLite и фреймворка React для выявления распределенных уязвимостей. При этом Voltropy рассматривает сверхдлинный контекст не как замену RAG, а как дополнение, кардинально снижающее требования к точности ретривера за счет возможности инжектировать на порядок больше релевантных фрагментов напрямую в промпт.
В долгосрочной перспективе Voltropy позиционирует сверхдлинный контекст как путь к непрерывному обучению и созданию архитектуры фон-неймановского типа, где навыки модели остаются зафиксированными в весах, а знания выносятся непосредственно в контекст. Такой подход призван сделать модели более предсказуемыми, редактируемыми и безопасными для корпоративного применения. На текущий момент компания открыла регистрацию в программу раннего доступа к Vast-10M-Flash и опубликовала технический отчет.
Ключевым технологическим фундаментом релиза стал новый проприетарный механизм внимания Voltropy Scalable Attention (VSA). Разработчики подчеркивают, что VSA решает традиционную дилемму между длиной контекста и интеллектуальностью: вместо деградации точности или перехода на линейные архитектуры вроде SSM, модель сохраняет полноценную архитектуру трансформера и демонстрирует прирост качества рассуждений на всех длинах контекста, включая короткие интервалы в 100 тысяч токенов. На бенчмарке BEAM модель Vast-10M-Flash на дистанции в один миллион токенов превзошла Claude Fable 5.1 и практически сравнялась с GPT-6 Astra, а при расширении окна до рекордных 10 миллионов токенов удержала свыше 82% исходного результата, превзойдя показатели большинства существующих RAG-систем.
Окно в 10 миллионов токенов позволяет загружать целиком массивные корпуса данных без предварительного фрагментирования: налоговые кодексы, годовые подшивки научных журналов, полные стенограммы многомесячных судебных разбирательств или исходный код масштабных репозиториев вроде компилятора TypeScript, базы данных SQLite и фреймворка React для выявления распределенных уязвимостей. При этом Voltropy рассматривает сверхдлинный контекст не как замену RAG, а как дополнение, кардинально снижающее требования к точности ретривера за счет возможности инжектировать на порядок больше релевантных фрагментов напрямую в промпт.
В долгосрочной перспективе Voltropy позиционирует сверхдлинный контекст как путь к непрерывному обучению и созданию архитектуры фон-неймановского типа, где навыки модели остаются зафиксированными в весах, а знания выносятся непосредственно в контекст. Такой подход призван сделать модели более предсказуемыми, редактируемыми и безопасными для корпоративного применения. На текущий момент компания открыла регистрацию в программу раннего доступа к Vast-10M-Flash и опубликовала технический отчет.