✔️ Cursor сократил расход токенов

Anysphere переработала обвязку своего агента и снизила траты пользователей на токены на 7% без потери качества.

Системный промпт сократили примерно на 75%, так как современным моделям больше не нужны длинные списки запретов, достаточно описать, как работает инструмент.

Встроенные инструменты, которые требуются меньше чем в 20% диалогов, убрали из постоянного контекста и подгружают по требованию, что на 60% уменьшило объём их описаний в статичной части запроса.

На месте остались чтение, поиск, правка файлов и терминал, а также ask_question, вызов которого некоторые модели выдумывают при его отсутствии, и create_plan для режима планирования.

Тем же способом раньше вынесли MCP-инструменты, и в сессиях с их вызовами общий расход токенов упал на 46,9%.

Остальную экономию дали кэш и работа с контекстом. С выхода GPT-5.6 API OpenAI позволяет явно размечать границы кэша, и Cursor ставит их после стабильных слоёв запроса перед растущей перепиской, а меняющиеся данные (навыки, субагенты и инфа об окружении) вынес в служебное пользовательское сообщение за этими границами.

Инструмент чтения файлов стал нумеровать каждую десятую строку вместо каждой - номер стоит три–пять токенов, а за сессию агент читает десятки тысяч строк, так что чтение из кэша сократилось на 1,6%.

Ещё из промпта убрали настойчивые советы отдавать изучение кодовой базы субагентам, поскольку модели освоили этот приём, а другую модель для субагента агент теперь выбирает только по указанию пользователя или обвязки.

Изменения уже действуют для пользователей Cursor, те же приёмы перенесут в Grok Bot.


@ai_machinelearning_big_data

#news #ai #ml