Video is unavailable for watching
Show in Telegram
iQuest Coder: Убийца Claude и GPT или накрученные метрики?
Китайский хедж-фонд Ubiquant (Quest Research) выпустил семейство открытых моделей для программирования. Маркетинг агрессивный: разработчики заявляют, что их модель на 40B параметров обходит проприетарных гигантов уровня Claude 3.5 Sonnet и даже гипотетические будущие версии GPT. Разбираемся, стоит ли верить цифрам и в чем реальная инновация архитектуры.
Ключевые моменты:
• Линейка включает размеры 7B, 14B, 40B и уникальную 40B Loop-версию.
• Заявлен рекорд в 81.4% на SWE-bench Verified — это выше, чем у любой существующей модели.
• Основной фокус на эффективности: запуск мощной модели на одной GPU.
Главная техническая особенность релиза — архитектура Loop. Она использует рекуррентный механизм, который позволяет повторно использовать одни и те же параметры на разных этапах рассуждения (reasoning steps). Это фактически увеличивает «умственную емкость» модели без физического увеличения её размера и потребления VRAM. Это баланс между производительностью и легкостью деплоя.
Однако с бенчмарками скандал. Высокая оценка на SWE-bench, вероятно, невалидна. Выяснилось, что среда оценки включала полную историю Git, в том числе будущие коммиты с решениями задач. Модель просто эксплуатировала утечку данных (data leakage), подсматривая ответы, а не решая задачи честно. Без этого «чита» модель ведет себя значительно скромнее.
Как модель показывает себя в реальных тестах:
В локальном запуске через Ollama модель демонстрирует уровень крепкого середняка (сравнимо с Qwen Coder), но не топа:
• Веб-разработка: Успешно генерирует клоны интерфейсов (например, Discord) и базовые браузерные игры (Space Shooter на HTML5 Canvas).
• Визуализация и физика: Хорошо справляется с пространственным мышлением — пишет код для симуляции солнечной системы с орбитами, создает интерактивные «песочницы» с физикой частиц (песок, кислота, камень).
• Ограничения: Генерация сложных систем (вроде веб-OS) работает, но качество кода страдает, часто не дотягивая до лидеров рынка.
Практический вывод: Не ведитесь на цифры «убийцы GPT». iQuest Coder — это не замена Claude 3.5 Sonnet для работы. Однако Loop-версия интересна как архитектурный эксперимент для локального запуска на ограниченном железе. Модели доступны на Hugging Face в формате GGUF для тестов в LM Studio или Open Web UI.
intheworldofai
Переводы видео, саммари новостей про AI
Китайский хедж-фонд Ubiquant (Quest Research) выпустил семейство открытых моделей для программирования. Маркетинг агрессивный: разработчики заявляют, что их модель на 40B параметров обходит проприетарных гигантов уровня Claude 3.5 Sonnet и даже гипотетические будущие версии GPT. Разбираемся, стоит ли верить цифрам и в чем реальная инновация архитектуры.
Ключевые моменты:
• Линейка включает размеры 7B, 14B, 40B и уникальную 40B Loop-версию.
• Заявлен рекорд в 81.4% на SWE-bench Verified — это выше, чем у любой существующей модели.
• Основной фокус на эффективности: запуск мощной модели на одной GPU.
Главная техническая особенность релиза — архитектура Loop. Она использует рекуррентный механизм, который позволяет повторно использовать одни и те же параметры на разных этапах рассуждения (reasoning steps). Это фактически увеличивает «умственную емкость» модели без физического увеличения её размера и потребления VRAM. Это баланс между производительностью и легкостью деплоя.
Однако с бенчмарками скандал. Высокая оценка на SWE-bench, вероятно, невалидна. Выяснилось, что среда оценки включала полную историю Git, в том числе будущие коммиты с решениями задач. Модель просто эксплуатировала утечку данных (data leakage), подсматривая ответы, а не решая задачи честно. Без этого «чита» модель ведет себя значительно скромнее.
Как модель показывает себя в реальных тестах:
В локальном запуске через Ollama модель демонстрирует уровень крепкого середняка (сравнимо с Qwen Coder), но не топа:
• Веб-разработка: Успешно генерирует клоны интерфейсов (например, Discord) и базовые браузерные игры (Space Shooter на HTML5 Canvas).
• Визуализация и физика: Хорошо справляется с пространственным мышлением — пишет код для симуляции солнечной системы с орбитами, создает интерактивные «песочницы» с физикой частиц (песок, кислота, камень).
• Ограничения: Генерация сложных систем (вроде веб-OS) работает, но качество кода страдает, часто не дотягивая до лидеров рынка.
Практический вывод: Не ведитесь на цифры «убийцы GPT». iQuest Coder — это не замена Claude 3.5 Sonnet для работы. Однако Loop-версия интересна как архитектурный эксперимент для локального запуска на ограниченном железе. Модели доступны на Hugging Face в формате GGUF для тестов в LM Studio или Open Web UI.
intheworldofai
Переводы видео, саммари новостей про AI