Center for Cognitive Modeling

Foxglove.dev — аналог Rerun.io для визуализации и отладки робототехнических систем. Удобный инструмент, чтобы смотреть данные с сенсоров в реальном времени и не терять время на самописные дашборды.
🔗 foxglove.dev | docs.foxglove.dev

Агентная архитектура с потоками данных. В 10–17 раз быстрее ROS2 благодаря zero-copy shared memory, 4 паттерна коммуникации и production-ready fault tolerance. Если вы устали от ROS — присмотритесь.
🔗 dora-rs.ai | github.com/dora-rs/dora

Независимая реализация метода для автоматической генерации академических иллюстраций. Помогает быстро сделать схему метода, не тратя часы на визуализацию вручную.
🔗 github.com/llmsresearch/paperbanana | arxiv.org/abs/2601.23265

Adapting Generalist Robot Policies with Semantic Reinforcement Learning — для тех, кто следит за развитием VLA-моделей и обобщением политик.
🔗 arxiv.org/abs/2606.31958

Experience Graphs: The Data Foundation for Self-Improving Agents. Как структурировать опыт агента, чтобы он учился на своих же действиях.
🔗 arxiv.org/abs/2606.29823

Про развитие линейки RMT-моделей в кооперации с коллегами из MBUZAI. Работа с историей — и она того стоила.

Про ремпромпт VLA-моделей. Работа успела отметиться на воркшопе ICML и с первого раза прошла на конференцию!

Про смещённость знаний в VLA-моделях.

Про мультиагентную эстафету для решения задач олимпиадного программирования.

«У Института уже есть практический опыт создания систем автономного транспорта. Совместно с коллегами из МАДИ специалисты МФТИ разработали и испытали беспилотный автомобиль на базе электрической «Газели», для которого команда Физтеха создавала систему высокоточной локализации и ряд алгоритмов автономного управления. Решение прошло серию испытаний, а накопленные технологии и программные модули теперь могут быть адаптированы для более сложной задачи — беспилотных пассажирских перевозок»,
— заведующий лабораторией интеллектуального транспорта ЦКМ Дмитрий Юдин.

Программа по направлениям:

Общие курсы (1 семестр):
- Компьютерная лингвистика и обработка естественного языка
- Основы когнитивной психологии
- Методы общего искусственного интеллекта
- Нейросетевые фреймворки глубокого обучения
- Программные средства для задач искусственного интеллекта (2 практики)
- Методы искусственного интеллекта в анализе данных
- Научный семинар

Фундаментальные методы искусственного интеллекта (2 и 3 семестры):
- Новые нейросетевые архитектуры и продвинутые методы обработки естественного языка
- Продвинутые методы компьютерного зрения
- Введение в когнитивную нейронауку
- Продвинутые методы машинного обучения с подкреплением
- Интеллектуальная робототехника
- Нейроморфные вычесления
- Мультимодальные и поведенческие модели
лекции

Фундаментальные методы искусственного интеллекта. Мультимодальный искусственный интеллект (2 и 3 семестры):
- Введение в мультиагентные системы на основе LLM: от теории к практике
- Visual Generative AI (Современные методы генерации визуальных данных)
- Современные подходы проектирования рекомендательных систем
- Малоранговые тензорные методы
- LLM агенты
- Машинное обучение в задачах стурктурной биологии

Метод Sage от команды NVIDIA — генерацию интерактивных 3D-сцен с помощью LLM/VLM тул-коллинга на базе Open3D (ранее упоминался как QUEN3-VL). В отличие от статичных мешей, объекты загружаются в Isaac Sim как интерактивные. Бонусом идет мощный датасет: 10 тыс. сцен, 50 типов комнат, более 500 тыс. уникальных объектов!
🔗 nvlabs.github.io/sage/ | arxiv.org/abs/2602.10116

ORKG ASK — нейро-символическая система для поиска и анализа научной литературы. Она строит графы знаний из статей, чтобы отвечать на вопросы исследователей точнее обычного поиска.
🔗 arxiv.org/abs/2512.16425

Статья «Back to Basics» — про проблему исследования (exploration) в Reinforcement Learning для улучшения рассуждений LLM. Авторы предлагают пересмотреть генеративные вероятности для более эффективного RLVR.
🔗 arxiv.org/abs/2602.05281

В Zyphra предложили Online Vector-Quantized Attention — модификацию векторного квантования, которая учит словарь «думать на лету». Вместо статичного словаря, который дает ошибки на новых данных, здесь каждый новый токен обновляет только один ближайший центроид. Это разреженное обновление защищает от забывания и сохраняет точность внимания.
🔗 arxiv.org/abs/2602.03922

1) Dynamic Neural Potential Field: Online Trajectory Optimization in Presence of Moving Obstacles — представляет метод нейросетевой генерации траекторий для объезда динамических препятствий в реальном времени
2) Knowledge-Guided Manipulation Using Multi-Task Reinforcement Learning — представляет метод, объединяющий 3D-сцену, граф знаний и обучение с подкреплением для управления манипуляциями робота
3) TOCALib: Optimal control library with interpolation for bimanual manipulation and obstacles avoidance — представляет библиотеку оптимального управления с интерполяцией для бимануальных манипуляторов и избегания препятствий

Конкурс предполагает разработку наземных мобильных роботов, позволяющих с высокой точностью обнаруживать и классифицировать археологические объекты и предметы различного состава, расположенных на различной глубине под землей.

Современные мультимодальные модели умеют анализировать видео, однако их ответы на пространственно-временные вопросы часто остаются недостаточно надежными. Для таких вопросов важно понимать не только, какие объекты присутствуют в сцене, но и где они находятся относительно друг друга, как перемещаются и как меняются их отношения во времени. Для повышения качества ответов предлагается использовать графы сцены как структурированное представление видео: объекты описываются вершинами графа, а отношения между ними — ребрами. Это позволяет явно хранить информацию о взаимном расположении объектов и использовать ее для более точных ответов на вопросы.

В рамках семинара будет рассмотрено, какие сложности возникают при ответах на пространственные вопросы по видео, как строятся графы сцены и как они могут применяться для задачи Visual Question Answering.