VLA: Как LLM-ки помогают в робототехнике

Берем предобученную vision LLM (условно квен) и вместо следующего токена учим предсказывать предсказывать позиции суставов робота.
Google RT-2: "возьми красную кружку" + картинка с камеры → [0.1, -0.5, 0.3, 0.0, 0.2, -0.1, 1.0]
Семь чисел = семь суставов манипулятора на следующее 100 мс

Главный прорыв VLA
Претреинед модель уже знает что такое "кружка" из текстовых данных. Не надо показывать 1000 примеров как брать кружку - она понимает концепцию "взять" и концепцию "кружка" из предобучения на интернете.
Physical Intelligence показали как их модель π0 складывает одежду, хотя обучалась на совсем других задачах. Просто потому что "понимает" инструкции.

Разумеется, что бы это все заставить хорошо работать, нужно применить много разных хаков - например предсказывать сразу несколько следующих токенов, сложной математикой бороться с дерганьем и залипанями итп, но сама идея моделей остается довольно простой

Если вам было бы интересно позаниматься чем то подобным, можете купить себе LeRobot (от Huggingface) или пойти в команду яндекса по робототехнике, закинув свое резюме сюда @Bonstor