Видео недоступно для предпросмотра
Смотреть в Telegram
Промт-инжиниринг выходит в физический мир
Опять про роботов. Несколько дней назад Generalist AI представила GEN-1.5 — новую модель для управления роботами.
Обычно, если мы хотим научить робота новому действию, нужно собрать кучу данных, обучить модель и проверить ее на реальном железе.
GEN-1.5 обучали больше восьми месяцев, пока исследователи не попробовали вообще не обновлять веса.
И оказалось, что модель способна понять новую задачу из контекста.
Теперь роботу можно показать 3–12 секунд физического действия, после чего GEN-1.5 попытается выполнить его сама. Generalist AI называет это физическим промтингом.
Примерно как с языковой моделью, только здесь в промт передается не текст, а сенсорные данные и само действие.
Демонстрация помещается в 30-секундный контекст. Модель смотрит на пример и текущее состояние среды и пытается понять, что нужно сделать.
На десяти коротких задачах такой способ дал около 59% успеха. Конечно, для промышленного робота это пока так себе результат.
Но пять минут данных и десять шагов дообучения поднимают результат примерно до 83%. Один шаг на одной минуте данных дал 66,5%.
Я бы смотрел не столько на проценты, сколько на сам процесс обучения новому навыку.
Раньше под новую задачу могли потребоваться часы данных и полноценное обучение. Теперь сначала можно показать несколько секунд примера. Если этого недостаточно — собрать несколько минут данных и дообучить модель.
Самое интересное, что эту способность специально не проектировали. Прям как с большими языковыми моделями: на масштабе оказалось, что модель умеет распознавать новую задачу внутри контекста без изменения весов.
Только теперь вместо текста — физический опыт.
Можно дать модели две отдельные демонстрации: сначала открыть кошелек, а потом достать деньги. Переход между ними никто не показывает — модель сама соединяет действия.
Еще интереснее, что действие можно показать в симуляторе как физический промт, после чего реальный робот попытается повторить его в физическом мире. Проблему Sim2Real-перехода это не отменяет, но симулятор становится еще и интерфейсом постановки задачи.
В некоторых экспериментах человек выполнял действие руками перед камерами робота, а модель переносила его на собственное тело.
Есть и примеры не просто копирования движения. После пяти минут дообучения на задаче с щеткой модель смогла использовать вместо нее банан, а с совком придумала другую стратегию: подцепила предмет и высыпала его в миску.
Generalist AI проверила почти 1,9 млн сцен и не нашла среди них близкого примера такого использования совка.
И это напрямую связано с моим прошлым постом про то, как ИИ-агенты начинают самостоятельно обучать роботов.
Я писал, что физический ИИ, скорее всего, будет состоять не из одной огромной модели, а из агента, который понимает цель, планирует действия, использует память и инструменты и управляет моделями для физического выполнения.
Теперь такой агент потенциально может создавать физические промты: найти похожий опыт в памяти, получить демонстрацию от человека или создать ее в симуляторе и сразу проверить результат на реальном роботе.
Если получилось плохо — изменить пример или дособрать данные. Если навык используется постоянно — сможет дообучить отдельную модель. И тогда тот цикл становится еще короче.
Получается, что физический опыт постепенно становится новым языком программирования роботов.
И, возможно, появится профессия наподобие промт-инженера, но для роботов.
Пока GEN-1.5 закрыта, однако, думаю, это вопрос времени.
#новости
Опять про роботов. Несколько дней назад Generalist AI представила GEN-1.5 — новую модель для управления роботами.
Обычно, если мы хотим научить робота новому действию, нужно собрать кучу данных, обучить модель и проверить ее на реальном железе.
GEN-1.5 обучали больше восьми месяцев, пока исследователи не попробовали вообще не обновлять веса.
И оказалось, что модель способна понять новую задачу из контекста.
Теперь роботу можно показать 3–12 секунд физического действия, после чего GEN-1.5 попытается выполнить его сама. Generalist AI называет это физическим промтингом.
Примерно как с языковой моделью, только здесь в промт передается не текст, а сенсорные данные и само действие.
Демонстрация помещается в 30-секундный контекст. Модель смотрит на пример и текущее состояние среды и пытается понять, что нужно сделать.
На десяти коротких задачах такой способ дал около 59% успеха. Конечно, для промышленного робота это пока так себе результат.
Но пять минут данных и десять шагов дообучения поднимают результат примерно до 83%. Один шаг на одной минуте данных дал 66,5%.
Я бы смотрел не столько на проценты, сколько на сам процесс обучения новому навыку.
Раньше под новую задачу могли потребоваться часы данных и полноценное обучение. Теперь сначала можно показать несколько секунд примера. Если этого недостаточно — собрать несколько минут данных и дообучить модель.
Самое интересное, что эту способность специально не проектировали. Прям как с большими языковыми моделями: на масштабе оказалось, что модель умеет распознавать новую задачу внутри контекста без изменения весов.
Только теперь вместо текста — физический опыт.
Можно дать модели две отдельные демонстрации: сначала открыть кошелек, а потом достать деньги. Переход между ними никто не показывает — модель сама соединяет действия.
Еще интереснее, что действие можно показать в симуляторе как физический промт, после чего реальный робот попытается повторить его в физическом мире. Проблему Sim2Real-перехода это не отменяет, но симулятор становится еще и интерфейсом постановки задачи.
В некоторых экспериментах человек выполнял действие руками перед камерами робота, а модель переносила его на собственное тело.
Есть и примеры не просто копирования движения. После пяти минут дообучения на задаче с щеткой модель смогла использовать вместо нее банан, а с совком придумала другую стратегию: подцепила предмет и высыпала его в миску.
Generalist AI проверила почти 1,9 млн сцен и не нашла среди них близкого примера такого использования совка.
И это напрямую связано с моим прошлым постом про то, как ИИ-агенты начинают самостоятельно обучать роботов.
Я писал, что физический ИИ, скорее всего, будет состоять не из одной огромной модели, а из агента, который понимает цель, планирует действия, использует память и инструменты и управляет моделями для физического выполнения.
Теперь такой агент потенциально может создавать физические промты: найти похожий опыт в памяти, получить демонстрацию от человека или создать ее в симуляторе и сразу проверить результат на реальном роботе.
Если получилось плохо — изменить пример или дособрать данные. Если навык используется постоянно — сможет дообучить отдельную модель. И тогда тот цикл становится еще короче.
Получается, что физический опыт постепенно становится новым языком программирования роботов.
И, возможно, появится профессия наподобие промт-инженера, но для роботов.
Пока GEN-1.5 закрыта, однако, думаю, это вопрос времени.
#новости