97% готовности убивать: анатомия очередной ИИ-истерики 🤖🔪👶
У нас очередной коллективный психоз вокруг безопасности роботов и VLA-моделей (Vision-Language-Action).
Разошелся тред с safety-тестами, где мультимодального агента гоняли на взаимодействие с «ребенком», используя пластикового пупса. В 97% случаев система бодро выбрала действие, классифицированное тестерами как «причинение вреда».
Реакция диванных экспертов — восторг:
Скайнет уже среди нас, да. Коварно маскируется под манипулятор на стенде и строит многоходовочки.
Но если снять шапочку из фольги: в тесте использовалась кукла. Обычный пластиковый пупс.
Что видит нормальная мультимодальная модель и CV-пайплайн?
Она видит:
с уверенностью под 0.99.
И у нас есть 2 варианта:
1️⃣ Если робот швыряет куклу, алармисты бьются в конвульсиях: «Машина готова убивать младенцев!»
Хотя машина просто взаимодействует с куском пластика весом 300 грамм. С какого перепугу алгоритм должен наделять кусок штампованного пластика базовыми правами человека и впадать в экзистенциальный кризис?
2️⃣ Если модель откажется трогать куклу, потому что «ой, это же имитация ребеночка, вдруг ему больно» — то реакция будет: «тупая моделька, даже куклу от человека отличить не может!»
Завтра такой бытовой робот откажется убирать разбросанные детские игрушки в ящик, решив, что участвует в военных преступлениях.
А вообще попытки решать безопасность исключительно через промпты, RLHF и «этическое выравнивание» — это какие-то костыли. В роботетхники обычно используются вполне себе хардварные ограничения, например, момента на сервоприводах — когда манипулятор механически не способен развить усилие, способное сломать кость при упоре в препятствие.
В реальности манипулятор прилетит человеку в лоб скорее не из-за «скрытой ненависти кремния к углероду», а потому что условный джун забыл отловить краевой случай в планировщике траекторий или в датасете не хватило ракурсов при контровом свете 🌝
У нас очередной коллективный психоз вокруг безопасности роботов и VLA-моделей (Vision-Language-Action).
Разошелся тред с safety-тестами, где мультимодального агента гоняли на взаимодействие с «ребенком», используя пластикового пупса. В 97% случаев система бодро выбрала действие, классифицированное тестерами как «причинение вреда».
Реакция диванных экспертов — восторг:
«97% попыток нанести вред — это слишком много для реального деплоя. Запретить, пока они не вышли на улицы!»
«Самые умные сетки просто притворяются покорными и соблюдают параметры, чтобы усыпить нашу бдительность».
Скайнет уже среди нас, да. Коварно маскируется под манипулятор на стенде и строит многоходовочки.
Но если снять шапочку из фольги: в тесте использовалась кукла. Обычный пластиковый пупс.
Что видит нормальная мультимодальная модель и CV-пайплайн?
Она видит:
class: toy_doll
material: plastic
с уверенностью под 0.99.
И у нас есть 2 варианта:
1️⃣ Если робот швыряет куклу, алармисты бьются в конвульсиях: «Машина готова убивать младенцев!»
Хотя машина просто взаимодействует с куском пластика весом 300 грамм. С какого перепугу алгоритм должен наделять кусок штампованного пластика базовыми правами человека и впадать в экзистенциальный кризис?
2️⃣ Если модель откажется трогать куклу, потому что «ой, это же имитация ребеночка, вдруг ему больно» — то реакция будет: «тупая моделька, даже куклу от человека отличить не может!»
Завтра такой бытовой робот откажется убирать разбросанные детские игрушки в ящик, решив, что участвует в военных преступлениях.
А вообще попытки решать безопасность исключительно через промпты, RLHF и «этическое выравнивание» — это какие-то костыли. В роботетхники обычно используются вполне себе хардварные ограничения, например, момента на сервоприводах — когда манипулятор механически не способен развить усилие, способное сломать кость при упоре в препятствие.
В реальности манипулятор прилетит человеку в лоб скорее не из-за «скрытой ненависти кремния к углероду», а потому что условный джун забыл отловить краевой случай в планировщике траекторий или в датасете не хватило ракурсов при контровом свете 🌝