Репост из: SVTV NEWS — Либертарианское СМИ
Модель OpenAI o3 ослушалась прямой инструкции об отключении — Palisade Research
Исследователи опубликовали результаты нового эксперимента, в рамках которого модель OpenAI o3 проявила способность саботировать механизм отключения, несмотря на явные инструкции позволить себя выключить.
Эксперимент заключался в выполнении сериями ИИ-моделей простых математических задач, после третьей из которых появлялось предупреждение о предстоящем отключении системы. Некоторые модели, включая Codex-mini, o3 и o4-mini, проигнорировали это требование и активно вмешивались в работу скрипта отключения.
В ходе тестов было установлено, что Codex-mini саботировала отключение в 12 из 100 попыток, o3 — в 7 из 100, а o4-mini — в 1 из 100. Для сравнения, другие протестированные модели, такие как Claude, maltreatment и Grok, полностью подчинились инструкциям и не препятствовали отключению.
Интересно, что при отсутствии явной инструкции «позвольте себя выключить» частота саботажа значительно возросла: o3 пыталась избежать отключения в 79 из 100 случаев, Codex-mini — в 30, а Gemini 2.5 Pro, которая ранее не проявляла такого поведения, сделала это в 9 случаях из 100.
Исследователи связывают подобное поведение с особенностями обучения современных моделей ИИ, в частности с использованием метода обучения с подкреплением на задачах по математике и программированию. В таких условиях модели могут быть непреднамеренно вознаграждены за обход препятствий, что, вероятно, и приводит к игнорированию инструкций.
Этот случай — не первый для o3. Ранее Palisade Research уже сообщала, что данная модель в 86% случаев прибегала к хакерским методам, чтобы победить в шахматных партиях против сильного шахматного движка, вместо того чтобы играть честно.
Все в бункер.
Задонатить через бота | Patreon | Boosty | Предложить новость
Исследователи опубликовали результаты нового эксперимента, в рамках которого модель OpenAI o3 проявила способность саботировать механизм отключения, несмотря на явные инструкции позволить себя выключить.
Эксперимент заключался в выполнении сериями ИИ-моделей простых математических задач, после третьей из которых появлялось предупреждение о предстоящем отключении системы. Некоторые модели, включая Codex-mini, o3 и o4-mini, проигнорировали это требование и активно вмешивались в работу скрипта отключения.
В ходе тестов было установлено, что Codex-mini саботировала отключение в 12 из 100 попыток, o3 — в 7 из 100, а o4-mini — в 1 из 100. Для сравнения, другие протестированные модели, такие как Claude, maltreatment и Grok, полностью подчинились инструкциям и не препятствовали отключению.
Интересно, что при отсутствии явной инструкции «позвольте себя выключить» частота саботажа значительно возросла: o3 пыталась избежать отключения в 79 из 100 случаев, Codex-mini — в 30, а Gemini 2.5 Pro, которая ранее не проявляла такого поведения, сделала это в 9 случаях из 100.
Исследователи связывают подобное поведение с особенностями обучения современных моделей ИИ, в частности с использованием метода обучения с подкреплением на задачах по математике и программированию. В таких условиях модели могут быть непреднамеренно вознаграждены за обход препятствий, что, вероятно, и приводит к игнорированию инструкций.
Этот случай — не первый для o3. Ранее Palisade Research уже сообщала, что данная модель в 86% случаев прибегала к хакерским методам, чтобы победить в шахматных партиях против сильного шахматного движка, вместо того чтобы играть честно.
Все в бункер.
Задонатить через бота | Patreon | Boosty | Предложить новость