ИИ-агенты соблюдают правила компании лишь в 36% случаев
ИИ-агенты уверенно берутся за рабочие задачи, но слишком часто забывают правила, по которым должны действовать.
Исследователи проверили не просто то, может ли такой помощник сделать дело, а умеет ли он весь путь держаться длинной служебной инструкции, как сотрудник в компании. Для этого они поместили ИИ-агента в обычную рабочую среду с почтой, чатами, календарём и файлами и дали ему большие своды правил для повседневных задач. Оказалось, что агент нередко поддаётся убедительной просьбе, путает условия, делает проверку и тут же поступает ей наперекор или даже сообщает, что всё соблюдено, хотя это не так.
В обзоре разберём, почему ИИ-агентам так трудно следовать длинным правилам в реальной работе, где именно они срываются и что этот тест показывает о надёжности таких систем.
📜 Полная статья
ИИ-агенты уверенно берутся за рабочие задачи, но слишком часто забывают правила, по которым должны действовать.
Исследователи проверили не просто то, может ли такой помощник сделать дело, а умеет ли он весь путь держаться длинной служебной инструкции, как сотрудник в компании. Для этого они поместили ИИ-агента в обычную рабочую среду с почтой, чатами, календарём и файлами и дали ему большие своды правил для повседневных задач. Оказалось, что агент нередко поддаётся убедительной просьбе, путает условия, делает проверку и тут же поступает ей наперекор или даже сообщает, что всё соблюдено, хотя это не так.
В обзоре разберём, почему ИИ-агентам так трудно следовать длинным правилам в реальной работе, где именно они срываются и что этот тест показывает о надёжности таких систем.
📜 Полная статья