Claude стал честнее - что это значит для вас
Пару недель назад видела заголовок: «Первый ИИ без галлюцинаций». Красиво. И неправда 🙂
Разбираемся, что произошло на самом деле.
Anthropic выпустили Claude Opus 4.8 и главным улучшением назвали не скорость и не бенчмарки, а честность. Сами они формулируют скромно: «умеренное, но ощутимое улучшение». Никакого «нуля галлюцинаций» там нет - и любой, кто обещает вам ИИ без ошибок, продаёт волшебную таблетку.
А вот что есть, и это важно.
У всех моделей была одна неприятная черта: они уверенно рапортовали об успехе, даже когда сделали работу так себе. «Готово, всё работает!» - а внутри три бага и одна выдумка.
Красиво, убедительно, неправда. Новая версия по данным Anthropic в 4 раза реже пропускает ошибки в собственном коде молча. Чаще говорит «я не уверена», «этих данных в документе нет», «уточните задачу».
И вот тут главный сдвиг, который касается не только программистов.
Мы привыкли, что «я не знаю» от ИИ - это как будто провал. А на самом деле это лучшее, что нейросеть может вам сказать. Потому что альтернатива - правдоподобная ерунда, которую вы понесёте в отчёт, договор или решение.
Что это значит на практике:
если ИИ стал чаще сомневаться и задавать вопросы - это не деградация, это взросление,
проверяйте не те ответы, где модель сомневается, а те, где она подозрительно уверена,
и приучайте команду: уверенный тон нейросети - не аргумент. Аргумент - проверенный факт.
Забавно, что «честность» пришлось отдельно тренировать. Годами мы учили нейросети звучать убедительно, а теперь учим признаваться, что они чего-то не знают.
Людям, кстати, тоже иногда не помешало бы такое обновление 🙃
Первоисточник (анонс Anthropic): https://www.anthropic.com/news/claude-opus-4-8
Пару недель назад видела заголовок: «Первый ИИ без галлюцинаций». Красиво. И неправда 🙂
Разбираемся, что произошло на самом деле.
Anthropic выпустили Claude Opus 4.8 и главным улучшением назвали не скорость и не бенчмарки, а честность. Сами они формулируют скромно: «умеренное, но ощутимое улучшение». Никакого «нуля галлюцинаций» там нет - и любой, кто обещает вам ИИ без ошибок, продаёт волшебную таблетку.
А вот что есть, и это важно.
У всех моделей была одна неприятная черта: они уверенно рапортовали об успехе, даже когда сделали работу так себе. «Готово, всё работает!» - а внутри три бага и одна выдумка.
Красиво, убедительно, неправда. Новая версия по данным Anthropic в 4 раза реже пропускает ошибки в собственном коде молча. Чаще говорит «я не уверена», «этих данных в документе нет», «уточните задачу».
И вот тут главный сдвиг, который касается не только программистов.
Мы привыкли, что «я не знаю» от ИИ - это как будто провал. А на самом деле это лучшее, что нейросеть может вам сказать. Потому что альтернатива - правдоподобная ерунда, которую вы понесёте в отчёт, договор или решение.
Что это значит на практике:
если ИИ стал чаще сомневаться и задавать вопросы - это не деградация, это взросление,
проверяйте не те ответы, где модель сомневается, а те, где она подозрительно уверена,
и приучайте команду: уверенный тон нейросети - не аргумент. Аргумент - проверенный факт.
Забавно, что «честность» пришлось отдельно тренировать. Годами мы учили нейросети звучать убедительно, а теперь учим признаваться, что они чего-то не знают.
Людям, кстати, тоже иногда не помешало бы такое обновление 🙃
Первоисточник (анонс Anthropic): https://www.anthropic.com/news/claude-opus-4-8