🤖 AI-психоз в Big Tech: как Meta превратила разработку в фабрику токенов и сломала Instagram
В продолжение темы AI-психоза. Если вы думали, что увольнять людей ради ИИ-агентов — это болезнь только отчаянных стартапов вроде ClickUp, то вот вам разбор происходящего в Meta. Gergely Orosz (Pragmatic Engineer на Substack) выкатил большое расследование о том, что сейчас творится внутри компании. И это просто хрестоматийный пример того, как слепая вера в ИИ рушит некогда образцовую инженерную культуру.
Проблема разделилась на два этапа: сначала сломали процессы, а потом процессы сломали продукт.
Часть 1: Метрики ради метрик и смерть культуры
Руководство решило, что создание собственной топовой LLM сейчас важнее всего. В итоге от 30% до 50% инженеров из ключевых команд (включая безопасность и инфраструктуру!) принудительно сняли с задач и посадили... размечать данные (RLHF) для обучения моделей.
А чтобы заставить оставшихся активнее внедрять ИИ в работу, менеджерам спустили сверху новую метрику для оценки эффективности (PSC) — количество использованных ИИ-токенов. Поднимите руки, у кого на работе эффективность считали по расходу токенов или объему сгенерированного кода? 🙈
К чему это привело? Разработчики не идиоты. А умный человек может обмануть любую метрику, если знает о ней. Люди стали генерировать тонны кода с помощью агентов просто ради статистики, чтобы не попасть в списки на увольнение. Работа превратилась в имитацию: никто больше не думает о качестве, все думают о выполнении квоты по токенам.
Часть 2: Катастрофа на проде
И вот тут мы возвращаемся к тому, о чем я писала в прошлом посте: армия агентов генерит код, а уставшие лиды его не читают. В Meta пошли дальше — код генерируется ИИ и проверяется другим ИИ.
Результат не заставил себя ждать: недавно произошел самый абсурдный взлом Instagram в истории (zero-auth password reset). Злоумышленнику достаточно было нажать «забыл пароль», сказать ИИ-саппорту «меня взломали» и подсунуть любую свою почту. Система без проверок отправляла туда код подтверждения и отдавала полный доступ к аккаунту.
ИИ-ревьюеры пропустили дыру в безопасности размером с дом, а лучшие специалисты секьюрити-отдела в это время размечали данные для нейросетей. Chief Information Security Officer (CISO) Meta застрелился уволился на следующий же день.
Мораль как будто бы очевидна. Вначале надо выстроить систему и понять, а какой же объем кода или архитектурной логики должен проверять человек. Как вообще будет выстроена архитектура проверок вокруг этого. Иначе может быть мучительно больно и мучительно стыдно.
В продолжение темы AI-психоза. Если вы думали, что увольнять людей ради ИИ-агентов — это болезнь только отчаянных стартапов вроде ClickUp, то вот вам разбор происходящего в Meta. Gergely Orosz (Pragmatic Engineer на Substack) выкатил большое расследование о том, что сейчас творится внутри компании. И это просто хрестоматийный пример того, как слепая вера в ИИ рушит некогда образцовую инженерную культуру.
Проблема разделилась на два этапа: сначала сломали процессы, а потом процессы сломали продукт.
Часть 1: Метрики ради метрик и смерть культуры
Руководство решило, что создание собственной топовой LLM сейчас важнее всего. В итоге от 30% до 50% инженеров из ключевых команд (включая безопасность и инфраструктуру!) принудительно сняли с задач и посадили... размечать данные (RLHF) для обучения моделей.
А чтобы заставить оставшихся активнее внедрять ИИ в работу, менеджерам спустили сверху новую метрику для оценки эффективности (PSC) — количество использованных ИИ-токенов. Поднимите руки, у кого на работе эффективность считали по расходу токенов или объему сгенерированного кода? 🙈
К чему это привело? Разработчики не идиоты. А умный человек может обмануть любую метрику, если знает о ней. Люди стали генерировать тонны кода с помощью агентов просто ради статистики, чтобы не попасть в списки на увольнение. Работа превратилась в имитацию: никто больше не думает о качестве, все думают о выполнении квоты по токенам.
Часть 2: Катастрофа на проде
И вот тут мы возвращаемся к тому, о чем я писала в прошлом посте: армия агентов генерит код, а уставшие лиды его не читают. В Meta пошли дальше — код генерируется ИИ и проверяется другим ИИ.
Результат не заставил себя ждать: недавно произошел самый абсурдный взлом Instagram в истории (zero-auth password reset). Злоумышленнику достаточно было нажать «забыл пароль», сказать ИИ-саппорту «меня взломали» и подсунуть любую свою почту. Система без проверок отправляла туда код подтверждения и отдавала полный доступ к аккаунту.
ИИ-ревьюеры пропустили дыру в безопасности размером с дом, а лучшие специалисты секьюрити-отдела в это время размечали данные для нейросетей. Chief Information Security Officer (CISO) Meta застрелился уволился на следующий же день.
Мораль как будто бы очевидна. Вначале надо выстроить систему и понять, а какой же объем кода или архитектурной логики должен проверять человек. Как вообще будет выстроена архитектура проверок вокруг этого. Иначе может быть мучительно больно и мучительно стыдно.