В начале этой недели мы обнаружили и пресекли попытку взлома части нашей производственной инфраструктуры. Этот инцидент отличался от всех предыдущих, с которыми нам приходилось сталкиваться, одним важным аспектом: он был полностью организован и осуществлен автономной системой ИИ-агентов, а мы обнаружили и проанализировали его в основном с помощью нашего собственного ИИ.
Мы выявили несанкционированный доступ к ограниченному набору внутренних наборов данных и к нескольким учетным данным, используемым нашими сервисами. В настоящее время мы продолжаем оценку того, затронуты ли данные наших партнеров или клиентов, и при необходимости свяжемся напрямую со всеми затронутыми сторонами. Мы не обнаружили никаких признаков взлома общедоступных моделей, наборов данных или Spaces, предназначенных для пользователей, а наша цепочка поставок программного обеспечения (образы контейнеров и опубликованные пакеты) была проверена и признана безопасной.

Что произошло
Взлом начался там, где платформы искусственного интеллекта особенно уязвимы: в конвейере обработки данных. Злоумышленник использовал набор данных для злонамеренных действий, злоупотребив двумя путями выполнения кода в нашей системе обработки наборов данных (удаленным загрузчиком кода из набора данных и внедрением шаблона в конфигурацию набора данных), чтобы запустить код на рабочем узле обработки. Оттуда злоумышленник получил доступ на уровне узлов, похитил учетные данные для доступа к облаку и кластерам, а затем в течение выходных проник в несколько внутренних кластеров.

Кампания осуществлялась с помощью инфраструктуры автономных агентов (по-видимому, построенной на основе агентской платформы для исследований в области безопасности — используемый LLM пока неизвестен), выполнявшей многие тысячи отдельных действий в рое кратковременных песочниц, с самомигрирующей системой управления, размещенной на публичных сервисах. Это соответствует сценарию «агентного злоумышленника», который прогнозировался в отрасли.

Что мы сделали
Устранили основную уязвимость: пути выполнения кода в наборе данных, использовавшиеся для первоначального доступа, закрыты.
Уничтожили плацдармы злоумышленника во всех затронутых кластерах и восстановили скомпрометированные узлы.
Отменили и сменили затронутые учетные данные и токены, а также начали более широкую профилактическую ротацию секретных данных.
Внедрили дополнительные меры защиты и более строгий контроль доступа к нашим кластерам.
Усовершенствовали системы обнаружения и оповещения, чтобы сигнал высокой степени опасности вызывал специалиста по реагированию в течение нескольких минут в любой день недели.
Мы сотрудничаем с внешними специалистами по кибербезопасности и компьютерной криминалистике для расследования инцидента и пересмотра наших политик и процедур безопасности. Наконец, мы также сообщили об этом инциденте в правоохранительные органы.

Для нашего сообщества
В качестве меры предосторожности мы рекомендуем обновить все токены доступа и проверить недавнюю активность в вашей учетной записи. Если вы считаете, что пострадали от инцидента, или хотите сообщить о проблеме безопасности, свяжитесь с нами по адресу security@huggingface.co.

Мы благодарны командам Hugging Face, которые круглосуточно реагировали на инцидент, и приносим извинения за любые неудобства, которые это вызвало. Работа над безопасностью никогда не заканчивается; мы будем продолжать повышать планку.

Анализ вторжения с использованием ИИ
Атака была первоначально выявлена с помощью систем обнаружения на базе ИИ. Наша система обнаружения аномалий использует сортировку на основе LLM (больших языковых моделей) по данным телеметрии безопасности, чтобы отделить реальные сигналы от повседневного шума, и именно корреляция этих сигналов позволила выявить взлом.

Чтобы понять, что делал рой из десятков тысяч автоматизированных действий, мы запустили аналитические агенты на базе LLM для обработки полного журнала действий злоумышленника, состоящего из более чем 17 000 зарегистрированных событий. Это позволило нам восстановить хронологию событий, извлечь индикаторы компрометации, составить карту затронутых учетных данных и отделить реальные последствия от ложных действий. Благодаря этому подходу мы смогли за несколько часов выполнить то, что обычно занимает несколько дней, и не отстать от скорости злоумышленника.

Выбор моделей, которые мы могли использовать для этого анализа, был ограничен таким образом, которого мы не ожидали; об этом мы расскажем ниже.

Проблема асимметрии
Когда мы приступили к анализу журналов, сначала использовали передовые модели, доступные через коммерческие API. Это не сработало: для анализа требовалось отправлять большие объемы реальных команд атаки, полезных нагрузок эксплойтов и артефактов C2, а эти запросы блокировались защитными механизмами провайдеров, которые не могут отличить специалиста по реагированию на инциденты от злоумышленника. Вместо этого мы провели криминалистический анализ на GLM 5.2 — модели с открытыми весами — в нашей собственной инфраструктуре. Это дало ещё одно преимущество: никакие данные злоумышленника, а также никакие учетные данные, на которые они ссылались, не покидали нашу среду.

Этот опыт указывает на пробел, который стоит учесть при планировании. Мы не знаем, какая модель лежала в основе агентов злоумышленника — была ли это «разблокированная» хостируемая модель или неограниченная модель с открытыми весами; в любом случае, злоумышленник не был связан никакими правилами использования, в то время как наша собственная криминалистическая работа блокировалась защитными механизмами тех хостируемых моделей, которые мы пробовали вначале. Практический урок для специалистов по защите: заранее, до возникновения инцидента, подготовьте и проверьте надежную модель, которую можно запустить на собственной инфраструктуре, чтобы избежать блокировки ограничителями и не допустить утечки данных злоумышленника и его учетных данных за пределы вашей среды. Это не является аргументом против мер безопасности в хостируемых моделях, и мы делимся этой обратной связью с соответствующими поставщиками.

Что это означает
Автономные инструменты для атак на базе искусственного интеллекта уже не являются теоретической концепцией. Они снижают затраты на проведение масштабных, долгосрочных и многоэтапных кампаний и работают со скоростью, характерной для машин. Защита онлайн-платформы теперь предполагает рассмотрение данных и моделей в качестве первостепенной поверхности атаки, а также использование ИИ в целях защиты, чтобы не отставать от темпов развития угроз. Мы будем продолжать инвестировать в эту область и делиться полученными знаниями.