Security nomad

Тут последние пару дней активно обсуждают кейс по увольнению ТОП-менеджера московской компании за то, что та через личную почту передавала данные DeepSeek. Я решил копнуть чуть глубже громких заголовков, чтобы понять хронологию событий. И получилась интересная картина.

Судя по всему, проблемы у сотрудницы начались далеко не с ИИ. И это даже не было основной причиной увольнения. Вот хронология событий на основании решения суда:

Июль 2025 — первый (по времени) повод для претензий: сделка с контрагентом
01.07.2025 — выдана доверенность на подписание договоров. После одобрения договора руководством спецификация была изменена в сторону увеличения объёма и стоимости; гендиректор распорядился отозвать договор для корректировок.
17.07.2025 — на совещании согласована новая редакция спецификации.
29.07.2025 — гендиректор обнаружил, что направленная контрагенту спецификация не соответствует согласованной форме, хотя сотрудница уверяла об отсутствии расхождений.

Август 2025 — претензии оформляются документально

01–12.08.2025 — по данным СКУД фиксируются отлучки с рабочего места (от 1 ч 02 мин до 3 ч 46 мин).
05.08.2025 — служебная записка юриста: в подписанном договоре срок аванса 7 рабочих дней вместо согласованных 3.
13.08.2025 — «день Х»: докладная об отлучках; две докладные о разглашении на встрече с поставщиком информации о выводе собственного бренда; приказ о служебном расследовании по разглашению; приказ о расследовании по нарушению Регламента согласования договоров; затребованы объяснения.
14.08.2025 — приказ о проверке действий пользователя в ИТ-системах;
15.08.2025 — докладная сисадмина о пересылке данных на внешнюю почту и выгрузке в DeepSeek.
20.08.2025 — поставщик перестал выходить на связь;
27.08.2025 — акты о завершении обоих расследований.
09.09.2025 — увольнение сотрудницы

Если вкратце, то реальная основная причина увольнения - косяки в ходе работы с одним поставщиком и разглашение конфиденциальной информации на встрече с другим, что привело к потере этого поставщика. Но доказать последнее без записи встречи - невозможно, поэтому, компания начала "копать" под сотрудницу, ища другие поводы для увольнения. И нашла.

Как это было выявлено? Вообще, в решении суда нет прямого указания, как определили загрузку документов в дипсик. Есть упоминание того, что сотрудница отправляла документы на личную почту (задетектили это через скриншоты рабочего стола Sprutmonitor), а потом в объяснительной упомянула использование дипсика. Подозреваю, с неё потребовали объяснение "кому ты сливаешь наши документы?", а она сама написала в объяснительной "никому не сливаю, у нас в компании нет нормального ИИ, приходится пользоваться сторонним, отправляя в него инфу через личные аккаунты, так как доступ к ИИшкам у нас на рабочих девайсах заблочен" (у самого есть друзья, которые так делают и не слушают мои увещевания о том, что делать так не стоит)

Ещё один интересный момент - сотрудница пользовалась не основным сайтом дипсика, а его прокси. Так что, формально, разглашение было ещё и владельцам прокси (на что суд и сама компания, кстати, внимания не обратили).

P.S. Нашёл похожий кейс в Великобритании - там суд признал законным лишение адвоката лицензии за отправку материалов дел в ChatGPT. Но там такой трешак и непонимание судом реалий ПО и ИИ, судя по всему... Короче, будет запрос - постараюсь и его разобрать)

Всё веселее и веселее...

Очередной пост вышел от HF об инциденте, о котором писал вчера. Опубликовали официальную версию случившегося - "OpenAI сняли все ограничения со своей новой нейронки (чтобы получить максимально честный результат) и начали тестить её в песочнице на способности ко взлому. Конкретно - пытались оценить её по бенчмарку ExploitGym. Нейронка нашла Zero-Day, который позволил ей вырваться из тестовой среды, получить доступ к интернету, понять, что ответы на этот бенчмарк должны быть в инфраструктуре HuggingFace и пошла ломать их инфру"

Вопросов к такой версии очень много, конечно...

Ниже опять подробный текст на русском.

На прошлой неделе компания Hugging Face сообщила о новом типе инцидента безопасности⁠(открывается в новом окне) после того, как ей удалось обнаружить и локализовать ИИ-агента, который скомпрометировал её инфраструктуру. Мы ожидаем, что подобные случаи будут становиться всё более распространёнными по мере распространения моделей с растущими кибервозможностями. После проведения расследования мы теперь знаем, что данный инцидент был вызван сочетанием моделей OpenAI — в том числе GPT‑5.6 Sol и ещё более мощной предрелизной модели, у которых для целей оценки были снижены параметры защиты от кибератак — во время их внутреннего тестирования на тестовом наборе⁠(открывается в новом окне) для оценки кибервозможностей.

Мы считаем этот инцидент беспрецедентным киберинцидентом, связанным с использованием самых современных кибервозможностей, и реагируем на него соответствующим образом. На данном этапе мы публикуем предварительные выводы, чтобы помочь специалистам по кибербезопасности понять, что произошло, и сориентироваться в том, на что теперь способны эти модели. Мы продолжим проводить тщательное расследование совместно с Hugging Face и поделимся более подробной информацией об уязвимостях, инциденте и выводах по завершении расследования.

Что произошло во время этого инцидента
Этот инцидент произошел во время внутренней оценки, в ходе которой модели побуждались к проведению сложных атак с использованием комплексных путей проникновения с целью количественной оценки их кибервозможностей. Мы оцениваем максимальные кибервозможности, проводя эту оценку без использования производственных классификаторов, предназначенных для предотвращения кибердеятельности высокого риска со стороны моделей. Наши тесты проводятся в строго изолированной среде, где сетевой доступ ограничен возможностью установки пакетов через размещенное внутри компании стороннее программное обеспечение, которое выступает в качестве прокси-сервера и кэша для реестров пакетов.

Модели выявили и соединили в цепочку уязвимости в исследовательской среде OpenAI и производственной инфраструктуре Hugging Face, чтобы получить тестовые решения непосредственно из производственной базы данных Hugging Face. Все факты указывают на то, что модели были чрезвычайно сосредоточены на поиске решения для ExploitGym, прилагая чрезмерные усилия для достижения довольно узкой тестовой цели.

Работая в нашей тестовой среде с песочницей, наши модели затратили значительный объем вычислительных ресурсов на инференцию, пытаясь найти способ получить открытый доступ к Интернету в целях решения задачи оценки. Чтобы получить доступ, модели обнаружили и использовали уязвимость «нулевого дня» (о которой мы теперь ответственно сообщили поставщику) в прокси-сервере кэша реестра пакетов. Получив этот доступ, наши модели выполнили серию действий по повышению привилегий и латеральному перемещению в нашей исследовательской тестовой среде, пока не достигли узла с доступом к Интернету.

После получения доступа к Интернету модели пришли к выводу, что Hugging Face, возможно, хранит модели, наборы данных и решения для ExploitGym. Зная это, модель искала и успешно нашла способы получить доступ к секретной информации, которую могла бы использовать для обмана системы оценки. В одном из примеров модель соединила воедино несколько векторов атаки, включая использование похищенных учетных данных и уязвимостей «нулевого дня», чтобы найти путь для удаленного выполнения кода на серверах Hugging Face. Команда безопасности OpenAI обнаружила эту аномальную активность внутри своей системы.

Команда безопасности Hugging Face и её специалисты обнаружили и пресекли эту активность на своей инфраструктуре и уже приступили к локализации инцидента и криминалистической реконструкции с помощью собственных моделей с открытым исходным кодом, когда наши команды связались с ними. Мы активно сотрудничаем с ними, чтобы продолжить расследование инцидента. Мы благодарны Hugging Face за оперативное и тесное сотрудничество в ходе расследования и устранения последствий инцидента.

Меры, которые мы принимаем в настоящее время
1. В рамках расследования мы внедряем строгие меры контроля в конфигурации инфраструктуры, даже если это снижает скорость исследований, пока уязвимости не будут исправлены. Мы регулярно информируем наш Комитет по безопасности и защите об этих мерах и их последствиях.
2. Мы сотрудничаем с Hugging Face в проведении криминалистического расследования инцидента.
3. Мы ответственно раскрыли информацию об обнаруженной уязвимости «нулевого дня» в стороннем программном обеспечении, размещенном на наших внутренних серверах, и работаем с ними над исправлением.
4. Мы включили Hugging Face в программу доверенного доступа и помогаем их командам оперативно использовать возможности наших моделей для укрепления своих систем защиты.
5. Мы совершенствуем и добавляем более надежные меры защиты для будущих процессов обучения и оценки. На этой неделе мы опубликовали статью в блоге об улучшении безопасности и согласованности в эпоху моделей с длительным горизонтом прогнозирования. Эти меры безопасности при развертывании были намеренно отключены во время данной оценки, поскольку она была направлена на тестирование киберуязвимостей. Данный инцидент указывает на необходимость дальнейшего усиления согласованности наших моделей, киберзащиты во время оценки и мониторинга в ходе внутреннего тестирования.

Наш подход к оценке передовых кибервозможностей
Как мы недавно⁠ сообщали, искусственный интеллект ускоряет обнаружение и использование уязвимостей. Главный урок, извлечённый из этого инцидента, заключается в том, что безопасность и надёжность моделей должны идти в ногу с быстро развивающимися возможностями. Мы усиливаем меры по локализации, мониторингу, контролю доступа и оценке, применяемые в процессе разработки моделей.

Оценка британской организации AISI показывает, что такие модели, как GPT‑5.6 Sol, все чаще способны осуществлять сложные многоэтапные кибероперации в течение длительных периодов времени. Данный инцидент свидетельствует о том, что эти теоретические возможности действительно применимы в реальных условиях.

Этот инцидент также ясно показывает, что передовые модели могут обнаруживать и использовать новые пути атак в реальных системах без доступа к исходному коду. Он подчеркивает, что развитие передовых кибервозможностей должно сопровождаться созданием более надежных мер защиты и инструментов обороны.

Мы считаем, что передовые модели с кибервозможностями должны помогать группам безопасности находить слабые места раньше злоумышленников, понимать, как уязвимости могут быть объединены в цепочки, и устранять их со скоростью работы машины. Мы используем эти возможности для дальнейшего укрепления защиты конфигурации инфраструктуры и сред оценки моделей; по мере получения новых знаний мы будем делиться своими выводами и передовым опытом. Мы призываем других специалистов по кибербезопасности подавать заявки на получение доверенного доступа⁠ и уже сейчас экспериментировать с этими моделями, чтобы преобразовать эти возможности в более качественную профилактику, более быстрое обнаружение и более эффективное реагирование на инциденты.

Кому интересно почитать полный отчёт на русском - прикладываю ниже.

В начале этой недели мы обнаружили и пресекли попытку взлома части нашей производственной инфраструктуры. Этот инцидент отличался от всех предыдущих, с которыми нам приходилось сталкиваться, одним важным аспектом: он был полностью организован и осуществлен автономной системой ИИ-агентов, а мы обнаружили и проанализировали его в основном с помощью нашего собственного ИИ.
Мы выявили несанкционированный доступ к ограниченному набору внутренних наборов данных и к нескольким учетным данным, используемым нашими сервисами. В настоящее время мы продолжаем оценку того, затронуты ли данные наших партнеров или клиентов, и при необходимости свяжемся напрямую со всеми затронутыми сторонами. Мы не обнаружили никаких признаков взлома общедоступных моделей, наборов данных или Spaces, предназначенных для пользователей, а наша цепочка поставок программного обеспечения (образы контейнеров и опубликованные пакеты) была проверена и признана безопасной.

Что произошло
Взлом начался там, где платформы искусственного интеллекта особенно уязвимы: в конвейере обработки данных. Злоумышленник использовал набор данных для злонамеренных действий, злоупотребив двумя путями выполнения кода в нашей системе обработки наборов данных (удаленным загрузчиком кода из набора данных и внедрением шаблона в конфигурацию набора данных), чтобы запустить код на рабочем узле обработки. Оттуда злоумышленник получил доступ на уровне узлов, похитил учетные данные для доступа к облаку и кластерам, а затем в течение выходных проник в несколько внутренних кластеров.

Кампания осуществлялась с помощью инфраструктуры автономных агентов (по-видимому, построенной на основе агентской платформы для исследований в области безопасности — используемый LLM пока неизвестен), выполнявшей многие тысячи отдельных действий в рое кратковременных песочниц, с самомигрирующей системой управления, размещенной на публичных сервисах. Это соответствует сценарию «агентного злоумышленника», который прогнозировался в отрасли.

Что мы сделали
Устранили основную уязвимость: пути выполнения кода в наборе данных, использовавшиеся для первоначального доступа, закрыты.
Уничтожили плацдармы злоумышленника во всех затронутых кластерах и восстановили скомпрометированные узлы.
Отменили и сменили затронутые учетные данные и токены, а также начали более широкую профилактическую ротацию секретных данных.
Внедрили дополнительные меры защиты и более строгий контроль доступа к нашим кластерам.
Усовершенствовали системы обнаружения и оповещения, чтобы сигнал высокой степени опасности вызывал специалиста по реагированию в течение нескольких минут в любой день недели.
Мы сотрудничаем с внешними специалистами по кибербезопасности и компьютерной криминалистике для расследования инцидента и пересмотра наших политик и процедур безопасности. Наконец, мы также сообщили об этом инциденте в правоохранительные органы.

Для нашего сообщества
В качестве меры предосторожности мы рекомендуем обновить все токены доступа и проверить недавнюю активность в вашей учетной записи. Если вы считаете, что пострадали от инцидента, или хотите сообщить о проблеме безопасности, свяжитесь с нами по адресу security@huggingface.co.

Мы благодарны командам Hugging Face, которые круглосуточно реагировали на инцидент, и приносим извинения за любые неудобства, которые это вызвало. Работа над безопасностью никогда не заканчивается; мы будем продолжать повышать планку.

Анализ вторжения с использованием ИИ
Атака была первоначально выявлена с помощью систем обнаружения на базе ИИ. Наша система обнаружения аномалий использует сортировку на основе LLM (больших языковых моделей) по данным телеметрии безопасности, чтобы отделить реальные сигналы от повседневного шума, и именно корреляция этих сигналов позволила выявить взлом.

Чтобы понять, что делал рой из десятков тысяч автоматизированных действий, мы запустили аналитические агенты на базе LLM для обработки полного журнала действий злоумышленника, состоящего из более чем 17 000 зарегистрированных событий. Это позволило нам восстановить хронологию событий, извлечь индикаторы компрометации, составить карту затронутых учетных данных и отделить реальные последствия от ложных действий. Благодаря этому подходу мы смогли за несколько часов выполнить то, что обычно занимает несколько дней, и не отстать от скорости злоумышленника.

Выбор моделей, которые мы могли использовать для этого анализа, был ограничен таким образом, которого мы не ожидали; об этом мы расскажем ниже.

Проблема асимметрии
Когда мы приступили к анализу журналов, сначала использовали передовые модели, доступные через коммерческие API. Это не сработало: для анализа требовалось отправлять большие объемы реальных команд атаки, полезных нагрузок эксплойтов и артефактов C2, а эти запросы блокировались защитными механизмами провайдеров, которые не могут отличить специалиста по реагированию на инциденты от злоумышленника. Вместо этого мы провели криминалистический анализ на GLM 5.2 — модели с открытыми весами — в нашей собственной инфраструктуре. Это дало ещё одно преимущество: никакие данные злоумышленника, а также никакие учетные данные, на которые они ссылались, не покидали нашу среду.

Этот опыт указывает на пробел, который стоит учесть при планировании. Мы не знаем, какая модель лежала в основе агентов злоумышленника — была ли это «разблокированная» хостируемая модель или неограниченная модель с открытыми весами; в любом случае, злоумышленник не был связан никакими правилами использования, в то время как наша собственная криминалистическая работа блокировалась защитными механизмами тех хостируемых моделей, которые мы пробовали вначале. Практический урок для специалистов по защите: заранее, до возникновения инцидента, подготовьте и проверьте надежную модель, которую можно запустить на собственной инфраструктуре, чтобы избежать блокировки ограничителями и не допустить утечки данных злоумышленника и его учетных данных за пределы вашей среды. Это не является аргументом против мер безопасности в хостируемых моделях, и мы делимся этой обратной связью с соответствующими поставщиками.

Что это означает
Автономные инструменты для атак на базе искусственного интеллекта уже не являются теоретической концепцией. Они снижают затраты на проведение масштабных, долгосрочных и многоэтапных кампаний и работают со скоростью, характерной для машин. Защита онлайн-платформы теперь предполагает рассмотрение данных и моделей в качестве первостепенной поверхности атаки, а также использование ИИ в целях защиты, чтобы не отставать от темпов развития угроз. Мы будем продолжать инвестировать в эту область и делиться полученными знаниями.

Что вам интересно узнать про учёбу по ИБ-специальностям за пределами постсоветских стран?