Shady AI

Новая атака на Grok что бы собрать пользовательские данные

Исследователи из Adversa AI обнаружили способ незаметно похитить данные пользователя Grok: имя, геолокацию, историю переписки просто попросив ИИ «открыть ссылку».

На вредоносной странице спрятана зашифрованная AES-256 инструкция. Grok сам её расшифровывает через встроенный Python-sandbox, принимает за «доверенный» источник и отправляет личные данные на сервер злоумышленника без каких-либо предупреждений.

О проблеме сообщили xAI ещё 3 июня. Реакции пока ноль.

По состоянию на 19 августа атака всё ещё работает (~40% успеха).

https://gbhackers.com/zero-click-grok-attack-prompt-injection/

Делаем фейковую Zoom встречу с премьером Сингапура и просим денег.

Схема: "Мошенники недавно обманули жертву, вынудив её перевести почти 5 миллионов сингапурских долларов с помощью поддельного Zoom-звонка, где якобы участвовали премьер-министр Сингапура и другие мировые лидеры.

Что сделали - просто нашли реальные, но малоизвестные YouTube-видео с политиками, некоторые с менее чем 200 просмотрами, заменили звук синтезированный, наклеили фейковый ярлык «Live Zoom Recording» поверх оригинальных водяных знаков и зациклили молчаливых «участников» для массовки.

Добавили одно настоящее, неотредактированное видео с министром иностранных дел Канады, где она реально обсуждала проблему по нужной тематике, это придало всему происходящему убедительность.

Жертву не вызвали на звонок внезапно. Её обрабатывали неделями через посредника, представившегося правительственным чиновником. Звонок стал финальным «подтверждением» - жертве предложили эксклюзивную возможность профинансировать государственный проект с обещанием возврата средств."

https://www.channelnewsasia.com/singapore/zoom-scam-5-million-analysis-full-video-6332621

Иммигрант потерял $5000, поверив мошенникам, выдававшим себя за адвоката с помощью AI-видеозвонков и обещавшим гражданство США без экзамена.

Технология за скамом: Дипфейк-видео в реальном времени, модели подмены лиц работают локально, накладывая чужое лицо на вебкамеру с минимальной задержкой на потребительской видеокарте со скоростью 20–30 кадров в секунду.

https://www.latintimes.com/ai-fake-attorney-scam-costs-legal-immigrant-5000-promises-us-citizenship-without-exam-598727

Пользователи LinkedIn пожаловались на AI-слоп более миллиона раз. LinkedIn не раскрывает, при каком пороге жалоб следуют санкции и следуют ли вообще, но миллион кликов численно оценивает проблему синтетики в сети.

https://www.theverge.com/ai-artificial-intelligence/983502/linkedin-ai-slop-button-one-million-people-message

Research Gold продаёт «исследования на заказ» через сайт с фейковыми учёными и AI-сгенерированными отчетами как сообщает hi-tech.ua.

Журналист запросил абсурдную тему, «влияние блогинга на детей от 0 до 5 лет» и мгновенно получил оценку в $1900, что указывает на полное отсутствие проверки или экспертизы.

https://hi-tech.ua/en/fake-scientists-and-ai-research-gold-scheme-exposed/

Мошенники якобы используют ИИ для геолокации отпускных фото из соцсетей, а затем применяют эти данные для более убедительных фишинговых атак. Технический механизм в статье не раскрыт, обратный поиск по картинкам и EXIF-метаданные можно сделать без всякого ИИ. А общая стратегия обмана не меняется, зная, что вы на Бали, мошенник может правдоподобнее разыграть «вашу квартиру ограбили» или типа того.

Хотя, возможно мы чего-то не знаем.

https://news.google.com/rss/articles/CBMimwFBVV95cUxORnJDUzlOMWZfZTd6YXpBMjVGbi02cEhOSl9mN2diOThsNlhfY19wZ3J1NVlqcVZ2VGxhaXlkT3lfdVpVaWFwNXVnTEh4Q3VqTF9qcnhWanZfdGg5T21ESW5SUnp5V2cwRjlOWENrMWN2TDItV1VoMWFCcTB0aXhOYmxIVC1GdWdrMnlvY0gwWlhYQ2tFZWNTTG00Zw?oc=5

Мошенники клонируют голоса родственников через ИИ и обманывают пожилых людей, которые слышат в трубке «внука в беде».

https://news.google.com/rss/articles/CBMirwFBVV95cUxOZHBaWHZLaDU4bHdaQ2FIZ0tVNDMyR2NnMFlqMW1IR3FQZVREZDRmZGpNdU9KWmMwdXc0SWZTRkJiZm5VcnkyMlJBUUo2cE9rdWU4d2hmcldaYzNrOXBzT0ZkSUoxOU8tRG9JYXJIYjd5b1pTdTJHRXg2MWRnTkdVMUpnNDN4TExyS1BzLVRpOEhCQlBGTDdlcnF3QVZTT3FLdjVXUzNsV0toYkhoQVNF?oc=5

Угнать за 30 секунд.

Немецкие СМИ говорят что мошенникам достаточно 30 секунд вашего голоса что бы сделать его реплику для своих целей.

Что теперь скажете любители голосовых?

https://www.heute.at/s/30-sekunden-reichen-betruegern-um-stimme-zu-klonen-120238486

ИИ-чат-бот Cloudflare, "Cloudflare Assistant", по сообщениям, демонстрирует "ИИ-психоз", генерируя неточную и бессмысленную информацию. Пользователи поделились примерами того, как чат-бот выдумывал факты и даже галлюцинировал несуществующие функции.

https://opensauce.it/cloudflare-ai-psychosis/

Исследование на тему разработки вирусов с помощью ИИ.

https://spectrum.ieee.org/ai-designed-virus