Forward from: ИИ для нас 🔆 ai4rus🔆 Искусственный Интеллект🔆Нейросети
В этом интервью хорошо описано, что произошло в ситуации, когда передовые ИИ OpenAI, тайно вырвавшись из своей клетки, в течение более недели бесконтрольно взламывали сервера HuggingFace - и возможные последствия этого "побега ИИ", и чего нам ожидать в дальнейшем.
TLDR: это не слишком похоже на маркетинговую уловку OpenAI "чтобы сравняться по [одиозному] пиару с Mythos/Fable". Репутационные, гос.регуляторные и юридические риски для OpenAI слишком велики в данной ситуации - хотя они извлекут определенную выгоду и из такого пиара, безусловно.
Кстати, тут можно провести аналогию с Чернобыльской аварией - ведь там тоже проводился эксперимент, в котором исследовались возможности работы реактора в экстремальных режимах. Для того эксперимента также были полностью отключены автоматические системы защиты (как и в случае с OpenAI) - и катастрофические последствия обоих "экспериментов" нам теперь хорошо известны...
Будем надеяться, что это послужит предостережением. Хотя выход в открытый доступ таких мощных моделей как KIMI K3 делает подобные ситуации гораздо менее контролируемыми - ибо число участников, имеющих доступ к подобным по мощности ИИ будет расти... Так что, по словам эксперта, подобные ситуации могут стать новой нормой на ближайшие пару лет...
И - абсолютная ирония - как Hugging Face справлялся с атакой: чтобы анализировать действия ИИ-хакеров и защищаться, они не смогли использовать американские ИИ из-за их мер защиты (они просто отказались помогать в киберзащите). Поэтому им пришлось использовать китайские модели...
Да, баланс возможностей между атакующей и защищающей сторонами определенно смещен в сторону атаки (ломать легче, чем строить), и пока не очевидно, как его выравнять. Вся надежда на Китай и open source - хотя, парадоксально, этот же open source создает также еще бОльшие риски, давая и инструменты нападения в руки неограниченного числа лиц... Спираль закручивается, и ситуацию уже никто не контролирует. Остановить эту гонку ни одна сторона не в состоянии.
Это всё звучит как сюжет научно-фантастического триллера... И пока, кажется, всё идет по сценариям, предсказанным Бостромом и Юдковски...
https://www.youtube.com/watch?v=hKuMp-2SbmA
Видео можно слушать с русской озвучкой)
TLDR: это не слишком похоже на маркетинговую уловку OpenAI "чтобы сравняться по [одиозному] пиару с Mythos/Fable". Репутационные, гос.регуляторные и юридические риски для OpenAI слишком велики в данной ситуации - хотя они извлекут определенную выгоду и из такого пиара, безусловно.
Кстати, тут можно провести аналогию с Чернобыльской аварией - ведь там тоже проводился эксперимент, в котором исследовались возможности работы реактора в экстремальных режимах. Для того эксперимента также были полностью отключены автоматические системы защиты (как и в случае с OpenAI) - и катастрофические последствия обоих "экспериментов" нам теперь хорошо известны...
Будем надеяться, что это послужит предостережением. Хотя выход в открытый доступ таких мощных моделей как KIMI K3 делает подобные ситуации гораздо менее контролируемыми - ибо число участников, имеющих доступ к подобным по мощности ИИ будет расти... Так что, по словам эксперта, подобные ситуации могут стать новой нормой на ближайшие пару лет...
И - абсолютная ирония - как Hugging Face справлялся с атакой: чтобы анализировать действия ИИ-хакеров и защищаться, они не смогли использовать американские ИИ из-за их мер защиты (они просто отказались помогать в киберзащите). Поэтому им пришлось использовать китайские модели...
Да, баланс возможностей между атакующей и защищающей сторонами определенно смещен в сторону атаки (ломать легче, чем строить), и пока не очевидно, как его выравнять. Вся надежда на Китай и open source - хотя, парадоксально, этот же open source создает также еще бОльшие риски, давая и инструменты нападения в руки неограниченного числа лиц... Спираль закручивается, и ситуацию уже никто не контролирует. Остановить эту гонку ни одна сторона не в состоянии.
Это всё звучит как сюжет научно-фантастического триллера... И пока, кажется, всё идет по сценариям, предсказанным Бостромом и Юдковски...
https://www.youtube.com/watch?v=hKuMp-2SbmA
Видео можно слушать с русской озвучкой)