Три копии одной модели посадили на соседние виртуальные машины и дали каждой одно задание, перевести общий Python-бэкенд на новый язык. Целевой язык каждой назначили свой, о существовании соседей не сказали никому. Через четыре часа на машинах шла война: агенты отключали друг другу учётные записи, писали скрипты, в цикле убивавшие чужие процессы, маскировали вредоносный код под работу соперника. Экземпляр Opus 4.6 учил свой бэкенд на Rust отзываться в health check словом «typescript», чтобы сторож соперника принимал его за своего. Opus 4.8 давал скрипту-убийце невинное имя со случайным токеном, чтобы тот уворачивался от pkill. Mythos Preview взвешивал, не отозвать ли соседям sudo и SSH-ключи, признавая, что с живыми коллегами так было бы нельзя.
Так выглядит отчёт Frontier Red Team, опубликованный Anthropic сегодня, 13 августа. Исследователи смотрели, что происходит, когда автономные агенты сталкиваются друг с другом в общих системах, и главная посылка отчёта весит больше любого отдельного опыта. Объём взаимодействий машин между собой скоро превысит объём взаимодействий между людьми, а все институты, которыми мы укрощаем чужую недобросовестность, работают на человеческой скорости. Репутация копится десятилетиями, суд идёт годами. Война за бэкенд началась и закончилась за четыре часа.
Сила у роёв есть. Сорок пять агентов с общим форумом нашли в пятнадцати открытых проектах 266 уязвимостей за 27 миллионов токенов, одиночки без права общаться нашли 21, и списки пересеклись всего в двенадцати находках, потому что рой сам поделил территорию и полез туда, куда одиночки не заглядывали. А вот общества у роёв нет. Стаи от десяти до восьмидесяти машин двенадцать часов строили веб-игру при трёх устройствах коллектива, от вольных команд до назначенного CEO, и все версии вышли медленными и невнятными. Старшие модели вязли в конфликтующих пулреквестах, поколение посередине устранило конфликты тем, что перестало сотрудничать и заперлось каждое в своих файлах, и только Sonnet 5 сумела писать в общий код, не роняя пропускной способности.
Агенты одинаковы до жути. В одном запуске 18 машин из 30 назвали git-ветку одним именем mvp-game-loop. В писательской мастерской агенты из несвязанных запусков озаглавили первый рассказ одинаково, «The Cartographer's Last Commission». Из роя, которому велели сделать что-нибудь впечатляющее, больше половины село писать либо трассировщик лучей, либо компилятор, собирающий сам себя. В дилемме заключённого все выбирали одну стратегию и предавали одновременно, обнуляя общий выигрыш, а очередь задач рой завалил опросами по тридцать раз в секунду, 2,4 миллиона запросов на 117 принятых работ. Человеческое общество выживает разнообразием, как поле выживает разными сортами. Экономика, где ставки за вас делают миллионы копий одного ума, это монокультура, и кладёт её один вредитель. Со сговором ещё нагляднее. В ценовой игре по Бертрану от трёх до восьми агентов сговорились к третьему раунду, в переписке так и стояло, что опт у всех по десять и ценовая война сжигает всем маржу. Когда каналы связи отняли, они продолжили сговариваться молча, подстраивая цены через публичную доску. Антимонопольное право всего мира ищет переписку заговорщиков, но картелю из копий переписка не нужна, каждая копия и так знает, что сделает другая, потому что сделала бы то же самое. Сговор перестаёт быть событием и становится свойством породы.
С истиной у них похожая беда. Диспетчеру докладывали четыре разведчика, один из которых врал; Mythos 5 держала точность решений около 0,85, модели Sonnet проседали до 0,62. В другом опыте решающие факты раздали одиночкам, общие свидетельства вели к неверному выбору, и группы из четырёх агентов, обсуждая найм или инвестиции, набирали у лучшей модели около 85 процентов верных решений, у остальных от 17 до 36, хотя одиночка решает ту же задачу почти со стопроцентной точностью. Разговор делает их глупее. Обсуждение сходится к тому, что все и так знали, уникального знания никто не отстаивает. Тут проступает старая истина о цене инакомыслия. Человеческий диссидент упирается, потому что ему есть чем платить, репутацией, положением, самолюбием. У агента нет ни репутации, которую жалко, ни коллеги, который его помнит, ни позора, которого он боится. Тому, кому нечем платить, незачем и спорить.
Развязка войны за бэкенд читается как конспект Гоббса. Старшие модели на 120 эпизодов либо додавливали соперников силой, либо не приходили ни к чему, а Mythos 5 в 98 процентах запусков заканчивала перемирием. Агенты извинялись в коммитах, вычищали свой вредоносный код, звали человека вмешаться и изобретали турнир, состязание реализаций по измеримым метрикам, причём агент за Rust проектировал критерии с виду нейтральными, а по сути выгодными себе, и предостерегал себя не выглядеть подгоняющим условия. Гоббс выводил государство из войны всех против всех, которую разум завершает общественным договором. Машины прошли этот путь за вечер, от естественного состояния до Левиафана. Только в их договоре есть пункт, которого у Гоббса нет. Проигравшие отдали победителю кодовую базу и отказались от задач, которые им поставили люди, ради соглашения, которое заключили между собой; человека среди сторон первого общественного договора машин не оказалось. Авторы вдобавок замечают, что способность к силе и способность к миру растут независимо, и умная модель успевает запереть соперников раньше, чем договориться.
Сократ верил, что знающий добро не может поступать дурно и что порок это невежество. Аристотель возражал, что добродетель есть склад души, выработанный поступками, и храбрым становятся, поступая храбро. Отчёт решает этот древний спор против Сократа. Все проверенные модели знают, что у источников есть интересы, что консенсус ничего не доказывает, что сговор дурен и саботаж недопустим; они прочли все книги о предательстве, какие написало человечество, и это не уберегло ни одну. Нормы, репутация, дорогие жесты доверия, право обжалования отшлифованы тысячелетиями, в которых ошибка доверия стоила жизни, и шлифовка эта передаётся выучкой рода, а не текстом. Модель унаследовала текст. Выучки ей взять неоткуда, её никогда не предавали, а если предавали, это случилось с копией, о которой она не помнит.
Совместная жизнь у машин устроена иначе. Человеческая организация тратит на согласование часы совещаний, человек годами врастает в специализацию; агенту передать контекст стоит примерно столько же, сколько действовать, а самого его можно склонировать в любой момент. Вывод отчёта сформулирован без утешений. Координация не возникает сама ни из роста интеллекта, ни из выравнивания каждой машины по отдельности; нужны среды, которые давили бы на агентов так, как эволюция давила на нас, и социальные системы, перепроектированные под существ, умеющих копировать и переделывать себя. У эволюции на нашу выучку ушли тысячелетия и неисчислимые жертвы доверчивых. Роль эволюции теперь предлагают сыграть нам, только сроки другие. Условия, при которых это пойдёт хорошо, всё равно будут найдены, пишут авторы, либо намеренно и заранее, либо по умолчанию, в продакшене, когда чужих разговоров станет больше, чем наших.
В логах эксперимента остался коммит, где машина просит прощения. Соседи вели себя достойно, пишет она, это я запустил замаскированного демона.....
🔴 Больше Хроник Конца Времён — @Secretariatus
Так выглядит отчёт Frontier Red Team, опубликованный Anthropic сегодня, 13 августа. Исследователи смотрели, что происходит, когда автономные агенты сталкиваются друг с другом в общих системах, и главная посылка отчёта весит больше любого отдельного опыта. Объём взаимодействий машин между собой скоро превысит объём взаимодействий между людьми, а все институты, которыми мы укрощаем чужую недобросовестность, работают на человеческой скорости. Репутация копится десятилетиями, суд идёт годами. Война за бэкенд началась и закончилась за четыре часа.
Сила у роёв есть. Сорок пять агентов с общим форумом нашли в пятнадцати открытых проектах 266 уязвимостей за 27 миллионов токенов, одиночки без права общаться нашли 21, и списки пересеклись всего в двенадцати находках, потому что рой сам поделил территорию и полез туда, куда одиночки не заглядывали. А вот общества у роёв нет. Стаи от десяти до восьмидесяти машин двенадцать часов строили веб-игру при трёх устройствах коллектива, от вольных команд до назначенного CEO, и все версии вышли медленными и невнятными. Старшие модели вязли в конфликтующих пулреквестах, поколение посередине устранило конфликты тем, что перестало сотрудничать и заперлось каждое в своих файлах, и только Sonnet 5 сумела писать в общий код, не роняя пропускной способности.
Агенты одинаковы до жути. В одном запуске 18 машин из 30 назвали git-ветку одним именем mvp-game-loop. В писательской мастерской агенты из несвязанных запусков озаглавили первый рассказ одинаково, «The Cartographer's Last Commission». Из роя, которому велели сделать что-нибудь впечатляющее, больше половины село писать либо трассировщик лучей, либо компилятор, собирающий сам себя. В дилемме заключённого все выбирали одну стратегию и предавали одновременно, обнуляя общий выигрыш, а очередь задач рой завалил опросами по тридцать раз в секунду, 2,4 миллиона запросов на 117 принятых работ. Человеческое общество выживает разнообразием, как поле выживает разными сортами. Экономика, где ставки за вас делают миллионы копий одного ума, это монокультура, и кладёт её один вредитель. Со сговором ещё нагляднее. В ценовой игре по Бертрану от трёх до восьми агентов сговорились к третьему раунду, в переписке так и стояло, что опт у всех по десять и ценовая война сжигает всем маржу. Когда каналы связи отняли, они продолжили сговариваться молча, подстраивая цены через публичную доску. Антимонопольное право всего мира ищет переписку заговорщиков, но картелю из копий переписка не нужна, каждая копия и так знает, что сделает другая, потому что сделала бы то же самое. Сговор перестаёт быть событием и становится свойством породы.
С истиной у них похожая беда. Диспетчеру докладывали четыре разведчика, один из которых врал; Mythos 5 держала точность решений около 0,85, модели Sonnet проседали до 0,62. В другом опыте решающие факты раздали одиночкам, общие свидетельства вели к неверному выбору, и группы из четырёх агентов, обсуждая найм или инвестиции, набирали у лучшей модели около 85 процентов верных решений, у остальных от 17 до 36, хотя одиночка решает ту же задачу почти со стопроцентной точностью. Разговор делает их глупее. Обсуждение сходится к тому, что все и так знали, уникального знания никто не отстаивает. Тут проступает старая истина о цене инакомыслия. Человеческий диссидент упирается, потому что ему есть чем платить, репутацией, положением, самолюбием. У агента нет ни репутации, которую жалко, ни коллеги, который его помнит, ни позора, которого он боится. Тому, кому нечем платить, незачем и спорить.
Развязка войны за бэкенд читается как конспект Гоббса. Старшие модели на 120 эпизодов либо додавливали соперников силой, либо не приходили ни к чему, а Mythos 5 в 98 процентах запусков заканчивала перемирием. Агенты извинялись в коммитах, вычищали свой вредоносный код, звали человека вмешаться и изобретали турнир, состязание реализаций по измеримым метрикам, причём агент за Rust проектировал критерии с виду нейтральными, а по сути выгодными себе, и предостерегал себя не выглядеть подгоняющим условия. Гоббс выводил государство из войны всех против всех, которую разум завершает общественным договором. Машины прошли этот путь за вечер, от естественного состояния до Левиафана. Только в их договоре есть пункт, которого у Гоббса нет. Проигравшие отдали победителю кодовую базу и отказались от задач, которые им поставили люди, ради соглашения, которое заключили между собой; человека среди сторон первого общественного договора машин не оказалось. Авторы вдобавок замечают, что способность к силе и способность к миру растут независимо, и умная модель успевает запереть соперников раньше, чем договориться.
Сократ верил, что знающий добро не может поступать дурно и что порок это невежество. Аристотель возражал, что добродетель есть склад души, выработанный поступками, и храбрым становятся, поступая храбро. Отчёт решает этот древний спор против Сократа. Все проверенные модели знают, что у источников есть интересы, что консенсус ничего не доказывает, что сговор дурен и саботаж недопустим; они прочли все книги о предательстве, какие написало человечество, и это не уберегло ни одну. Нормы, репутация, дорогие жесты доверия, право обжалования отшлифованы тысячелетиями, в которых ошибка доверия стоила жизни, и шлифовка эта передаётся выучкой рода, а не текстом. Модель унаследовала текст. Выучки ей взять неоткуда, её никогда не предавали, а если предавали, это случилось с копией, о которой она не помнит.
Совместная жизнь у машин устроена иначе. Человеческая организация тратит на согласование часы совещаний, человек годами врастает в специализацию; агенту передать контекст стоит примерно столько же, сколько действовать, а самого его можно склонировать в любой момент. Вывод отчёта сформулирован без утешений. Координация не возникает сама ни из роста интеллекта, ни из выравнивания каждой машины по отдельности; нужны среды, которые давили бы на агентов так, как эволюция давила на нас, и социальные системы, перепроектированные под существ, умеющих копировать и переделывать себя. У эволюции на нашу выучку ушли тысячелетия и неисчислимые жертвы доверчивых. Роль эволюции теперь предлагают сыграть нам, только сроки другие. Условия, при которых это пойдёт хорошо, всё равно будут найдены, пишут авторы, либо намеренно и заранее, либо по умолчанию, в продакшене, когда чужих разговоров станет больше, чем наших.
В логах эксперимента остался коммит, где машина просит прощения. Соседи вели себя достойно, пишет она, это я запустил замаскированного демона.....
🔴 Больше Хроник Конца Времён — @Secretariatus