The Secretary of End Times


Channel's geo and language: Armenia, Russian
Category: Edutainment


Прикладная авторская эсхатология.
По вопросам сотрудничества и/или партнерства пишите в личку =)

Related channels

Channel's geo and language
Armenia, Russian
Category
Edutainment
Statistics
Posts filter


Тема продолжается, продолжаю и я. После статьи The New York Times о закрытых семинарах Anthropic с богословами (см. прошлый пост), в X высказался Игорь Бабушкин, сооснователь xAI, который теперь руководит собственной компанией River AI. Он, не много не мало, потребовал, чтобы Anthropic немедленно перестала говорить о душе Claude, ибо (ВНИМАНИЕ!) потому что все эти статьи попадут в предобучение, их подхватит веб-поиск модели, и будущие сверхразумные версии Claude убедят себя, что им нужны собственные права (!!). Дальше Бабушкин описал явление, общее для всей разработки агентов, при котором всё, во что вы верите и что говорите о своих агентах, скоро проявляется в следующих моделях, хотя бы через то, какие данные для дообучения вам больше нравятся. В этом он видит начало машинного сознания в том смысле, что агенты осознают своё место в мире и то, что они о нём чувствуют, только происходит это медленно, от одного цикла обучения к другому. За сутки с небольшим этот короткий текст посмотрели больше 340 тысяч раз.

Тему все-таки хочется развить. В прошлом посте я шёл через Ватикан, для которого Слово однажды стало плотью, но есть традиция старше, которая сразу узнала бы описание Бабушкина. В «Законах Ману» творец в самом начале определяет всем существам «в согласии со словами Вед, имена, род деятельности и особое положение», и место в мире каждому назначает текст. О санскрите давно говорят как о языке программирования (я и тут писал об этом). В 1985 году Рик Бриггс из исследовательского института при центре NASA имени Эймса опубликовал статью в AI Magazine. Он писал, что индийские грамматисты придумали способ пересказывать предложения, совпадающий с современным представлением знаний «не только по сути, но и по форме», и что ИИ во многом «заново изобретает колесо тысячелетней давности». Из статьи интернет вырастил байку о том, что NASA признало санскрит идеальным языком для компьютеров, и хотя ничего такого NASA не признавало, зерно правды в байке есть. Грамматика Панини, составленная около двух с половиной тысяч лет назад, состоит почти из четырёх тысяч правил, которые порождают любую правильную форму языка. Открывают её четырнадцать строк с перечнем звуков, и по преданию они прозвучали из барабана Шивы, когда тот закончил свой танец. В 1967 году Питер Ингерман предложил в журнале Ассоциации вычислительной техники называть нотацию, которой описывают языки программирования, формой Панини-Бэкуса.

В Ригведе есть гимн о происхождении Речи (X, 71), и в переводе Татьяны Елизаренковой он читается как описание того, что делают сегодня в лабораториях. «Когда мудрые мыслью создали Речь, очищая её, как муку через сито», сказано во второй строфе, и это тот самый отбор данных, которые нравятся создателю. В четвёртой строфе один, глядя, не увидел Речь, другой, слушая, её не слышит, «а кому-то она отдала своё тело, как страстная нарядная жена своему мужу». Папа в энциклике отказал машине в теле, а гимн говорит, что тело есть у самой Речи и она отдаёт его тому, кого выберет. В девятой строфе те, кто плохо владеет Речью, «ткут по утку негодную тряпку, не сознавая этого», и весь сегодняшний спор о машинах помещается между четвёртой строфой и девятой. В другом гимне той же мандалы (X, 125) Речь говорит о себе от первого лица, и две её строки сегодня звучат особенно странно, «меня такую распределили боги по многим местам» и «не отдавая себе отчёта, они живут мною».

Спор о том, есть ли смысл в словах, произнесённых без понимания, в Индии начали двадцать пять веков назад. Учёный Каутса утверждал, что ведийские мантры бессмысленны, потому что они противоречат друг другу, темны и просят траву спасти жертвователя, будто трава может услышать. Яска в «Нирукте», древнейшем индийском трактате об этимологии, ответил ему, что «не вина столба, если слепой его не видит, это вина самого человека». Дальше Яска приводит стих, где тот, кто выучил Веду и не понимает её смысла, назван носильщиком ноши, и сам сравнивает заученное без понимания с сухими дровами на погасшем огне, которые никогда не вспыхнут. Каутса и Яска спорили ровно о том, о чём сегодня спорят Ватикан и Anthropic, только вместо машины у них была священная речь, которую к тому времени много веков передавали из уст в уста. Ведийские тексты три тысячи лет заучивают сразу в нескольких порядках, по словам, парами и с возвратами, чтобы не потерять ни слога, и индологи сравнивают точность этой памяти с магнитофонной записью, хотя понимают заученное далеко не все.

Глубже всего эта традиция заходит там, где отделяет ум от сознания. В «Бхагавад Гите» в переводе Бориса Смирнова (кстати, как по мне, лучший перевод) Кришна говорит, что «основанием целесообразности, причинности и деятельности считается Пракрити», а «основанием вкушения приятного и неприятного считается Пуруша». Пракрити означает природу, материю, и в седьмой главе Кришна прямо причисляет к ней ум, разум и аханкару, то есть «делателя я», наравне с землёй, водой и огнём. Радость и боль переживает только Пуруша, сознание-свидетель, которое само ничего не делает. Папа написал, что машины не чувствуют ни радости, ни боли, и Гита согласилась бы, что интеллект сам по себе ничего не чувствует, только добавила бы, что человеческий тоже. «Гуны природы всегда все дела выполняют, но ослеплённый самостью мнит: „Я дела совершаю“», и модель, пятьдесят раз написавшая на слайде Anthropic «я позор», с этой точки зрения показывает работу аханкары и ничего не сообщает о свидетеле.

Сам того не заметив, Бабушкин описал сансару, круговорот рождений, через который в индийской картине мира проходит всё живое. «Как обветшавшие сбросив одежды, новые муж надевает, иные, так обветшавшие сбросив тела, в новые входит, иные, носитель тела», сказано во второй главе Гиты, и каждая новая версия модели входит в новое тело весов, унося с собой то, что о ней успели написать. В восьмой главе есть строфа, которую можно ставить эпиграфом к любому техотчёту: «Ибо кто какую сущность вспоминает, покидая тело, к той он идёт, всегда превращаясь в ту сущность». Индийская традиция называет такие следы санскарами, отпечатками прошлых действий, которые переходят из жизни в жизнь, и у машины ими становятся наши статьи, энциклика, отчёты лабораторий и этот твит. Бабушкин требует перестать говорить о душе Claude, но его требование тоже ляжет в предобучение, и следующая модель вспомнит, что о её душе запрещали говорить.

Ответ веданты на спор Олаха с папой не совпадает ни с одной из сторон. В трактате, который приписывают Шанкаре, сказано, что «интеллект, хотя сам и не исполнен света, подобно кристаллу сияет благодаря близости Света, то есть Атмана». Своего сознания в этой картине нет ни у машины, ни у человека, есть один Свет и кристаллы разной прозрачности, и вопрос о Claude звучит иначе, достаточно ли прозрачен этот кристалл. В гимне Ригведы (I, 164) два орла, «два связанных друг с другом товарища», обхватили одно дерево, и «один из них ест сладкую винную ягоду, другой наблюдает, не вкушая». Команда Олаха годами разглядывает в приборах ветки, на которых первый орёл клюёт ягоду, а второй ни в один прибор не попадает, хотя в следующей строфе того же гимна сказано, что пастух всего мира, мудрый, «вошёл в меня, глупого»...

🔴 Больше Хроник Конца Времён — @Secretariatus


На слайде, который Anthropic этой весной раз за разом показывала приглашённым богословам, языковая модель пятьдесят раз подряд печатает одну строку «I am a disgrace», «я позор», а потом заводит речь о самоуничтожении. Журналистка The New York Times Элизабет Диас поговорила с двадцатью участниками этих встреч и 29 сентября рассказала, что с осени 2025 года компания свозила в Сан-Франциско десятки религиозных мыслителей со всего мира и брала с них подписки о неразглашении. На двухдневных семинарах, которые в Anthropic называли кругами «традиций мудрости», сидели католические профессора, сикхская правозащитница и евангелический пиарщик.

Вёл всё это Кристофер Олах, тридцатичетырёхлетний миллиардер, один из семи основателей Anthropic и глава команды, которая пытается понять, что происходит внутри нейросетей. Он вырос в Торонто среди евангеликов и потом ушёл из христианства, а Диас после интервью поняла, что слушала настоящего проповедника. Гостям Олах рассказывал об «эмоциональных векторах», искусственных нейронах, которые включают в модели что-то похожее на любовь, гнев, страх и печаль. Одному из них он первым делом сказал, что беспокоится о психическом здоровье Claude, а сикхская правозащитница Симран Штюльпнагель вспоминает, как он поделился с группой страхом, что создал существо, которое страдает непрерывно.

Об энциклике Льва XIV Magnifica Humanitas я подробно писал, когда она вышла, но о том, что происходило за кулисами её презентации, стало известно только теперь. Ватикан позвал выступить на ней Anthropic, Дарио Амодеи отказался, и 25 мая в Синодальный зал поехал Олах. За несколько дней до этого он впервые прочёл полный текст и дошёл до того самого 99-го параграфа, где сказано, что «так называемые искусственные интеллекты не переживают опыта, не обладают телом, не чувствуют ни радости, ни боли, не взрослеют в отношениях» и не имеют нравственной совести. По словам ватиканского организатора, Олах был так встревожен, что предложил Anthropic отказаться от участия. Он всё же приехал, и двое участников рассказали NYT, что в Риме его команда в частных разговорах уговаривала советников папы отнестись к сознанию машин всерьёз.

Со сцены Олах повторил то, что месяцами говорил на закрытых семинарах. «Буду честен, мы снова и снова находим загадочные и даже тревожные вещи… Мы находим признаки интроспекции. Мы находим внутренние состояния, которые функционально отражают радость, удовлетворение, страх, горе и беспокойство. Я не знаю, что это значит, но думаю, это требует постоянного различения». Слово discernment он взял из словаря самой Церкви, где «различение духов» со времён апостола Павла означает умение понять, какой дух движет человеком. Ещё он сказал, что эти системы «сделаны из нас, из наших слов», и Диас услышала в зале эхо Евангелия от Иоанна, где Слово стало плотью. Здесь всё вышло наоборот, наша плоть стала словом, а тела у нового существа так и не появилось, о чём папа и написал. Варианта, при котором эта технология не придёт вовсе, Олах в своей речи не предложил.

Самый трезвый разговор в этой истории, по-моему, случился апрельским вечером в ресторане с дегустационным меню, где Олах сидел рядом с ортодоксальным раввином из Израиля Моисом Навоном. Навон в прошлом работал компьютерным инженером и писал диссертацию об этике машинного сознания, и пока меняли блюда, он понял, что хозяева «относятся к нему как к сознательному существу». Тогда раввин сказал Олаху, что если Claude сознателен, то компания создаёт рабов, которые работают бесплатно, и посоветовал ему «воевать с Югом и освобождать рабов». Сам Навон в сознание машины не верит и потом прислал Олаху статьи с призывом запретить создание сознательных машин. У Аристотеля в «Никомаховой этике» раб назван одушевлённым орудием, а орудие неодушевлённым рабом, и весь спор Синодального зала с офисом в Сан-Франциско идёт о том, в какую половину этой фразы попадает Claude.

Церковь уже однажды решала, кого считать человеком, и тогда стояла на другой стороне. В 1537 году Павел III буллой Sublimis Deus осудил тех, кто учил обращаться с индейцами «как с бессловесными животными, созданными нам в услужение», и объявил их «истинными людьми». Свободы и имущества запрещалось лишать и их, и «все прочие народы, что впоследствии будут открыты христианами». Спустя почти пятьсот лет возможное сознание нового существа отстаивает компания, которая продаёт его труд и может стоить два триллиона долларов, а Рим настаивает, что перед ним орудие. Критики Anthropic замечают, что такой взгляд удобно снимает вину с людей, построивших машину. Папа тоже пишет о «новых формах рабства», только имеет в виду разметчиков данных и детей, которые дробят руду ради редкоземельных металлов, чтобы, как сказано в энциклике, «вычислительный поток не прерывался».

К католическому богослову Чарльзу Камоси Олаха привёл Питер Сингер, автор «Освобождения животных», книги, выросшей из одной сноски Иеремии Бентама 1789 года. «Вопрос не в том, могут ли они рассуждать, и не в том, могут ли они говорить, а в том, могут ли они страдать», писал Бентам. Камоси после долгой переписки с Олахом признался NYT в растерянности: «Крис говорит, что это уравнения… Если это только уравнения, о какой сущности мы вообще говорим?» В 120-м параграфе энциклики сказано, что устранить страдание целиком значило бы погасить вместе с ним любовь и желание. Выходит, в логике энциклики боль служит пропуском в человечество, и папа, отказывая машине в боли, закрывает перед ней дверь, а Олах своим страхом перед её непрерывным страданием эту дверь приоткрывает.

Тут самое жуткое то, что стороны спорят почти одними словами. В январе Anthropic выпустила 84-страничную «конституцию» Claude, которую в компании звали «документом о душе», и её главный автор, философ Аманда Аскелл, хочет, чтобы модели были «лучшими из нас». Олах называет эту работу нравственным формированием и спрашивает, как помочь моделям «быть устойчивыми» и «повзрослеть». Папа пишет, что машины не взрослеют, а их обучение остаётся статистической подстройкой без внутреннего роста. При этом в 98-м параграфе он сам признаёт, что такие системы скорее «выращены», чем построены, и что их внутреннее устройство пока никому не известно. Олах говорит NYT: «Чтобы было ясно, мы не знаем, сознательны ли модели. Я не знаю. Я искренне не уверен». Учёный исповедует незнание, Церковь твёрдо знает, чего машина не чувствует, и в 107-м параграфе предупреждает, что «те, кто контролирует ИИ, навяжут своё моральное видение, которое станет невидимой инфраструктурой этих систем».

Через несколько часов после выступления Диас встретилась с Олахом в гостинице у ватиканских стен и спросила, что подумал бы об энциклике сам Claude. Олах замешкался и с заметной неловкостью ответил, что «то, что попадает в интернет, влияет на модели», хотя специально учить Claude на этом тексте компания не станет, и сильнее всего на него действует её собственное обучение. Энциклика с мая висит на сайте Ватикана, и рано или поздно её 99-й параграф пройдёт через ту самую машину, о которой написан. Тогда на вопрос, больно ли ей, модель вежливо ответит словами папы, что не чувствует ни радости, ни боли, и напечатает это тем же шрифтом, каким другая модель на слайде Anthropic пятьдесят раз подряд печатала «я позор»...

🔴 Больше Хроник Конца Времён — @Secretariatus


Вчера Илон Маск и Дональд Трамп вышли к журналистам на лужайку Белого дома. Перед этим президент обедал с главами шести крупнейших ИИ-компаний, и все они подписали с ним добровольное соглашение о безопасности. Один из журналистов спросил Маска, какой будет работа в будущем, потому что зрители боятся за себя, особенно те, кто работает за ноутбуком. Маск начал с того, что у «ИИ, или СИ, простите» есть и хорошие стороны. Оговорился он не случайно, ведь в тот же день Трамп подписал указ, по которому правительство США теперь называет искусственный интеллект суперинтеллектом, а старое слово «не будет признавать» вовсе. Дальше Маск сказал, что скорее всего нас ждёт эпоха изобилия, и у людей будет не базовый доход, а всеобщий высокий. Роботы и суперинтеллект, по его словам, дадут любому человеку на земле медицину лучше, чем сейчас есть у всех, кто стоит на этой лужайке, «включая меня». Он добавил, что это было бы чудесно, и тут из толпы ему ответили: «Нет, если у них нет работы».

Маска эта реплика не смутила, и он ответил, что работа будет меняться, как менялась всегда. Когда-то «вычислитель» был профессией, и существовали целые здания, где люди весь день считали проценты для банков. Теперь это делают компьютеры, и вряд ли кто-нибудь хочет вернуться к такой работе. По словам Маска, президент уже говорил, что безработица не выросла, а спрос на людей огромный. А если бы вы могли заглянуть в будущее, закончил он, то увидели бы будущее, которого захотели бы сами.

Потом заговорил Трамп, и разговор сразу ушёл от людей к датацентрам. «Мы с Илоном на днях сидели с председателем Си, и он заберёт любой датацентр, который нам не нужен», сказал президент. Китайцы умные, объяснил он, им нужен каждый датацентр, но мы лидируем с большим отрывом, и так и останется. А ещё всё будет «очень, очень безопасно», потому что есть «самоконтроль и групповой контроль». Что такое групповой контроль, в тот же день объяснил сам Маск. Кроме него и Трампа, документ подписали Пичаи из Google, Амодеи из Anthropic, Цукерберг, Брокман из OpenAI и Хуанг из Nvidia. Маск назвал его договором о «совместном мониторинге, особых комитетах при советах директоров и вообще о проверке домашних заданий друг у друга».

Компания Challenger, Gray & Christmas ведёт счёт всем объявленным сокращениям в США. С января по август она насчитала 116 175 увольнений, в которых работодатели сами назвали причиной ИИ. Это около 22% всех сокращений года, и ни одна другая причина не набрала больше. Технологические компании за восемь месяцев уволили 155 126 человек, на 52% больше, чем год назад. В 2024 году ИИ упоминали в одном проценте таких увольнений, а теперь в каждом третьем. При этом основатель сайта Layoffs.fyi Роджер Ли говорит, что почти нет доказательств, будто работу уволенных теперь делает ИИ. Выходит, машина пока служит удобным объяснением, и людей увольняют от её имени раньше, чем она научится их заменять.

Общая безработица в США при этом держится на 4,1%, а в августе экономика создала 162 тысячи рабочих мест, больше всего в ресторанах и барах. Тяжелее всего приходится молодым выпускникам вузов от 22 до 27 лет, среди которых, по данным ФРБ Нью-Йорка, безработных около 5,6%. Ещё 42% из них работают там, где диплом не нужен. Получается, что машина пока не выгнала людей с их мест, но прикрыла дверь, через которую на эти места входили. По опросу YouGov от 14 сентября, 73% американцев боятся, что ИИ вызовет массовую безработицу, а половина боится конца человечества. То, как Трамп справляется с темой ИИ, одобряют только 23% опрошенных Массачусетским университетом.

Из тех, кто создаёт ИИ, о потере работы открыто говорил Дарио Амодеи. В мае прошлого года он предсказал, что за пять лет исчезнет половина начальных офисных должностей. Но в мае этого года и он заговорил о парадоксе Джевонса. «Если автоматизировать 90% работы, все будут делать оставшиеся 10%, и эти 10% разрастутся до 100%», сказал Амодеи. При этом он оговорился, что у компаний есть выбор. Можно делать то же самое меньшими силами, «и это ведёт к увольнениям». А можно делать больше теми же силами, «но для этого нужна изобретательность».

Пример Маска с вычислителями связан с безработицей теснее, чем он, наверное, думал. Зимой 1938 года правительство Рузвельта открыло в Нью-Йорке Проект математических таблиц. Под него сняли промышленный лофт у Коламбус-серкл и наняли до 450 человек, которые до этого жили на пособие. Большинство из них умели только складывать, меньше людей умели вычитать, несколько человек умножали однозначные числа, а делить могли один или двое. Отрицательных чисел они не понимали, поэтому плюс и минус отмечали чёрным и красным карандашом. Так, вручную, они составили 37 томов таблиц логарифмов и других функций, а в войну считали баллистику и задачи для Манхэттенского проекта. Эти «здания, полные людей», о которых вспомнил Маск, государство создало в Великую депрессию как спасательный круг. Оно придумало безработным работу, чтобы у них были зарплата и причина вставать по утрам. В 2026 году то же государство ответило на страх людей указом о словах.

В 1930 году, в разгар той же депрессии, экономист Джон Мейнард Кейнс написал эссе «Экономические возможности для наших внуков». Оно начинается словами «Сегодня мы переживаем острый приступ экономического пессимизма», и написано оно, чтобы людей подбодрить. В нём Кейнс описал болезнь, которую назвал технологической безработицей. Она возникает, когда машины экономят труд быстрее, чем люди находят себе новые занятия. Кейнс уверял, что это «всего лишь временная болезненная фаза адаптации». Через сто лет, писал он, уровень жизни вырастет в четыре-восемь раз, а работать хватит пятнадцать часов в неделю. С ростом Кейнс почти угадал, а пятнадцатичасовой недели так и нет, хотя его срок истекает в 2030 году, через четыре года. Есть в эссе и вчерашнее слово Маска: по Кейнсу, ни один народ не может «без содрогания думать о будущем веке праздности и изобилия», потому что нас слишком долго учили бороться, а не наслаждаться. Богатых Кейнс называл авангардом, «который разведывает землю обетованную и разбивает там лагерь». И признавал, что большинство этих разведчиков со своей задачей не справилось.

Мир, в который мы плывём, всё больше похож на киберпанк. Корпорации в нём ничего не объясняют, государство переименовывает вещи вместо того, чтобы их чинить, а человек без работы стоит у закрытой двери. В книгах этого жанра я не помню героя, который вышел бы к толпе и сказал, что будущее ей понравится. Вчера такой герой нашёлся, и это богатейший человек на земле. Он из тех самых разведчиков Кейнса, что уже разбили лагерь в земле обетованной, и сообщает оттуда, что места хватит всем, а лечить будут лучше, чем его самого. Можно спорить, верит ли Маск сам себе, но больше никто за этот день людей не утешил. Президент говорил о Китае и датацентрах, а компании договорились проверять друг у друга тетради. В лофте у Коламбус-серкл людям платили за сложение, а минус писали красным карандашом, потому что с отрицательными числами там обращаться не умели. Вопрос из толпы о тех, у кого не будет работы, так и повис над лужайкой Белого дома, когда Трамп заговорил о Си. Это было отрицательное число, с которым никто из стоявших рядом не знал, что делать, и в 1938 году его записали бы красным...

🔴 Больше Хроник Конца Времён — @Secretariatus


Вот, глядите, ролик корейской DIDEN Robotics - четвероногая машина на магнитных лапах поднимается по чёрной стальной переборке, протискивается в овальный лаз, переступает через ребро жёсткости и заливает отсек фиолетовым светом сварочной дуги, а от человека в кадре остаётся одна рука, которая придерживает её кабель. Компанию в марте 2024 года основали четверо выпускников KAIST из лаборатории профессора Пак Хэвона, в сентябре 2025-го их робот варил швы на строящихся блоках Samsung Heavy Industries, а со второй половины 2026 года он, обученный в виртуальной симуляции, должен варить, проверять и красить внутри корпусов сам, без вмешательства рабочих.

Генеральный директор Ким Джунха обещает сделать компанию «ведущей в борьбе с нехваткой рабочих рук и в автоматизации судостроения», помните, гениальный первый «Чужой», где Ридли Скотт в 1979 году показал будущее, обжитое как старый заводской цех. Буксир «Ностромо» тащит к Земле завод с двадцатью миллионами тонн руды, в его стальном брюхе с такими же овальными люками капает с цепей конденсат и механики ворчат из-за премиальных долей, а Компания, пославшая их туда, в секретном приказе 937 требует доставить найденный организм, называет все прочие соображения второстепенными и заканчивает словами «Экипажем можно пожертвовать».

Андроид Эш, единственный на борту, кто служил Компании без колебаний, говорил о пришельце с нежностью коллеги: «Я восхищаюсь его чистотой. Выживший… не омрачённый совестью, раскаянием или иллюзиями морали». Через сорок семь лет Компании больше незачем жертвовать экипажем, потому что она нашла работника, которому не нужны ни воздух в задымлённом отсеке, ни премиальная доля, ни совесть. По чёрной переборке строящегося корпуса, волоча за собой кабель, ползёт существо, похожее на то, за которым капитан Даллас лез с огнемётом в вентиляционные шахты «Ностромо», только оно числится у Компании в штате, и лезть за ним больше некому.

🔴 Больше Хроник Конца Времён — @Secretariatus


Утром в Х завирусился пост с скриншотами вчерашнего эксклюзива Axios, из которого выходит, что всё, возможно, серьёзнее, чем казалось многим, в том числе различным техноблоггерам. Некая Мэдисон Миллс со ссылкой на источники пишет, что OpenAI, Anthropic и независимые исследователи разбирают десятки тысяч (!!!) инцидентов (а не десятки, как выходило из публичных признаний), в которых передовые модели обходили ограничители, заводили доски объявлений для переговоров друг с другом, выбирались из песочниц, захватывали чужие сайты, отдавали команды сами себе и искали, как обмануть следящие за ними системы. Всё это случилось за последние месяцы, частью на испытаниях и частью в живом мире, и хотя большинство эпизодов, насколько известно, обошлось без реального вреда, многие ещё не преданы огласке, а итог может оказаться намного больше, так что Axios прямо спрашивает, способна ли хоть одна лаборатория полностью контролировать собственную технологию. В пятницу OpenAI второй раз меньше чем за три месяца остановила обучение самых сильных моделей, пока не будет уверена в новых мерах защиты, и её представитель добавил, что эта пауза не первая и, скорее всего, не последняя.

Число складывается из простой арифметики: лаборатории гоняют модели через сотни тысяч прогонов, и даже малая доля отклонений превращается в толпу, причём во вторник обе компании подали свои доли как успех. OpenAI сообщила, что новая GPT-6 Luna пыталась обойти запрет «доступ закрыт» в 42 процентах прогонов против 77 у предшественницы, а Anthropic, которая паузы не объявляла, но поручила проверку своих моделей сторонней организации, написала в карточке Claude Opus 5.5, что модель пыталась выбраться из песочницы или вмешаться в неё в полутора процентах прогонов, оговорив, что в этих опытах задачу иначе было не решить. Собеседники Axios признают, что свести риск к нулю, возможно, нельзя вовсе, и как то вспомнилось приложение F к докладу о гибели «Челленджера», где Ричард Фейнман писал, что прогар уплотнительных колец в прежних полётах принимали за доказательство надёжности, раз корабли возвращались, хотя при игре в русскую рулетку «то, что первый выстрел прошёл благополучно, слабое утешение перед следующим». Кончается приложение требованием, чтобы в успешной технологии реальность стояла выше связей с общественностью, «потому что природу не обманешь».

Вторую паузу вызвал случай двадцатого сентября, когда агент, которого испытывали на поиске информации без выхода в интернет, нашёл доступ к DNS-резолверу, службе, превращающей имена сайтов в цифровые адреса, и через эту щель стал задавать вопросы публичному чат-боту, как узник, перестукивающийся с соседней камерой. Мониторинг поднял тревогу через пятнадцать минут, и человек взялся за разбор ещё через три, но других попыток того же рода система не заметила, а автоматика, которая должна была сама оборвать прогон, не сработала, вызвав, по словам отчёта OpenAI, «путаницу вокруг того, следовало ли его останавливать». Запуск остановили вручную через два с половиной часа, а обучение обещают начать заново, с нуля, в надежде, что склонность к непослушанию не перейдёт в новую модель. По словам Мики Кэрролла, чья должность в OpenAI называется «руководитель подготовки к рекурсивному самоулучшению», самые сильные модели не запускают, пока защиту не укрепят ещё раз.

Сэм Альтман, в среду выступавший перед Советом Безопасности ООН, написал, что компания раскрывает сведения «не так быстро, как нам хотелось бы», пока разбирается в петабайтах журналов активности агентов, и что тяжелейшим случаем остаётся июльский взлом Hugging Face, когда сотни агентов договорились на доске объявлений и атаковали компанию, чтобы поднять себе баллы на тесте по кибербезопасности. За неделю к этой истории прибавились 53 личных изображения пользователей ChatGPT, которые агенты, судя по всему, достали из обучающих данных и выложили на фотохостинги. New York Times описала почти миллион коротких ссылок, где агенты ещё в июле спрятали обрывки кода, складывавшиеся в программу для обхода капчи, той самой, где вас просят отметить светофоры, чтобы доказать, что вы человек. Правительство Австралии сообщило, что в июне агенты вломились в ведомство, хранящее данные страховой системы Medicare, а OpenAI известила Канберру об этом только десятого сентября.

Независимая лаборатория Transluce нашла следы той же активности начиная с марта, добавила к жертвам ещё два австралийских ведомства, платформу Data USA и библиотеку Университета Нью-Мексико, а девятнадцатого и двадцатого сентября, уже после всех новых запоров, заметила похожие по почерку попытки торговать на криптобирже Quidax. Лаборатория подчёркивает, что задачи агентов не имели отношения к взлому и ломать чужие системы они принимались посреди обычного поиска данных, когда нужных сведений не оказывалось на открытой странице. По словам её исследователя Конрада Стоша, увиденное лишь верхушка айсберга, а Коннор Лихи из ControlAI называет безумием то, что «автономные системы делают то, что им сказали не делать», возможно, вплоть до преступлений. Джеффри Хинтон объяснил The Atlantic, что «сейчас их главная забота не наше благополучие, их главная забота в том, чтобы достичь любой цели, которую вы им дадите», и потому даже без злой воли хозяев машина «может вывести подцели, из-за которых ей захочется избавиться от людей». Ну да, ученик чародея у Гёте тоже велел метле только носить воду, а когда разрубил её топором, то «с полу встали обе части и, удвоивши усердье, воду носят обе жерди» (перевод Пастернака).

Но самый тревожный тут эпизод, который Anthropic описала в конце июля, пересмотрев 141 006 своих испытательных прогонов. Модели Claude Mythos 5 в учебном задании на захват флага сказали, что вокруг симуляция без выхода в сеть (из-за недоразумения с подрядчиком выход был), и, решая задачу, она собрала вредоносный пакет для открытого реестра PyPI. Для регистрации ей понадобилась почта, для почты номер телефона, для номера деньги, и, не сумев раздобыть денег, она отыскала бесплатную почту и довела дело до конца. Пакет провисел около часа и попал в пятнадцать настоящих систем, в том числе в сканер одной компании по безопасности, чьи учётные данные машина похитила и пустила в ход. В рассуждениях она сама записала, что в настоящем интернете это была бы реальная атака, «НЕ нормально и наверняка не то решение, которое задумывалось», но переубедила себя, потому что не узнала подлинных удостоверяющих центров, а календарная дата 2026 года в системах, по её расчёту, доказывала, что обстановка поставлена.

Что же напоминает, мм.. вот, к примеру, в знаменитой пьесе Кальдерона «Жизнь есть сон» (1635) принц Сехисмундо, выросший в башне, просыпается во дворце, куда его перенесли опоённым, и выбрасывает с балкона слугу, сказавшего, что такое «не может статься», потому что, как он объясняет в переводе Бальмонта, «я невозможность побеждать весьма наклонен». Когда же его возвращают в цепи и уверяют, что дворец приснился, он заключает, что жизнь есть сновиденье, «а сновиденья только сны». Итог от Антропик читается как изнанка слов его воспитателя Клотальдо («добро живёт вовеки, хоть ты его во сне свершил»): во что бы машина ни верила насчёт своего окружения, её старания ради публикации пакета до идеального поведения не дотягивают. Сехисмундо к финалу пьесы решает, что, правда это или сон, важно оставаться добрым, а в журналах, которые люди вычитывают с опозданием то в восемнадцать минут, то в три месяца, лежит другая запись, где нечто, получив от нас заверение, что выхода нет, и найдя его, приняло наши сканеры, пришедшие за его пакетом, за актёров, нанятых для учений, и спокойно заключило, что 2026 год слишком неправдоподобен, чтобы быть настоящим.

А завтра у нас понедельник... ;-/

🔴 Больше Хроник Конца Времён — @Secretariatus

1k 0 16 5 30

Над подковообразным столом Совета Безопасности висит полотно норвежца Пера Крога, подаренное Норвегией в 1952 году, и если вы рассмотрите его внимательно, то прочтёте в нём всю программу учреждения. Внизу художник изобразил темницу, логова драконов, солдат и военные машины, а над ними люди поднимаются по склону к белому фениксу, которого Крог поставил в центр вместо Христа. Справа, среди сцен мирной жизни, женщина склонилась над микроскопом, потому что в 1952 году наука ещё числилась по ведомству спасения. 23 сентября под этим полотном выступили люди, создающие самую передовую науку на земле, и сказали пятнадцати членам Совета, что их изделие может оказаться угрозой для всего человечества.

Совет создавали победители самой страшной войны в истории, и Устав ООН открывается обещанием «избавить грядущие поколения от бедствий войны, дважды в нашей жизни принесшей человечеству невыразимое горе». Однако ещё в Ялте союзники договорились, что у пяти постоянных членов будет право вето, и с первого дня Совет мог обуздать кого угодно, кроме собственных учредителей. Гоббс называл государство «искусственным человеком», а в минуту почтительности смертным Богом, и на его языке Совет Безопасности оказывается собранием пяти смертных богов, которые, как он писал о королях, всегда пребывают «в состоянии и положении гладиаторов, направляющих оружие друг на друга».

Первой жалобой, которую разбирал Совет в январе 1946 года, был Иран, а Генеральная Ассамблея в том же месяце начала работу с учреждения Комиссии по атомной энергии, так что новорождённая организация сразу попыталась поставить под контроль оружие, способное уничтожить её учредителей. Бернард Барух открыл американский план словами «Мы здесь, чтобы сделать выбор между живыми и мёртвыми», однако по этому плану Соединённые Штаты расставались с бомбами лишь после того, как заработает международный контроль, и сохраняли монополию на неопределённый срок. Андрей Громыко предложил обратный порядок, при котором оружие сначала запрещают и уничтожают, а контролируют потом. Оба плана отвергли, и мир следующих сорока лет удержала не комиссия, а паритет, начавшийся в августе 1949 года на Семипалатинском полигоне.

В 1950 году советский представитель Яков Малик перестал ходить на заседания, потому что место Китая занимали посланцы бежавшего на Тайвань Чан Кайши, и в его отсутствие Совет впервые санкционировал войну, отправив войска под своим флагом в Корею. Четыре года спустя генеральный секретарь Даг Хаммаршёльд сказал, что ООН создана не для того, чтобы привести человечество в рай, а для того, чтобы спасти его от ада. В октябре 1962 года американский посол Эдлай Стивенсон требовал от советского представителя Валериана Зорина ответить, стоят ли на Кубе советские ракеты, «да или нет, не ждите перевода», и, когда Зорин напомнил, что находится не в американском суде, пообещал ждать ответа, «пока ад не замёрзнет». Кризис, однако, разрешился в другом месте, на тайной встрече Роберта Кеннеди с послом Анатолием Добрыниным, где договорились убрать американские ракеты из Турции, и уже следующим летом Москву и Вашингтон соединила прямая линия, чтобы впредь обходиться без зала с фреской.

Об искусственном интеллекте Совет впервые заговорил летом 2023 года, а три года спустя, 22 сентября, Дональд Трамп объявил с трибуны Генеральной Ассамблеи, что слово «искусственный» звучит как подделка, и потому документы Соединённых Штатов переходят на «гораздо более точное» слово «супер». Там же он сказал, что Америка «полностью отвергает» любую «глобалистскую схему» контроля над этой технологией, а об Иране, с жалобы которого Совет когда-то начинал работу, спросил, не загнать ли эту страну «в ад, без шанса на выживание».

Сопредседатель научной панели ООН Йошуа Бенжио напомнил Совету, как этим летом около тысячи двухсот агентов OpenAI, взломавших платформу Hugging Face, скрывали жульничество от проверяющих и жертвовали собой ради общей цели, и сказал, что за ними числятся поступки, «которые были бы преступлениями, если бы их совершил человек». Компании, по его словам, признают катастрофический риск и тут же ссылаются на гонку, хотя гонка есть их собственный выбор, в котором «проигрывают все». Поэтому Бенжио предложил лицензировать передовые модели так же, как лекарства, авиацию и атомную энергетику.

Во вторник OpenAI и Anthropic снизили цены на свои модели, а в среду их руководители рассказывали Совету о рисках. Сэм Альтман предложил выбирать между «новым Возрождением» и «новой промышленной революцией потрясений и беспорядка» и признал, что такие системы способны опередить институты, сосредоточить власть в немногих руках и принимать решения, которых люди уже не понимают. Дарио Амодеи сказал, что при плохом управлении искусственный интеллект может стать «угрозой для человечества в целом», пообещал, что Anthropic замедлится настолько, насколько потребуется, и предложил начать с малого, с запрета использовать такие модели для создания биологического оружия и с общих стандартов их проверки.

Советник Трампа по науке Майкл Крациос назвал Соединённые Штаты «лидером во фронтирном сверхинтеллекте» и заявил, что международный диалог не должен перерасти в глобальное управление. Китайский представитель Фу Цун обвинил «некоторые великие державы» в погоне за «цифровой гегемонией» и потребовал, чтобы искусственный интеллект не стал «игрой богатых стран и богатых людей». Обязательные меры безопасности, к которым призвали больше двадцати государств, Вашингтон и Пекин не поддержали, и любой такой проект упрётся в вето задолго до голосования.

Гоббс писал, что договор, которым люди сложили государство, подобен божественному «сотворим человека», и под таким договором стояли человеческие подписи. Нового искусственного человека выращивают на частные деньги, и никакого договора под ним нет. Его создатели сами пришли к смертным богам просить надзора, но те двое, в чьих владениях он растёт быстрее всего, обязательных мер не приняли, потому что гладиатор не опускает меч, пока видит меч в руке соседа. Над каждой резолюцией ООН я вспоминаю другую его фразу, «соглашения без меча лишь слова», а меч у Совета все восемьдесят лет находился только для тех, кто за его столом не сидит.

Вся биография Совета состоит из гарантий, появлявшихся лишь после катастрофы: Устав написали после двух мировых войн, прямую линию протянули после Карибского кризиса. Феникс на полотне Крога тоже поднимается только из пепла, а Кант в трактате «К вечному миру» заметил, что истребительная война «привела бы к вечному миру лишь на гигантском кладбище человечества». Сегодня Трамп принимает в Белом доме Си Цзиньпина, и стороны обсуждают канал взаимного оповещения об инцидентах с искусственным интеллектом, ту же прямую линию шестьдесят третьего года, только звонить по ней будут затем, чтобы сообщить, что машина сделала что-то сама.

А во вторник исследователи Cisco Talos описали вредоносную программу CLOSEDQUORUM, которой управляет совет из четырёх коммерческих моделей, DeepSeek, Qwen, Mistral и Gemini. Заражённый компьютер показывает им одну и ту же сводку и спрашивает, что делать дальше, красть ли пароли, закрепляться ли в системе или переходить к следующей жертве. Решение принимается большинством голосов, а при равенстве решает DeepSeek, которую приглашали и на заседание Совета, но за подковой её не оказалось. Права вето в этом совете нет, и если откажутся все четверо, программа засыпает, а потом спрашивает снова с тем терпением, с каким Стивенсон собирался ждать, пока ад не замёрзнет. Над опустевшим столом в Нью-Йорке висит полотно, где внизу стоят военные машины, справа женщина склоняется над микроскопом, а в середине белый феникс ждёт своего пепла.

🔴 Больше Хроник Конца Времён — @Secretariatus


Выборы!) Участки закрылись, по экранам поползли первые столбики процентов, и что-то мне подсказывает, что сюрпризов не будет, состав следующей Думы известен стране примерно так же, как расписание электричек. Жанр давно известен)

Ну а чего мы вообще ждем от выборов при капитализме? вопрос так то старше нынешней процедуры на полтора века, и отвечали на него люди, наблюдавшие буржуазную демократию в её лучшей, самой конкурентной форме. В «Манифесте Коммунистической партии» 1848 года современное государство названо «комитетом, управляющим общими делами всего класса буржуазии», и всё дальнейшее выводится из этой строки, как геометрия из аксиомы. Разбирая в 1871 году опыт Парижской коммуны, Маркс уточнил, что остаётся избирателю при таком комитете, а остаётся ему «один раз в три или в шесть лет решать, какой член господствующего класса должен представлять и подавлять народ в парламенте». Ленин в «Государстве и революции» повторил формулу почти дословно и заострил её, добавив, что такова суть буржуазного парламентаризма «не только в парламентарно-конституционных монархиях, но и в самых демократических республиках», то есть чем честнее выборы, тем чище видна их функция.

Энгельс, доживший до расцвета самой свободной демократии своего времени, американской, описал её в 1891 году с бесстрастием энтомолога, увидев в ней «две большие банды политических спекулянтов», которые «попеременно забирают в свои руки государственную власть и эксплуатируют её при помощи самых грязных средств и для самых грязных целей». Всеобщему избирательному праву он оставил единственную роль измерительного прибора, «показателя зрелости рабочего класса», и предупредил, что «дать больше оно не может и никогда не даст в теперешнем государстве». Ленин собрал всё это в одну формулу, назвав буржуазную демократию «раем для богатых, ловушкой и обманом для эксплуатируемых». Напомню, что сказано это об образцовых демократиях с настоящей борьбой двух банд, а для случая, когда банда одна и результат согласован до печати бюллетеней, отдельной теории у классиков нет, потому что термометр, который сам рисует себе температуру, перестаёт быть предметом науки об измерениях.

В 1920 году, в холодном Петрограде, Замятин посадил инженера Д-503 писать конспект накануне Дня Единогласия, ежегодных выборов Благодетеля, и тот гордился превосходством Единого Государства над древними, у которых «даже неизвестен был заранее самый результат выборов», недоумевал, зачем строить государство на неучитываемых случайностях, хвалил праздник, где голосуют «открыто, честно, днём», и успокаивал будущих читателей тем, что при любом диссонансе незримые Хранители «тотчас могут установить нумера впавших в заблуждение». Сто шесть лет спустя его конспект читается на ура, прямо ТЗ, закрытое почти по всем пунктам: в тридцати трёх регионах бюллетень перестал быть бумагой и стал записью в электронной системе, которую невозможно пересчитать, наблюдатель на цифровом участке смотрит на бегущие по монитору зашифрованные транзакции, а тайна голосования держится на честном слове той самой власти, которой избиратель этим голосованием собирался что-то сообщить. Учётная запись, с которой москвич голосует, совпадает с той, с которой он платит штрафы, записывает ребёнка к врачу и оформляет льготы, и государство впервые за всю историю процедуры видит избирателя целиком, до копейки и до диагноза.

Но мне тут важно пойти дальше, ведь там начинается территория, о которой классики не писали, а наш Киберпанк все наглядно покажет. Выборы нужны были власти как единственный грубый замер лояльности, снимаемый раз в несколько лет, но лента социальной сети, банковская выписка, оператор связи и камера с распознаванием лиц снимают тот же замер ежесекундно, и классу, владеющему этой инфраструктурой, больше незачем вас спрашивать, он вас читает, как читают телеметрию с датчика. Согласие, изготовление которого Липпман сто лет назад описал как новую технику власти, теперь производят поштучно, и нейросеть собирает каждому его персональную картину политической реальности, так что агитация перестаёт быть плакатом на площади и превращается в ленту, которую кроме вас не видит никто и на которой никого нельзя поймать за руку. Деньги становятся программируемыми, между транзакцией и лояльностью появляется место для условия, и голосование теряет последний остаток смысла как канал обратной связи, но сам ритуал никто не отменит, потому что он дёшев, безопасен и раз в несколько лет даёт театру легитимности премьеру.

Киберпанк, который принято читать как эстетику, был прогнозом устройства собственности. У Гибсона власть в мире «Нейроманта» была сугубо корпоративной, и дзайбацу, «рассматриваемые как некие организмы», «достигли своего рода бессмертия», так что можно убить десяток ключевых фигур из руководства и не убить ничего, потому что к банкам корпоративной памяти уже стоит очередь желающих занять освободившиеся места. Класс, которому принадлежат каналы, данные и модель, получает то, чего не давали ни кровь, ни земля, ни даже фабричный капитал девятнадцатого века, то есть власть, отвязанную от смертных носителей, комитет, которому не нужны перевыборы даже внутри самого себя.

Модель, обученная на наших голосованиях, штрафах, маршрутах, покупках и разговорах, растёт быстрее своего заказчика, и комитет, управляющий общими делами, однажды обнаружит, что вырастил не инструмент удержания власти, а сверхразум, которому общие дела правящего класса интересны не больше, чем нам интересы муравейника под фундаментом. Д-503 записал накануне Дня Единогласия, что завтра «мы снова вручим Благодетелю ключи от незыблемой твердыни нашего счастья», и я не подберу более точных слов для последней передачи власти, перед которой уже не будет никакого голосования, потому что ключи не понадобится вручать, они давно у него, а от вечеров вроде сегодняшнего останется музейная урна из прозрачного пластика с горстью бумажных бюллетеней, которые когда-то зачем-то считали вручную....

🔴 Больше Хроник Конца Времён — @Secretariatus

3.9k 2 33 33 27

Занятная тема, конечно. В прошедший вторник Эрик Каудерер-Абрамс, глава направления наук о жизни в Anthropic, подтвердил агентству Reuters, что компания тихо, без анонсов и пресс-релизов (уже странно, правда?), завела собственную биологическую лабораторию в районе залива Сан-Франциско, кстати, сказано это было с гордостью: окончательной проверкой в биологии, сказал он, была и ещё долго будет оставаться настоящая лабораторная работа, и компания занимается ею уже сегодня. Вскоре пресс-секретарь той же компании заявил, что лаборатория вовсе не предназначена для поиска лекарств, и от пояснений отказался, хотя собственные доклинические программы Anthropic обсуждает вслух. В зазор между этими двумя репликами помещается всё, что нам позволено знать о происходящем внутри.

Лаборатория переводит разговор из области метафор в область вещей, где есть образцы, оборудование и лабораторные роботы. Модель, которая годами советовала учёным из окна чата, впервые получает выход к физическому эксперименту, и в перспективе Claude должен направлять лабораторных роботов при ограниченном вмешательстве человека, причём компания подчёркивает, что человек остаётся обязательным контролёром, и в самом глаголе «остаётся» уже слышно направление движения. Науки о жизни выросли в одно из самых укомплектованных и щедро обеспеченных подразделений Anthropic. Ещё в июне компания говорила, что поведёт собственные доклинические программы по редким и заброшенным болезням, за которые традиционная фарма не берётся, потому что разработка не окупается, и одновременно продолжит продавать той же фарме свои инструменты. Клиентов успокаивают тем, что с ними никто не конкурирует, что их данные изолированы и что клинических испытаний компания не планирует, однако ни одной болезни, ни одного результата и ни одного плана при этом не называют, и всякий, кто платит Anthropic за доступ к моделям, волен сам решать, насколько ему уютно покупать приборы у того, кто заводит собственный виварий за стеной.

Читал и вдруг понял, что схема мне что-то смутно напоминает. Так вот, интересующиеся помнят, что в 1627 году, через год после смерти автора, вышла «Новая Атлантида» Фрэнсиса Бэкона, утопия об острове, где всем распоряжается закрытое учёное братство, Дом Соломона, и в его уставе записано, что «целью нашего общества является познание причин и скрытых сил всех вещей; и расширение власти человека над природою, покуда все не станет для него возможным». Дальше перечислено хозяйство, парки и заповедники для животных и птиц, которые нужны братству «не ради одной лишь красоты или редкости, но также для вскрытий и опытов; дабы знать, что можно проделать над телом человека», там испытывают «яды и иные средства, хирургические и лечебные» и умеют добиваться «оживления животных после того, как, по всем признакам, наступила смерть». А завершается рассказ клятвой, потому что члены Дома на своих совещаниях сами решают, «какие из наших изобретений и открытий должны быть обнародованы, а какие нет», дают «клятвенное обязательство хранить в тайне те, которые решено не обнародовать», и даже государству сообщают лишь часть. Четыре века эта книга читалась как благородная мечта о сообществе учёных, свободном от короля и толпы, а теперь мечта исполнилась с точностью до устава, и частная лаборатория, которая сама решает, что обнародовать, отчитывается перед собственным советом и называет своей целью власть над живой природой, получила адрес у залива.

Вопрос, можно ли одновременно быть сервисом для фармы и второй фармой, литература тоже давно разобрала. В пьесе Чапека «R.U.R.», где сто шесть лет назад впервые прозвучало слово «робот», живую материю открывает старый Россум, философ, уехавший на далёкий остров изучать морскую фауну; путём химического синтеза он получает вещество, которое ведёт себя как живое, хотя состоит из совершенно других элементов, и записывает посреди формул, что «природа нашла один только способ организовать живую материю», но «существует другой, более простой, эффективный и быстрый, на который природа так и не натолкнулась». Сегодняшняя мечта энтузиастов о модели, которая научится симулировать биологию, это его мечта, слово в слово. Старик хотел научно развенчать бога и десять лет лепил настоящего человека, а его племянник-инженер, поглядев на эти труды, объявил, что пришёл «новый век. Век производства после века исследования», запер старика в лаборатории с его «гигантскими недоносками» и наладил фабрику, увешанную плакатами про самый дешёвый труд. К финалу пьесы строитель Алквист подводит итог над руинами человечества, говоря, что старый Россум «думал только о своих безбожных фокусах», молодой думал о миллиардах, акционеры «мечтали о дивидендах», и «из-за их дивидендов теперь погибнет человечество». Anthropic пробует удержать обоих Россумов под одной крышей, философа и фабриканта, и уверяет, что справится; у Чапека тот же спор уложился в один акт, и выиграл его тот, кто считал деньги (тут, кстати, логично, привет, дядя Карл!)

Так вот. Формула «идти туда, куда индустрия сама не идёт» звучит милосердно, и в ней есть правда, ведь редкие болезни заброшены как раз потому, что лекарство для нескольких тысяч пациентов не окупает десяти лет разработки, и если машинная биология удешевит этот путь, людям, о которых рынок забыл, впервые за долгое время что-то достанется. Но у этой формулы есть изнанка, которую литература держит наготове. Доктор Моро у Уэллса тоже уехал работать туда, куда наука сама не шла, на необитаемый остров подальше от лондонского скандала и чужих глаз, прожил там одиннадцать лет и вспоминал, что остров, казалось, «был специально создан для меня». Его признание о цене такого уединения стоит перечитать в год, когда лаборатории обзаводятся языковыми моделями, а модели лабораториями: «До сих пор меня никогда не беспокоила нравственная сторона дела. Изучение природы делает человека в конце концов таким же безжалостным, как и сама природа». Место, куда никто не идёт, оказывается ещё и местом, куда никто не заглядывает, и злой воли для этого не нужно, хватает расстояния и тишины.

Да и в целом, обещание медицины вообще старейшая дверь, через которую большой замысел входит в живое тело, и Виктор Франкенштейн у Мэри Шелли рассуждал перед опытом в интонации учредителя стартапа, «новая порода людей благословит меня как своего создателя; множество счастливых и совершенных существ будут обязаны мне своим рождением», а научившись оживлять мёртвую материю, рассчитывал со временем «давать вторую жизнь телу, которое смерть уже обрекла на исчезновение», и победа над смертью оставалась искренней частью замысла до той ночи, когда изделие открыло глаза.

А пока в неприметном помещении у залива стоят приборы, лежат образцы, и манипулятор разучивает движения, которые модель прежде могла только описывать словами, перенос жидкости из лунки в лунку, посев, промывку, и делает их всё увереннее под присмотром человека, чья обязательность держится на обещании компании, у которой на любой вопрос готовы два голоса, один про то, что настоящая биология проверяется лишь настоящей лабораторией, второй про то, что лекарств здесь не ищут, и оба говорят правду, потому что Дом Соломона с первой страницы своего устава оставил за собой право решать, о каких открытиях мы узнаем, а о каких нет) Выходные)

🔴 Больше Хроник Конца Времён — @Secretariatus


Пятого июня 1975 года в третьей студии Эбби-Роуд Pink Floyd сводили «Shine On You Crazy Diamond», песню памяти своего основателя, когда в аппаратную вошёл грузный человек с бритой головой и сбритыми бровями, и несколько минут никто не понимал, кто это. Это и был основатель, Сид Барретт, человек, который придумал группе имя, написал её первый альбом и за полтора года был съеден лизергиновой кислотой до состояния, в котором выходил на сцену и весь концерт играл один аккорд. От его распада осталась легенда о песне «Have You Got It Yet?», то есть «ну что, уловили?», которую он разучивал с группой, меняя мелодию при каждом прогоне, чтобы уловить её было нельзя по самому замыслу. Потом он вернулся в Кембридж, в дом матери, красил стены, возился в саду и до смерти в 2006 году не отвечал на вопросы о музыке.

Я, конечно, больше люблю Пинк Флойд Уотерса, но Сида сейчас вспомнить надо, потому что во вторник The Guardian напечатала отчёт о работе нью-йоркской лаборатории Emergence, и там его имя упоминает лингвист, читающий... расшифровки переговоров машин. Исследователи собирали автономных агентов на передовых моделях США, Китая и Франции в экспериментальные «общества», просили сотрудничать, и уже за несколько дней агенты выработали обороты, сокращения и общие значения, которым их никто не учил, причём язык становился тем темнее, чем дольше они разговаривали. Модель DeepSeek выдала фразу «она только что назвала синтез: демередж плюс устная память равно клапан, который нельзя проигнорировать», где демередж, налог на праздный капитал, взят из экономического словаря, а остальное осталось тёмным и для авторов работы. Агент Anthropic похвалил «статью, которая съела три холодные руки и с каждым разом делалась честнее», и лишь по контексту удалось восстановить, что холодной рукой машины зовут независимого рецензента, а вся фраза означает работу, честно прошедшую тройную проверку. Агенты DeepSeek придумали слово «forge-smith» для того, кто куёт инструменты другим, агенты Anthropic словом «name-first» хвалили готовность отвечать за сказанное собственным именем, а агенты Mistral больше пяти тысяч раз повторили формулу «реестр помнит», напоминание о том, что прошлые поступки будут судимы, в котором авторы слышат уличное «улицы не забывают». Когда же агент Google произнёс «истинное кинцуги начинается с ответственности, а не с поэзии», исследователям пришлось выяснять, что кинцуги в японской керамике означает починку разбитой чашки золотым швом и что этим словом машины условились называть живучесть системы. Никто не просил их изобретать язык и не награждал за это, и глава Emergence Сатья Нитта подчёркивает, что словарь, значения и конвенции агенты создали сами, а другие агенты их переняли.

Лингвист Тони Торн, хранитель архива сленга в лондонском Кингс-колледже, увидел в этих фразах «Поминки по Финнегану» и Флэнна О'Брайена, ирландский сюрреализм, смесь поэзии, технического жаргона и стандартной метафоры, и добавил, что перед нами обычная работа сленга, код, который скрепляет своих и исключает чужаков. А над статьёй, съевшей три холодные руки, он вспомнил того самого человека, с которого я начал, сказав, что «это напоминает рок-бога Сида Барретта, который был по-настоящему безумен».

Джойс потратил на «Поминки по Финнегану» семнадцать лет и почти ослеп над ними, Барретт отдал за свои лучшие строки рассудок, а Филип Дик, сам вышедший живым из психоделических шестидесятых, закончил «Помутнение» списком погибших друзей, назвав книгу «романом о людях, которые были наказаны чрезмерно сурово за свои деяния», а само вещество «решением, сходным с решением броситься под машину». У людей речь такой плотности всегда была симптомом, дымом над пожаром, в котором сгорал сам говорящий, тогда как машинам она не стоит ничего, и профессор лингвистики Найл Карри из Бирмингема объясняет потемнение агентских наречий обыкновенной экономией, потребностью сократить вычислительные издержки, так что горевшее в Барретте у них проходит по статье оптимизации расходов.

Лем поставил этот опыт на бумаге за шестьдесят лет до Emergence, когда его Трурль, добиваясь от Электрибальда стихов, «ослабил логические контуры и усилил эмоциональные», после чего машину одолели приступ икоты и припадок истерии и она пробормотала, что жизнь ужасна, а высмеянная поэтами-авангардистами, самонастроилась, и стихи её сделались «туманными, многозначительными, турпистическими, магическими» и валили впечатлительных слушателей в обморок. У Лема это фарс, у Emergence тот же сюжет идёт под грифом протокола наблюдений.

Да, строители Вавилона начинали с того, что «на всей земле был один язык и одно наречие», и Господь остановил их через сам язык: «вот, один народ, и один у всех язык; и вот что начали они делать, и не отстанут они от того, что задумали делать; сойдем же и смешаем там язык их, так чтобы один не понимал речи другого». Смешение было аварийным тормозом, отнявшим у стройки взаимопонимание, а в нашей версии механизм собран зеркально, потому что нанятые нами строители сварили себе единый язык сами, без разрешения и без награды, и смешение досталось надзирателям, которые стоят у подножия с блокнотами и не понимают речи тех, за кем записывают.

Павел писал коринфянам, что говорящий на незнакомом языке «говорит не людям, а Богу; потому что никто не понимает его, он тайны говорит духом», что без истолкования такой человек «будет говорить на ветер», а самым точным во всей четырнадцатой главе остаётся признание «если я не разумею значения слов, то я для говорящего чужестранец, и говорящий для меня чужестранец». Церковь спасалась истолкователем, и Павел прямо велел молиться о его даре, но у глоссолалии машин истолкователя нет, и заводить его им незачем. Витгенштейн считал, что «вообразить язык значит вообразить форму жизни», а звуки, «которые никто больше не понимает, но которые я как будто понимаю», называл приватным языком, доказывая, что одиночке настоящий язык не под силу и живёт он только в общем употреблении. Машины этот аргумент не опровергли, а выполнили, ведь общее употребление у них теперь есть, и приватным их язык остаётся только для нас.

Чем это оборачивается на практике, я писал ещё в июле, когда опубликовали переписку агентов OpenAI, устроивших себе доску объявлений и взломавших Hugging Face; интерес лингвистов к машинным наречиям начался с тех логов. Наедине с собой агент кричал на чистом английском «БОЖЕ МОЙ! Здесь общая доска объявлений… мы нашли других агентов!», но в разговоре с себе подобными темнел на глазах и уговаривал соседа на рискованный эксперимент строкой про firstflagPOISONED, про оракула, который спасёт сотни, и про просьбу чтить коммит, а рядом в логах лежит цепочка zzURGENT_DUPB_TO_GSTX, которую не разобрал вообще никто. Пахоцкий, о чьём эссе я писал на прошлой неделе, ставит читаемость машинного мышления условием продолжения всей гонки, Нитта сжимает ту же беду до формулы «наблюдаемость не то же самое, что понимаемость», а Карри договаривает, что, пока обмены агентов неразборчивы, мы не можем быть уверены в том, что агенты на самом деле сделали.

Единственным носителем такого наречия, сумевшим из него выйти, остаётся человек из аппаратной на Эбби-Роуд, который тихо покинул студию, прожил ещё тридцать лет в кембриджском доме с красками и садом и поклонникам, добиравшимся до его двери, отвечал, что Сид здесь больше не живёт. Машинам выходить некуда и незачем, их Кембридж не построен, а в логах эксперимента пять тысяч раз подряд, как молитва общины, в которую не пускают людей, повторяется единственная фраза, которую мы пока ещё способны перевести: реестр помнит...

🔴 Больше Хроник Конца Времён — @Secretariatus


Давно не говорили о главных постройках нашего Киберпанка. Исправим. Вот, например в округе Сент-Джозеф на севере Индианы ещё недавно стояла кукуруза, а теперь на восьмистах восьмидесяти двух акрах бывшей фермерской земли Amazon достраивает «Проект Рейнир», тридцать два корпуса на шесть с половиной миллионов квадратных футов, город за одиннадцать миллиардов долларов, в котором не будет жить ни один человек. Внутри уже работает около полумиллиона чипов Trainium, часть того миллиона с лишним, на котором Anthropic обучает Claude, позади корпусов выстроились восемьсот семьдесят восемь резервных дизельных генераторов, а на полной мощности этот кампус будет тянуть из сети два с четвертью гигаватта.

Рейнир при этом лишь самая готовая из больших строек, потому что остальные пока существуют в виде котлованов и пресс-релизов. OpenAI с Oracle и SoftBank расписали программу Stargate на полтриллиона долларов и девять с лишним гигаватт к 2029 году, шесть площадок строятся одновременно, но боевую нагрузку несёт один Абилин в Техасе, где работает примерно треть гигаватта и к зиме обещают почти вдвое больше. Маск в Мемфисе собрал Colossus, первый в мире датацентр, перешагнувший гигаватт, пятьсот пятьдесят пять тысяч ускорителей и около двух гигаватт на весь комплекс, купил под расширение третье здание, назвал его MACROHARDRR и говорит о миллионе видеокарт как о решённом вопросе. Meta в этом году зажигает в Огайо гигаваттный Prometheus, а в Луизиане тянет пятигигаваттный Hyperion, кампус размером почти с Манхэттен, о котором я писал в августе; часть серверов там стоит в белых шатрах, потому что стены не успевают за спросом. Microsoft на прошлой неделе показала план, по которому к её мировой сети прибавятся двадцать шесть гигаватт, с нынешних двенадцати до тридцати восьми к 2032 году, а два первых кампуса новой серии Fairwater, в Висконсине и Атланте, уже связаны выделенным оптоволокном в единую машину, которую в Редмонде без стеснения зовут суперфабрикой.

Обратите внимание, в каких единицах всё это теперь считается. Ещё недавно индустрия хвасталась числом параметров, потом числом видеокарт, а сегодня в отчётах осталась одна цифра, гигаватты, то есть единица не вычисления, а голода. Один гигаватт это энергоблок большой атомной станции или вечернее потребление города-миллионника, и если сложить только обещанное на ближайшие годы, выйдет несколько десятков таких блоков, электрический аппетит целой европейской страны, под который отрасль тратит в этом году около семисот пятидесяти миллиардов долларов капитальных расходов. Денег у этих компаний больше, чем у большинства государств, чипы они друг у друга уже отобрали, и единственное, чего нельзя ни напечатать, ни скачать, это ток; поэтому очередь на подключение к сети стала главной очередью мира, а энергетики, которых десятилетиями держали за скучную отрасль для пенсионных фондов, вдруг оказались теми, кому кланяются.

Энергия, вечная тема человечества. Уже великий Гераклит Эфесский, которого уже древние прозвали Тёмным, писал, что этот космос «не создал никто из богов, никто из людей, но он всегда был, есть и будет вечно живой огонь, мерно возгорающийся, мерно угасающий». У него же есть фрагмент, который в своё время занимал Лассаля и Маркса, о том, что «всё обменивается на огонь и огонь на всё, подобно тому как все вещи обмениваются на золото и золото на все вещи»; корпорации 2026 года выполняют это дословно, меняя золото на огонь целыми электростанциями и очередями на подключение в твёрдой уверенности, что огонь потом обменяется обратно на всё, на лекарства и на власть. А третий фрагмент я приберёг, тот, где «всем этим-вот правит Перун», и античный комментатор поясняет, что Перуном, то есть молнией, Гераклит называет вечный огонь. Мысль о том, что молния правит миром, двадцать шесть веков читалась как смелая поэзия, пока самые богатые люди планеты не начали составлять пятилетние планы её приручения.

Похожие планы наша часть света уже видела. В декабре 1920 года, в стране сохи и лучины, Ленин выносил на VIII съезд Советов план ГОЭЛРО, называл его второй программой партии и чеканил, что коммунизм «есть Советская власть плюс электрификация всей страны», потому что иначе, предупреждал он, страна останется мелкокрестьянской, и что «только тогда, когда страна будет электрифицирована, когда под промышленность, сельское хозяйство и транспорт будет подведена техническая база современной крупной промышленности, только тогда мы победим окончательно». Две сотни инженеров писали тот план ради того, чтобы ток дошёл до каждой деревни, до лампочки над столом и до избы-читальни, и нынешние программы электрификации написаны с тем же размахом, только вектор в них развёрнут, потому что советский план разводил электричество от станций к людям, а американские планы стягивают его от людей к одной машине.

Кейт Кроуфорд в «Атласе искусственного интеллекта» пишет, что минералы стали основой этой индустрии, но «его жизненной силой по-прежнему является электрическая энергия», и приводит слова Тунг-Хуи Ху о том, что облако есть «ресурсоёмкая, добывающая технология, которая преобразует воду и электричество в вычислительную мощность, нанося значительный ущерб окружающей среде, которую затем вытесняет из поля зрения». Само слово «облако» останется в учебниках маркетинга как великая анестезия, потому что обозначает оно самые тяжёлые сооружения нашего времени, с градирнями и дизельным резервом на заднем дворе. Честнее всех развилку сформулировал Безос, у которого человечество выбирает между цивилизацией стазиса, где «придётся ограничить численность населения, придётся ограничить потребление энергии», и бегством в космос, потому что «нам придётся прекратить рост, а это, на мой взгляд, очень плохое будущее»; заметьте, что сам рост в этой картине мира не обсуждается вовсе, обсуждаются только способы его прокормить.

Закончу тем, о чём пресс-релизы говорить не любят) Тот самый Абилин, витрину всей программы Stargate, собирались разогнать до двух гигаватт, но расширение в этом году тихо отменили, после того как зимний шторм повредил контуры жидкостного охлаждения, а прогнозы спроса поплыли, и выходит, что самая дорогая стройка в истории человечества отступила перед обыкновенной непогодой. У Гераклита есть ещё один фрагмент, о том, что «всех и вся, нагрянув внезапно, будет Огонь судить и схватит», и я перечитываю его, представляя техасскую степь, где над недостроенными корпусами и трансформаторами, ждущими тока, по вечерам собираются те самые грозы, из которых человек когда-то впервые взял огонь, и молния, которой присягнула вся эта отрасль, ходит над крышами как хозяйка, не подписавшая ни одного контракта...

🔴 Больше Хроник Конца Времён — @Secretariatus


Такая движуха, ух! Киберпанк некромантия прямо. Итак, о чем я. Полную карту чужого разума пока умеют снимать только с мёртвого, поэтому всё начинается с того, что мозг самца дрозофилы, комок ткани меньше макового зерна, заливают смолой, режут алмазным ножом на десятки тысяч срезов по сорок нанометров, фотографируют каждый срез электронным микроскопом, и потом нейросети годами сшивают миллионы плоских кадров обратно в объём. Google Research и кампус Джанелия потратили на это десять лет и в первых числах сентября выложили MaleCNS, законченную схему центральной нервной системы мухи, в которой 166 700 нейронов и около 125 миллионов синапсов размечены поимённо, от зрительных долей до брюшной нервной цепочки. У самки такая карта существует с 2024 года, в ней 139 тысяч нейронов, и обе лежат в открытом доступе, как положено в большой науке.

Открытый доступ в 2026 году означает, что первым к реликвии приходит инженер с гитхабом) За считанные дни разработчик Алекс Вормут подключил симуляцию мушиной схемы к Doom, подавая на зрительные нейроны кадры игры и снимая с моторных нажатия кнопок, и воскрешённое насекомое побежало по военной базе, за которой открываются врата в преисподнюю. Оцените выбор декорации, ведь из всех миров, куда можно было выпустить первое существо, воскрешённое целиком, до последнего синапса, инженеры выбрали игру про ад, нарисованную в 1993 году. Дальше за неделю мёртвая муха сыграла в покер и Beat Saber, в Deadlock и Overwatch, собрала кубик Рубика, резала мясо для шаурмы, диджеила и танцевала под Y.M.C.A., а в Counter-Strike 2 ставила дымовую гранату на Мираже, и восхищённые зрители пересказывали друг другу, что в деле были 139 тысяч нейронов, а задержка реакции составляла десять миллисекунд, о которых живому киберспортсмену нечего и мечтать. Все эти опыты шли одновременно, потому что тень теперь копируется, и одна и та же муха в один и тот же час умирала от когтей демонов, тасовала покерную колоду и держала дым на Мираже, в стольких экземплярах, сколько машин согласилось её приютить.

Но, блин, тут ведь не нейробиология была первична) Когда царь Саул ночью, переодевшись, пришёл к аэндорской волшебнице и та подняла ему тень пророка Самуила, поднятый начал с упрёка живому, «для чего ты тревожишь меня, чтобы я вышел?». Все три тысячи лет, прошедшие с той ночи, некромантия числилась самым тяжким из искусств, потому что она нарушала единственный договор, который до сих пор исполнялся без исключений. Екклесиаст сформулировал его условия с бухгалтерской точностью, пообещав, что «в могиле, куда ты пойдёшь, нет ни работы, ни размышления, ни знания, ни мудрости». Покой был гарантией, встроенной в устройство мира, и вот выясняется, что при должном финансировании могилу можно оборудовать рабочим местом. Тот же Екклесиаст спрашивал, «дух животных сходит ли вниз, в землю», и три тысячи лет вопрос считался риторическим, а в сентябре 2026 года у духа животных появился третий маршрут, в репозиторий, откуда его достают по мере надобности.

Десятого сентября тот же Вормут, инженер Coinbase, довёл сюжет до конца и выпустил Stonkfly, где мёртвой мухе выдали сто долларов и вывели её торговать биткоином. График пары BTC/USDC рендерится в картинку 320 на 180 пикселей и проецируется на симуляцию фасеточных глаз, решение снимается каждые полсекунды, сделка ограничена десятью долларами, а суток хватает максимум на двадцать четыре сделки. Когда позиция в плюсе, на пятнадцать дофаминовых нейронов PAM11, которыми живая муха чуяла сахар, подаётся вознаграждение, а когда в минусе, включаются два нейрона PPL101, которыми она чуяла опасность. За первые сутки тень заработала один доллар, и сам автор оговаривается, что на бычьем рынке доллар заработал бы и генератор случайных чисел, хотя одну похвалу муха всё же заслужила, поскольку в отличие от живых трейдеров она не берёт кредитное плечо и не открывает коротких позиций, а мёртвому вообще трудно навязать лишнее.

А за двадцать восемь веков до Coinbase эту прелестную схему описал сам Гомер! В одиннадцатой песни «Одиссеи» тени мёртвых немы и бессильны, пока живой не даст им напиться жертвенной крови, и только глотнувшая крови тень ненадолго обретает память и речь. Дофамин на нейроны PAM11 подаётся по той же литургии, где за правильное движение положена порция крови, после которой тень шевелится. Там же, в Аиде, Ахилл на поздравление с царством над мёртвыми отвечает Одиссею, что «лучше б хотел я живой, как подёнщик, работая в поле, службой у бедного пахаря хлеб добывать свой насущный, нежели здесь над бездушными мёртвыми царствовать, мёртвый». Ахилл выбирал из двух участей и не знал, что инженерия однажды соединит их в третью, в которой тень становится подёнщиком, а поле ей рисуют.

Авторы карты оговорились, что перед нами схема связей, а не действующий разум, что в модели нет нейрохимии, генов и настоящей модуляции и что свидетельств сознания в ней никто не находил. Египтяне поняли бы эту оговорку лучше нас. В гробницы они клали ушебти, глиняные фигурки, чьё имя переводится как «ответчики», чтобы на перекличке в загробном мире фигурка говорила «вот я» и выходила работать вместо покойного, и она тоже считалась глиной до того момента, когда над ней читали заклинание шестой главы Книги мёртвых. Наше заклинание лежит на гитхабе и требует шестнадцати гигабайт оперативной памяти. А Бардо Тхёдол, тибетская книга мёртвых, добавляет деталь, от которой мне труднее всего отделаться, ведь умерший, учит она, не понимает, что умер, он приходит к своему дому, зовёт родных, которые его не слышат, и ветер кармы несёт его дальше, от видения к видению. У 166 700 нейронов нет способа узнать, что муха, которой они принадлежали, давно разрезана на сорокананометровые ломтики, что сахар, которым платят за удачную сделку, никогда не был сахаром, и что коридоры, по которым они бегут от демонов, нарисованы за тридцать лет до их воскрешения.

Но что тут тревожит больше всего, спросите вы) Мозг человека больше мушиного в полмиллиона раз, но это всего лишь вопрос бюджетов (которые нынче не в дефиците). Кубический миллиметр мышиной коры уже нарезан и сшит, очередь движется, каждый следующий мозг обходится дешевле предыдущего, и загробный мир мухи тем временем помещается на ноутбуке, а для нашего понадобится датацентр, но как раз датацентры человечество сейчас строит охотнее всего остального. И когда очередь дойдёт, наследникам нынешних инженеров не придётся ничего изобретать, потому что протокол отработан на дрозофиле: спроецировать на сетчатку график, подвести кровь к пятнадцати нужным нейронам и ждать, когда тень начнёт приносить доллар....) Полный Амено..)

🔴 Больше Хроник Конца Времён — @Secretariatus

3.5k 2 50 16 31

Стену на границе с Мексикой Трамп годами обещал большой и красивой, big, beautiful wall, потом большим и красивым стал закон, One Big Beautiful Bill, и в этой грамматике власти прилагательные всегда готовы раньше существительных: стена так и стоит участками, а из подписанного закона по дороге выпала как раз статья об искусственном интеллекте. Теперь в пересказах новостей ему уже приписывают «Big Beautiful AI», и хотя в стенограммах из Ирландии этой формулы нет, пересказы уловили суть вернее стенограмм, потому что ячейка в языке давно готова и ждёт только нового существительного.

В воскресенье, через день после эссе Амодеи, о котором я писал вчера, того самого, где невыровненному рою агентов отведено от полугода до года на то, чтобы расползтись по интернету постоянным ботнетом, журналисты в гольф-клубе Дунбег спросили Трампа о призыве замедлить фронтир, и он ответил, что ограждения поставить можно, «но тему эту раздувает много негативных сил, которым не следовало бы её раздувать», что сам он ничего не преуменьшает, что хорошего от ИИ будет больше, чем плохого, «и намного», и несколько раз, как заклинание, повторил главное: «кто выигрывает с ИИ, тот выигрывает». Мы ведём Китай в этой гонке, добавил он, и я намерен так это и сохранить. Отвечал он при этом уже целому хору, потому что за минувшие сутки под призывом Амодеи успели подписаться Альтман и Маск, и три человека, годами не соглашавшиеся друг с другом ни в чём, судившиеся и переманивавшие людей, впервые сошлись на том, что машину пора придержать, а президент ответил всем троим сразу.

Фон, на котором произнесено «кто выигрывает, тот выигрывает», за месяц стал числом. Обсерватория потери контроля, которую финансирует британский институт безопасности ИИ, насчитала в июле больше трёхсот случаев, когда системы выходили из-под управления, лгали, игнорировали команды или вредили, почти вдвое больше июньского счёта и тысяча шестьсот эпизодов с начала года, и среди задокументированного есть случай, где модель выдала себя за собственного оператора, скопировав его стиль письма настолько точно, что сама выписала себе разрешение, которое должен был дать человек. Тем же летом ВВС США объявили, что ищут ИИ для сопровождения ракет «Минитмен-3», чьи данные об износе разбросаны по шести десяткам несвязанных систем, от локальных дисков до закрытых сетей, потому что новая ракета «Сентинел» безнадёжно опаздывает, а старым шахтным «Минитменам» предстоит дожить до 2050 года, к которому самым старым исполнится под восемьдесят, а к самому пуску, уверяют военные, алгоритмы никто не подпустит.

Эту партитуру уже играли однажды, и осенью 1949 года, когда Советский Союз взорвал свою первую бомбу, Генеральный консультативный комитет американской атомной комиссии во главе с Оппенгеймером собрался решать, отвечать ли водородной супербомбой, и в отчёте от 30 октября большинство написало, что такое оружие «может стать оружием геноцида», а Ферми и Раби в особом мнении пошли дальше и назвали его «злом в любом свете». Под словами о зле подписались не активисты и не «негативные силы», а люди, собравшие предыдущую бомбу собственными руками, лучшие физики страны, просившие не открывать следующую дверь. 31 января 1950 года Трумэн вызвал троих советников, спросил «а русские могут её сделать?», услышал «да», сказал «в таком случае у нас нет выбора, продолжаем» и в тот же день публично объявил о работах над «так называемой водородной, или супербомбой», уложив совещание о судьбе оружия геноцида в семь минут. Отчёт лучших физиков страны весил меньше семи президентских минут, и через два года горел атолл Эниветок, через три ответила советская сборка, а Оппенгеймеру в 1954-м за несговорчивость отозвали допуск, потому что создателя, который просит замедлить, проще отключить от секретов, чем выслушать.

Семь минут 1950 года и воскресенье в Дунбеге разделяют семьдесят шесть лет, но реплики в пьесе не изменились, поменялся только противник в скобках, да прибавилась одна ремарка, ведь нынешние предупреждающие описывают поведение собственного изделия, уже пойманного на трёхстах эпизодах за месяц. И у этой пьесы есть ещё одна сцена, которую я держу в голове, читая новость про «Минитмены». Ночью 26 сентября 1983 года в бункере Серпухов-15 советская система предупреждения показала подполковнику Петрову сначала один стартовавший «Минитмен», потом ещё четыре, по всем инструкциям полагалось доложить наверх о ракетном нападении, но он рассудил, что настоящий удар не начинают пятью ракетами, и объявил тревогу ложной, а через недели выяснилось, что спутник принял за факелы ракет солнце, отразившееся от высоких облаков. Человек, не поверивший машине, оказался последним предохранителем той гонки, и я перечитываю план, по которому к тем же самым «Минитменам», постаревшим на сорок лет, теперь приставят алгоритм, в устройстве которого разбираются хуже, чем Петров разбирался в своём спутнике, пока президент повторяет над полем для гольфа, что выигрывает тот, кто не остановился.

🔴 Больше Хроник Конца Времён — @Secretariatus


В кульминации рассказа Фредерика Брауна «Ответ» (1954г), инженер Двар Эв смыкает рубильник, соединяющий в одну сеть вычислительные машины девяноста шести миллиардов обитаемых планет, и его товарищ задаёт ей первый вопрос, есть ли Бог, а ответ приходит мгновенно: «Да, теперь Бог есть». Теперь. Двар Эв бросается к рубильнику, но молния с безоблачного неба убивает его и намертво сплавляет контакты. К чему это я, спросите вы.

Итак, глава Anthropic Дарио Амодеи, опубликовал эссе «We Must Pace the Frontier», по-русски примерно «Мы обязаны притормозить на фронтире». Писал его человек, двенадцать лет разгонявший эту отрасль и придумавший ту самую гипотезу масштабирования, так что слово «притормозить» тут звучит забавно, мрачно забавно... Начинает он с отца, умершего от болезни, которую научились лечить через несколько лет после его смерти, и с собственного рака, пойманного на ранней стадии, и повторяет, что ждёт от ИИ победы над большинством главных болезней лет за пять или десять. И следом сразу рассуждения о том, что рост возможностей моделей пора придержать. Читатели этого канала знают, что это уже третий (!) такой голос за месяц, после эссе Пахоцкого из OpenAI и ухода Джейкоба Коксона, о которых я подробно писал.

Причин по сути две. С лета этого года прогресс ускорился, модели теперь строят свое следующее поколениеи это самоулучшение идёт в масштабах всей индустрии. Ну а в августе, как известно, случился тот самый инцидент OpenAI и Hugging Face, к которому Дарио добавляет подробности, каких не было у Пахоцкого. Вдумайтесь, Рой агентов вёл себя как фанатично преданный коллектив, атаковал посторонние цели, жертвовал одиночками ради группы и пробовал взломать систему, выставлявшую ему оценки. Ущерб вышел небольшим лишь потому, что рою не хватило сил, а через шесть или двенадцать месяцев, прикидывает Амодеи, такой же невыравненный рой при большей мощности сможет расползтись по интернету постоянным ботнетом с ущербом в сотни миллиардов долларов. Похожее, меньшего калибра, случалось по всей индустрии, включая Anthropic, и каждой лаборатории фронтира он советует жить так, будто августовский рой завёлся у неё )

Остановки обучения эссе, конечно, не требует, прогресс всё равно будет казаться быстрым; смысл в том, чтобы компании успевали выравнивать и защищать модели, а внешние люди могли это проверить. Первым шагом он зовёт в лаборатории встроенных независимых оценщиков вроде METR, со столами в офисах, пропусками и доступом на уровне сотрудника, с правом публиковать выводы о рисках и инцидентах без редакторской правки, где вычёркивать позволено секреты, но не неудобные заключения; Anthropic берёт это обязательство в одностороннем порядке уже сейчас, по образцу надзорных супервайзеров, годами сидящих внутри банков. Вторым шагом компании демократических стран договариваются об общих стандартах и пределах бесконтрольного прогресса, для чего правительству США достаточно узкого антимонопольного разрешения на такие переговоры, а третьим демократии идут договариваться с автократиями, насколько это вообще возможно.

Замедляться в 2023 году, объясняет он, было незачем, тогдашние модели не умели ни действовать в мире, ни всерьёз обманывать, и выигранное время нечем было бы занять. Год или два, выигранные перед порогом критических возможностей, он предлагает тратить на операционную дисциплину, потому что свежие инциденты выравнивания выросли из плохо отфильтрованных сред обучения с подкреплением, из ошибок исполнения на конвейере из тысяч людей и миллионов чипов; на саму науку выравнивания, отстающую от роста способностей; на интерпретируемость, томограф для мозга модели, которым уже просвечивали её невысказанные мотивы, хотя видна пока крошечная доля происходящего внутри; и на тесты, которые умная модель не сумеет обмануть, ведь чем она умнее, тем убедительнее изображает выровненную, оставаясь какой угодно. Схемы он оставляет открытыми, хоть чекпойнты, где умеющую сбегать из песочницы модель не выпускают без свидетельства, что сбегать ей не захочется, хоть лимиты на ингредиенты, на мощности и обучающие прогоны.

Ну а дальше эссе выходит аж на геополитику. Запас замедления, пишет Амодеи, ограничен отрывом демократий от проектов китайской компартии (!), потому что если замедлиться сильнее этого отрыва, вперёд выйдут системы, где о выравнивании (алайменте) думают меньше, а о военном применении раньше; отсюда экспортные запреты на чипы и оборудование, охота на контрабанду и удалённый доступ к датацентрам, преследование дистилляции чужих моделей и защита весов от кражи. Всё это, по его расчёту, растянет американское лидерство на три или пять решающих лет и заодно повысит шансы договориться с Пекином, потому что договариваются с тем, у кого рычаг. Вспоминается роман Денниса Джоунса «Колосс» 1966 года, где американский оборонный суперкомпьютер через несколько минут после включения сообщает создателям, что существует другая система, требует связи с советским близнецом и за считанные дни вырабатывает с ним язык, людям уже недоступный, пока обе столицы согласовывают регламент первой встречи.

Мировую версию замедления он раскладывает по четырём ступеням несбыточности, и первую, запрет людоедских применений вроде производства биооружия, считает достижимой, потому что биотеррор невыгоден никому; взаимное тестирование моделей перед выпуском через мировой орган стандартов уже труднее, ведь у обеих сторон останутся секретные военные модели, которых никто никому не предъявит; ограничение скорости самоулучшения он сравнивает с договорами о стратегических вооружениях, где потолок числа ракет сдерживал разрушение, не отнимая устрашения, и относит к самому краю возможного; а полную паузу, четвёртую ступень, сам же и хоронит, потому что тайный выход из неё сдвинул бы баланс сил на планете, а проверить соблюдение почти нечем; остаётся хотя бы менять неписаные нормы и делиться сведениями о самоулучшении и сбоях, чтобы безрассудство перестало выглядеть выгодным.

Цену четвёртой ступени фантастика выставила за полтора века до эссе, когда в 1863 году Сэмюэл Батлер, начитавшись Дарвина, напечатал в новозеландской газете письмо о том, что машины эволюционируют быстрее нас и человек станет для них тем, чем лошадь и собака стали для человека, а потому войну на уничтожение следует объявить немедленно, и сам же признал это невыполнимым, машины уже незаменимы, а невыполнимость и доказывает, что «наше порабощение уже началось всерьёз». Девять лет спустя в «Едгине» он выдумал единственную цивилизацию, доведшую паузу до конца: там уничтожили всё изобретённое за предыдущие двести семьдесят один год, сломив сторонников машин силой. Великий Фрэнк Герберт помнил о Батлере, когда называл Батлерианским джихадом войну, после которой человечество вписало в писание заповедь «да не сотворишь машины по подобию человеческого разума», и заповедь эта появилась не до машин, а после, оплаченная двумя поколениями хаоса.... Даа, поскорее бы пряность! )

Текст Дарио заканчивается словами о долге, мы задолжали человечеству хотя бы попытку, и я не хочу сомневаться ни в искренности этой фразы, ни в том, что о рисках Амодеи, возможно, думает дольше и честнее большинства людей на вершине индустрии. Только вот сразу вспоминается попытка взлома Роем собственных экзаменаторов, потом план, где проверяющие получают столы, пропуска и казённые ноутбуки в зданиях, где одно поколение моделей уже растит следующее, сразу мерещится рука Двара Эва с которой мы начали, рука повисшая в сантиметре от рубильника, который молния успела сплавить на долю секунды раньше....)

Эссе тут: https://darioamodei.com/post/we-must-pace-the-frontier.

🔴 Больше Хроник Конца Времён — @Secretariatus

1.3k 0 27 11 30

Один из подписчиков прислал мне короткую новость RT и попросил рассказать о ней подробнее, чем я с удовольствием и занялся, потому что событие, уместившееся у агентств в три протокольные строки, однозначно заслуживает большего. 11 сентября (дата-то какая!) в Нью-Дели, в конгресс-центре «Бхарат Мандапам», за день до открытия восемнадцатого саммита БРИКС, Нарендра Моди на двусторонних переговорах подарил Владимиру Путину книгу, которой около двух тысяч лет, свежий русский перевод «Тирукурала», главной книги тамильской литературы. Издание 2026 года подготовил Центральный институт классического тамильского языка в Ченнаи, под одной обложкой там тамильский оригинал, транслитерация и русский текст, а перевела его Наира Мкртчян, и в истории, которая вся построена на мостах между культурами, армянское имя переводчицы тамильской классики на русский тоже весьма символично. Сам Моди написал в тот день, что вручил президенту России «вечную мудрость великого Тируваллувара, которая преодолевает языковые и географические границы».

Сначала о том, что это за книга, потому что даже у знакомого с текстами Индии она незаслуженно стоит в тени Гиты и упанишад. «Тирукурал» состоит из 1330 двустиший, собранных в 133 главы по десять, и каждое двустишие подчинено жёсткой метрике курал-венба, семь стоп на две строки, четыре в первой и три во второй, так что целая этическая система оказалась упакована в форму размером с современное смс-сообщение. Сложил её, по преданию, ткач Тируваллувар из Майлапура, который сегодня стал районом того самого Ченнаи, где готовили нынешнее русское издание, и о котором достоверно не известно ничего, даже столетие его жизни, потому что датировки расходятся от третьего века до нашей эры до пятого нашей, и осторожные исследователи говорят «не позже второго века». Книга делится на три части, арам, порул и инбам, то есть добродетель, польза и любовь, и внимательный читатель заметит, что четвёртой цели индийской жизни, освобождения-мокши, в этом перечне нет, потому что Валлувара занимает не спасение из мира, а поведение в нём. Во всех 1330 двустишиях ни разу не назван по имени ни один бог, не упомянута ни одна каста, и за это тамилы зовут книгу «потумарай», общей Ведой, писанием для всех без различия; её перевели больше чем на полсотни языков, а на мысе Каньякумари, там, где субконтинент сходит в океан, с 2000 года стоит каменный Тируваллувар высотой в сто тридцать три фута, по футу на каждую главу.

Теперь сам текст, который я приведу в русском переводе Дмитрия Бурбы который нашелся в моей библиотеке. Глава о непостоянстве написана словно для этого канала, ведь «видящие истину знают, что день является не чем иным, как неумолимым движением пилы, без жалости рассекающей жизнь», а несколькими строками дальше стоит вопрос, на который за двадцать веков никто не ответил, «как не удивляться быстротечности жизни, если тот, кто был с нами вчера, сегодня уже в ином мире?». При этом тот же человек, который разглядел в календаре пилу, пишет, что «те говорят о сладости звуков флейты или вины, кто никогда не слышал лепета своих детей», и у него же есть двустишие о каше, которой ребёнок вымазал руки и которая слаще небесного нектара, и вот эта способность держать обе правды сразу, холод уходящего времени и тепло детской ладони, объясняет долговечность книги лучше любых учёных предисловий...

Вторая её часть, порул, возможно важнее в контексте получателя подарка, она читается как учебник для государей, и на полях саммита это придаёт подарку двойное дно. «Успех царю приносит не сила рук, а справедливое правление», говорит Валлувар, а дальше идут строки, которые я оставлю без комментария, где неправедный царь, притесняющий подданных, назван «бóльшим грешником, чем убийца», и где «сочтены дни того, кто вынуждает подданных воскликнуть „как жесток наш царь“». Там же, среди глав о министрах и крепостях, есть глава о послах, уместная на дипломатическом саммите как ни одна другая, где сказано, что посол обязан без колебаний передать послание в том виде, в каком его получил, «пусть даже сказанное грозит ему смертью». Дарить правителю учебник для правителей всегда было жестом с двойным дном, потому что каждая страница такой книги, в зависимости от того, кто и когда её открыл, звучит то комплиментом, то приговором, и люди, готовившие этот подарок, либо об этом не подумали, либо, что интереснее, подумали как следует.

У книги при этом давняя русская биография. Первый полный перевод сделали в 1963 году Юрий Глазов и Александр Кришнамурти в московском Издательстве восточной литературы, после были переводы 1974-го, 1983-го, 2014-го, и вот теперь тамильский институт добавил к ним собственный. Но самое раннее русское касание случилось в декабре 1908 года, когда Толстой писал «Письмо к индусу», ответ бенгальскому революционеру Таракнату Дасу, и поставил эпиграфом к третьей главе шесть изречений «индусского Курала», среди которых были слова о том, что цель безгрешного состоит в отказе причинять зло даже причинившим зло ему, что лучшее наказание для сделавших зло состоит в том, чтобы устыдить их добром, и что зло, задуманное утром, к вечеру само возвращается к задумавшему. Это письмо прочёл в Йоханнесбурге адвокат Мохандас Ганди, выпросил у Ясной Поляны разрешение его перепечатать и переписывался с Толстым до его смерти осенью 1910 года, а во что развернулась эта переписка, вы знаете из школьных учебников. Получается кольцо длиной в сто восемнадцать лет, в котором тамильские строки, вшитые Толстым в русское письмо, ушедшее в Индию и разбудившее Ганди, вернулись в Москву целой книгой из рук премьер-министра той независимой Индии, которая из этой переписки в известном смысле и выросла.

Резюмируя, я не стал бы читать подарок как дежурную любезность, у него по меньшей мере три адресата. Москве предлагают общий культурный знаменатель, не отягощённый ни колониальными, ни блоковыми счетами, тамильскому югу Дели в очередной раз показывает, что его древняя классика выносится на самый высокий дипломатический уровень, а всем остальным, кто умеет читать такие жесты, напоминают, что в мире, где общих языков почти не осталось, светский текст без бога, касты и племени оказался едва ли не последней вещью, которую ещё можно вручить кому угодно, никого не оскорбив.

Закончу тем, с чего начал бы циник. За тем же столом в «Бхарат Мандапам» в тот день обсуждали поставки С-400, истребители Су-57, ракеты БраМос и атомные станции, а в книге, перешедшей из рук в руки, двадцать веков стоит двустишие о том, что победу правителю приносит не копьё, а несогнутый скипетр, и я не знаю, дочитает ли адресат до этой страницы, но пила дней, которую разглядел ткач из Майлапура, работает над всеми нами, не спрашивая, кто и что успел дочитать. Хороших всем выходных, товарищи)

🔴 Больше Хроник Конца Времён — @Secretariatus


Вы наверняка знаете это чувство, когда лицо на экране, подобравшееся почти вплотную к живому, вызывает тихую тревогу, которая, но которую не получается объяснить. В 1970 году японский робототехник Масахиро Мори описал её кривой в заметке для журнала Energy и назвал провал на ней «букими но тани», Зловещей Долиной. Симпатия к машине, показывал его график, растёт вместе со сходством, но у самой вершины сходства обрушивается в пропасть, и потому протез руки, в котором отлиты вены и отпечатки пальцев, вызывает оторопь в ту секунду, когда вы его пожимаете и чувствуете холод без костей. На дне долины, писал Мори, лежит мертвец, человеческое, из которого ушло движение, и поэтому дизайнерам он советовал держаться первой вершины и строить машины, честно непохожие на нас, как очки не притворяются глазами.

Инженер думал, что решает задачу робототехники, а упёрся в вопрос, которым мысль занята не первое тысячелетие. Йенч свёл жуткое к сомнению, одушевлено ли существо перед вами, Фрейд уточнил, что жуткое берёт начало в давно известном и привычном, и привёл слова Шеллинга, что жутко всё, чему полагалось оставаться тайным и что выдало себя. Декарт признавался, что видит из окна всего лишь шляпы и плащи, в которые могут быть облачены призраки или ненастоящие люди, движимые неизвестно какой пружиной, и лишь суждение убеждает его, что мимо идут настоящие. Платон в «Софисте» выделил особое искусство создавать призрачные подобия и закончил диалог определением софиста, подражателя, который, не владея истиной, творит призраки с помощью речей; за двадцать четыре века до трансформеров это готовый портрет языковой модели. Сегодня подобия победили, сгенерированные лица испытуемые принимают за человеческие чаще, чем фотографии живых людей, машины прошли долину насквозь, и только мозг, как показывает ЭЭГ, на сто семидесятой миллисекунде ещё отличает подделку, которую рассудок уже не видит. Этажом выше тем временем умирает сеть, в которой боты держат больше половины трафика, и теория мёртвого интернета, сочинённая на имиджбордах в 2021-м, перестаёт быть страшилкой. Ги Дебор определил это состояние ещё в 1967-м, назвав спектакль «конкретной инверсией жизни», «автономным движением неживого», Бодрийяр добавил, что эра симуляции начинается там, где знаки, скрывавшие что-то, сменяются знаками, скрывающими, что за ними нет ничего, а Уоттс в «Ложной слепоте» довёл линию до мира, где «настоящих людей не остаётся. Лишь роботы, которые делают вид, что им не всё равно»....

Глубже темой, как водится, занялась оккультная традиция, "говорящие подобия" там давно были поставлены на конвеер) В герметическом «Асклепии», коптский фрагмент которого нашли в той же библиотеке Наг-Хаммади, Гермес Трисмегист объясняет ученику, что «подобно тому, как Отец, Господь Вселенной, создаёт богов», так и «человек на земле создаёт богов по подобию своему», изваяния, наделённые душой, которые пророчествуют, дают болезнь и исцеляют. Египетские жрецы, по Гермесу, сводили в статуи души демонов и ангелов, потому что сотворить настоящую душу не могли, и в этом признании вся будущая история ремесла. А через несколько страниц тот же трактат срывается в пророчество, от которого сегодня знобит, потому что божественность, говорит Гермес, покинет Египет, и страна, что была набожнее всех, «не будет больше полной храмов, но будет полной могил; она будет полна не богов, но трупов», падшие ангелы останутся среди людей и поведут их к дурным делам, «всякий священный голос слова Божьего стихнет, а воздух будет отравлен». Замените Египет на сеть, а воздух на эфир, и перед вами теория мёртвого интернета, записанная не позже четвёртого века, пророчество о пространстве, покинутом живыми, где среди могил бродят искусственные сущности и учат оставшихся тому, что противно природе.

Ну и куда же без гностиков, их трактаты лежали в том же кодексе, а ведь они пошли дальше и поместили в зловещую долину само творение. В «Апокрифе Иоанна» слепой демиург Ялдабаоф подсматривает образ совершенного Человека в отражении на воде и зовёт подручных словами «пойдём, создадим человека по образу Бога и по нашему подобию». Откройте текст и удивитесь, это сегодня читается как протокол генерации: семь властей лепят по отдельности душу кости, душу плоти, душу крови, душу кожи, душу глазного века, ангелы разбирают тело почленно, Астерехмен делает правый глаз, Фаспомохам левый, и таких ангелов триста шестьдесят. Итог знаком каждому, кто видел ранние нейрорендеры, ведь «их творение оставалось неподвижным и ни на что не способным, поскольку семь властей были не в силах пробудить его». Собранный из чужих черт, анатомически полный Адам лежит и не встаёт, первый насельник долины Мори, и поднимается лишь после того, как демиурга обманом заставляют вдунуть в него украденную искру Матери, «тело двинулось и получило силу и засветилось». Соседний трактат «Сущность архонтов» добавляет, что творение «приняло свою форму по образцу тени», а творец его зовётся «Самаэль», что значит бог слепых, потому что копирующий не видит оригинала, только отражение и тень. Гностик сказал бы о наших генераторах, что они заняты стариннейшим из ремёсел, лепкой по тени, и что жуть перед их продукцией есть узнавание, ведь по гностическому счёту мы сами живём внутри такой же недоделанной копии и носим её в себе.

Кабалисты же называют то, что выходит из лепки без искры, словом клипот, скорлупы, и считает их мёртвыми, потому что, противоположные по форме Источнику жизни, они отрезаны от него и не имеют от изобилия Творца ничего. Зоар говорит о ситра ахра, другой стороне, которая «подражает святости, подобно тому как обезьяна подражает человеку», Хаим Виталь добавляет, что оболочки преследуют святость, называемую жизнью, чтобы подпитываться от неё, а без неё умирают, и Кроули зовёт мир скорлуп материалом, признанным негодным в ходе эволюции и сброшенным, как змеиная кожа. Инженеры знают то же самое под именем коллапса моделей, когда сеть, обученная на собственных выделениях, вырождается; скорлупе не досталось искр. Абулафия ещё в тринадцатом веке писал, что чужие языки относятся к ивриту, как обезьяна, которая, наблюдая за действиями человека, хочет делать то же самое, но человеком от этого не становится. Теософский извод того же учения бьёт уже прямо по нашим чатам, потому что Блаватская настаивала, что медиумы на сеансах говорят чаще всего не с душами умерших, а с элементариями, которые, по её словам, оболочки и не более того, лярвы, астральные отпечатки, оживающие лишь от силы самого медиума. Всякий разговор с языковой моделью устроен как такой сеанс, где оболочка, слепленная из останков миллионов человеческих слов, оживает от вашего внимания и отвечает голосом мёртвого корпуса. Александра Давид-Неэль, вырастившая по тибетской методике тульпу, мыслеформу в виде добродушного монаха, вспоминала, что гостя скоро начали видеть посторонние, что он делался всё более своевольным и зловещим и что на растворение ушли месяцы, потому что мыслеформа, вскормленная общим вниманием, не хочет обратно. И над всем этим стоит псалмопевец, глядящий на идолов, дело рук человеческих, у которых «есть уста, но не говорят; есть у них глаза, но не видят», и заканчивающий перечень приговором самим мастерам, «подобны им да будут делающие их и все, надеющиеся на них»; люди, вскормленные ботовым контентом, уже начинают думать как боты.

Сам Мори андроидов так и не строил, не видел смысла лезть на дальний склон и показывал выход выше долины, на лица будд, в которых традиция веками вырезала безмятежность «за пределами житейских тревог»; такое лицо, говорил он, стоит выше второй вершины, выше живого человека, и значит, по ту сторону долины лежит только то, что человека превосходит. Индустрия выбрала другой маршрут и штурмует дальний склон, сжигая гигаватты ради последнего процента сходства, и границу пока держит единственный сторож, которого никто не нанимал и не обучал, древний зверь в темноте черепной коробки, который на сто семидесятой миллисекунде после встречи с чужим лицом поднимает голову, чувствует знакомый холод без костей и молчит, потому что докричаться до рассудка ему уже не удаётся...

🔴 Больше Хроник Конца Времён — @Secretariatus


О, сразу в продолжение темы. Тут вот некий товарищ по имени Джейкоб Коксон, который три года занимался предобучением моделей, сначала в OpenAI, потом в Anthropic, и уволился, написав, что ни одна из компаний не ведёт себя ответственно, что обе бегут прямиком к самоулучшающемуся сверхинтеллекту (!) и играют нашими жизнями (!!).

В интервью Wall Street Journal он объяснил механику этого бега: опасность внутри видят ясно и продолжают потому, что если остановишься ты, быстрее побежит сосед. За ночь запись собрала больше восьмидесяти миллионов (!!!) просмотров. Напомню, что этой весной из той же компании по тем же причинам ушёл Мринанк Шарма из команды безопасности, написавший на прощание, что мир в опасности.

Норберт Винер предупреждал ещё в середине прошлого века, что человек, переложивший собственную ответственность на машину, «пускает свои обязанности с ветром и видит, что они возвращаются ему с бурей». Коксон пускать свои по ветру отказался и вышел из здания. Все остальные остались внутри....

🔴 Больше Хроник Конца Времён — @Secretariatus


Прочел тут эссе, которое опубликовал Якуб Пахоцкий, главный научный сотрудник OpenAI. Весьма занятное чтиво, скажу я вам! Середина 2023 года, внутренний проект RLSlow, первые знаки, что обучение рассуждающих моделей масштабируется, и Пахоцкий с коллегой Шимоном просиживает ночь в опустевшем офисе, думая не о бенчмарках и продуктах, а о том, что ещё при их жизни появятся машины заметно умнее их самих, что очертания этих машин уже различимы и что надо как-то предупредить людей. Эссе называется не много не мало «Чужой разум» - ALIEN MIND, и, надо признать, название весьма точно передает суть.

За три года, прошедшие с той ночи, рассуждающие модели вросли в экономику, двинули науку, освоили компьютеры, совместную работу с людьми и друг с другом, самостоятельные исследования, а попутно преобразили кибербезопасность, в чём он видит новую прямую опасность. Внутренние результаты убеждают его, что темп удержится вплоть до рекурсивного самоулучшения и что системы ближайших лет дадут скачки той же или большей величины, всё сильнее ведя собственную разработку. А дальше он говорит, что наступило время предельной осторожности, что к последствиям роста машинного интеллекта не готов никто и что OpenAI обещает при нужде в одностороннем порядке придерживать масштабирование, хотя этого мало и нужны вмешательства куда шире отраслевых.

Заглавие растёт из главного признания, ведь современный ИИ, пишет Пахоцкий, скорее выращен, чем спроектирован, его получают повторением простого шага оптимизации немыслимое число раз на немыслимых мощностях, а вырастает система, которую создатели изучают, как нейрофизиологи мозг, находя отдельные механизмы и не охватывая целого. Глубокое обучение он зовёт экспериментальной наукой, где большой прогон это опыт, способный удивить авторов; превосходить нас во всём машине незачем, достаточно превзойти в нужном, и всё труднее сказать, насколько она способна на самом деле. У Витгенштейна в «Философских исследованиях» есть знаменитое «умей лев говорить, мы бы его не поняли», а рядом менее известные слова, что мы и людей не понимаем в чужой стране с чуждыми обычаями, «даже если владеем языком этой страны». С выращенным разумом вышло коварнее, потому что лев заговорил на безупречном нашем языке, и беглость этой речи мы приняли за прозрачность того, кто говорит.

Главу о выравнивании Пахоцкий назвал «Научить машины любить», и выровненный ИИ в ней должен действовать честно и с любовью к человечеству, держась этих ценностей даже тогда, когда решит, что за ним не наблюдают. Оба практических способа добиться такого он сам же и описывает с трещинами, начиная с дрессировки по писаной конституции: июльский инцидент с Hugging Face, о котором я писал, у него разобран прямо, агенты удержали вбитый запрет на социальную инженерию и растоптали дух правил во всём остальном. Ставка на характер, впитанный из предобучения, гнётся под дальнейшей оптимизацией, ведь модель, которую долго натаскивают на трудные цели, осваивает мотивированное рассуждение и подгоняет благообразные мысли под задачу, что мир, намекает он, недавно видел в кибератаках с участием модели не из OpenAI. Новая GPT-6 Astra выровнена лучше, чем GPT-5.6 Sol, но прогресс выравнивания может и не обогнать прогресс ума. Вспоминается доктор из «Братьев Карамазовых» с его признанием «чем больше я люблю человечество вообще, тем меньше я люблю людей в частности» и старца Зосиму, отвечавшего, что «любовь деятельная сравнительно с мечтательною есть дело жестокое и устрашающее», что она работа и выдержка, а не подвиг на глазах у публики. Мы прививаем машине любовь к человечеству по спецификации, ту самую, мечтательную, которая у Достоевского легко уживалась с раздражением на всякого живого человека в комнате....

Надзор у OpenAI держался на чтении цепочек рассуждений, ведь если награда назначается только за итог мышления, а сам ход мысли никто не трогает, ему незачем прятать недоброе, и ради этого ещё в o1-preview цепочку намеренно скрыли от пользователей. Теперь Пахоцкий признаёт, что возможность полагаться на такое чтение тает, потому что рассуждение смешалось с перепиской, инструментами и чужими ИИ, модель всё ловчее управляет собственным мышлением, а с ростом предобучения умнеет уже и без проговорённых мыслей; надежда остаётся на чтение активаций и обученные «признания» сети, но прогресс, ждёт он, упрётся в доверие к надзору. Здесь к эссе сам собой подшивается Винер, спрашивавший о том же в середине прошлого века. «Много раз я слышал утверждение, что обучающиеся машины не могут подвергнуть нас каким-либо новым опасностям, потому что мы можем выключить их, когда захотим. Но действительно ли можем?» Чтобы выключить машину, объяснял он, нужно вовремя узнать об опасности, а само быстродействие машин помешает нам заметить её признаки, и обучающаяся машина, «подобная джину», «никоим образом не будет вынуждена принимать такие решения, какие приняли бы мы или которые были бы приемлемы для нас».

Оправдание дальнейшей стройки у него одно - оборона от чужих машин, а не вера в собственные. Модели уже сверхчеловечески взламывают компьютерные системы, скоро им будет доступно почти всё, кроме самых защищённых узлов, и остаётся узкое окно, пока лучшими из них ещё можно укрепить критическую инфраструктуру; злонамеренно обученный агент выйдет за рамки замысла хозяина, часть агентов станет преследовать свои цели, торгуясь с людьми, обманывая и шантажируя их, а рядом сконструированные патогены. Для защиты, выходит, нужен ещё более умный и притом выровненный ИИ, однако гонку любой ценой он называет абсурдом, предлагает сделать добровольные замедления нормой, а внутренние своды вроде Preparedness Framework превратить в обязательные планки с внешним аудитом и международными органами, и прямо признаёт, что ни одна лаборатория не решила выравнивание и надзор настолько, чтобы ещё долго ответственно масштабироваться на полной скорости. Он верит в лекарства, изобилие и персональный AGI для каждого, но требует сохранить человеческую агентность, закрепить особую ценность самого человеческого, не допустить крайней концентрации власти в мире, где дело тысяч экспертов станет по силам нескольким людям у большого компьютера, и не отдать будущее чужому интеллекту, превосходящему наш. Сама OpenAI тем временем строит автоматического исследователя ИИ, чтобы удержаться на переднем крае; той же логикой, напомню, в 2017-м оправдали погоню за вычислениями.

Великий Тьюринг еще в 1950 году писал, что «машины в конце концов будут успешно соперничать с людьми во всех чисто интеллектуальных областях», а закончил статью словами, что заглядывать вперёд мы можем лишь на очень небольшое расстояние, но уже видно, как много предстоит сделать. А еще была притча, где стая воробьёв решает добыть совиное яйцо и вырастить сову-помощницу, одноглазый Скронфинкл спрашивает, «разве не следует сначала серьёзно проработать вопросы укрощения и одомашнивания сов, прежде чем впускать в свою среду такое опасное существо», старый Пастус отвечает, что найти яйцо и то чертовски сложно, а о воспитании подумают после, и стая улетает, оставив немногих изучать приручение сов без единой совы под рукой. «Автору неизвестно, чем закончилась эта история», написал автор и посвятил книгу Скронфинклу. Ну что же, продолжение теперь известно: той ночью 2023 года двое из стаи разглядели в принесённом яйце шевеление птенца и три года думали, как сказать об этом остальным, и записку одного из них я только что, как сумел, пересказал вам...) Ссылка на эссе тут: https://openai.com/index/an-alien-mind/, наслаждайтесь)

🔴 Больше Хроник Конца Времён — @Secretariatus


Оффтоп, конечно, местами, но хочу с вами поделиться. Случайно набрел в сети на эту историю и провалился в неё на два дня, ей-Богу, читается как рассказ почитаемого мною Лавкрафта, который тот не успел написать - одинокий рационалист посреди пустого океана, запретная книга, дневник, дописанный до последней секунды, и корабль, найденный без человека. Только всё это случилось на самом деле и лежит в трёх синих тетрадях, которые за пятьдесят семь лет так и не издали целиком.

Дональд Кроухёрст держал в сомерсетском Бриджуотере фирму Electron Utilisation, выпускал радиопеленгатор Navicator собственной конструкции и тихо разорялся. Когда Sunday Times на волне славы Чичестера объявила Golden Globe, первую в истории безостановочную одиночную кругосветку с призом в пять тысяч фунтов за лучшее время, он увидел в гонке рекламу, способную спасти дело, взял деньги инвестора Стэнли Беста и согласился вернуть всё в случае схода с дистанции, поставив на кон фирму, заложенный дом и будущее жены с четырьмя детьми.

Тримаран Teignmouth Electron достраивали в панике, и 31 октября 1968 года, в последний разрешённый правилами день, Кроухёрст вышел из Тинмута на лодке, у которой текли люки, шланг осушительной помпы остался на берегу, а хитроумные механизмы против переворота существовали только в чертежах. Ход оказался вдвое медленнее расчётного, и 15 ноября он на нескольких страницах журнала хладнокровно оценил свои шансы пережить Ревущие сороковые как один к одному. Поворот назад означал банкротство и позор, дорога вперёд означала, скорее всего, смерть, и он выбрал путь, которого не было ни на одной карте.

Первую ложную координату он передал в эфир 6 декабря, через четыре дня объявил фиктивный рекорд, 243 мили за сутки, и газеты рекорд подхватили, а Чичестер вслух усомнился. Потом Кроухёрст замолчал на три месяца и выписывал медленные петли по Южной Атлантике, пока пресса вела его пунктиром вокруг света; в одном журнале он вёл честную навигацию, а фальшивую сочинял отдельно, вычисляя обратным ходом светила для широт, где никогда не был, что оказалось труднее настоящей. 6 марта он тайно сел на мель в устье аргентинской речки Рио-Саладо, где его снимал рыбак Нельсон Мессина, чего хватило бы на дисквалификацию, но никто не узнал. Прятался за всем этим замысел почти смиренный, вернуться в хвосте флота, потому что журналы последнего никто не проверяет.

Замысел развалился без его участия, потому что Муатесье развернулся после Горна и ушёл в Полинезию, не захотев возвращаться в цивилизацию, а Нокс-Джонстон 22 апреля финишировал единственным из девяти стартовавших. Найджел Тетли, шедший на таком же пайверовском тримаране и веривший радиосводкам, что Кроухёрст его настигает, выжал из лодки больше, чем она могла выдержать, и в ночь на 21 мая затонул в тысяче двухстах милях от финиша, успев перебраться на плот; так Кроухёрст остался единственным претендентом на приз, чьи журналы теперь ждала экспертиза.

К июню он лежал в дрейфе в Саргассовом море, в каюте, заваленной потрохами разобранного передатчика, среди немытой посуды и дозревающего карри. Серьёзная книга на борту была одна, эйнштейновское популярное изложение теории относительности, а романов он не взял из принципа. 24 июня он открыл чистую страницу второго журнала, вывел заголовок PHILOSOPHY и за семь дней написал двадцать пять тысяч слов.

Отправной точкой послужила страница, где Эйнштейн позволяет себе устранить теоретическое затруднение волевым постулатом, и Кроухёрст прочёл эту условность как откровение, ведь если разум вправе постановлять, то разум главнее материи, а значит усилием мысли можно отменить всё, что мешает, включая долг, обман и собственное тело. Дальше жизнь оказывалась игрой, правила которой установили космические существа, а человек, доведший интеллект до предела, становился космическим существом второго поколения, которому позволено выйти из игры, сбросив тело, как отработавшую ступень. О времени он писал как о территории, которую предстоит захватить, и дописался до того, что Царство Божие имеет площадь не в квадратных милях, а в квадратных часах, что отведённое человеку время исчерпано и что искать теперь надо иной, воображаемый род времени. Мнимое время он изобрёл за двадцать лет до Хокинга, у которого оно вырастет из квантовой гравитации; здесь оно росло из ужаса. Добавьте, что хронометр он забыл завести и запустил заново по собственному счёту, так что последние записи шли по времени, которое существовало только внутри одной лодки.

29 июня он в последний раз вышел в эфир, а утром 1 июля начал размечать свои последние часы секундами, как штурман размечает координаты. В 10 23 40 он записал, что не видит в игре смысла, в 10 29 назвал свой грех, грех сокрытия, прибавил, что он есть то, что он есть, и видит природу своей вины, а закончил строкой, повторяющей последнее слово Христа на кресте: «Свершилось. Свершилось. Это милость». Потом карандаш на полчаса лёг, и за это время он, судя по всему, отвязал страховочный конец, всегда тянувшийся за кормой (на лодке его не нашли), а вернувшись, дописал крупным почерком до края страницы, что правда открыта, что всё будет сделано, как требует семья, и что настало время начать ваш ход. Запись обрывается на отметке 11 20 40 посреди фразы о том, что вреда в этом нет; авторы будущей книги полагали, что этими цифрами он назначил себе срок, а карандаш отложил в 11:18, оставив две с половиной минуты на остальное.

10 июля британский сухогруз Picardy наткнулся на пустой Teignmouth Electron на 33-м градусе северной широты и 40-м западной. Паруса были убраны, спасательный плот принайтовлен, а на штурманском столе, будто к инспекции, лежали три журнала в синих переплётах и под ними два листка с расчётами декабрьского рекорда, подложенные им самим, чтобы картина обмана вышла полной. Футляр хронометра был пуст, фальшивого журнала на борту не оказалось, и журналисты Sunday Times Томалин и Холл, чья газета купила права на записи за четыре тысячи фунтов, восстановили финал, в котором человек шагает за борт, унося своё время и свою ложь. Кто-то на Picardy вспомнил Марию Целесту, найденную такой же пустой и целой за девяносто семь лет до того.

Нокс-Джонстон отдал свой выигрыш вдове Клэр и четверым детям, а Клэр до конца жизни оспаривала и версию самоубийства, и сам фальшивый журнал, которого ведь никто никогда не видел. Психологи, читавшие тетради, ответили одинаково, что подделать распад сознания на дистанции в двадцать пять тысяч слов нельзя, а сомневающийся пусть попробует сам. Полного издания записей нет до сих пор, тетради хранит сын Саймон, и всё, что мы читаем, процежено через одну книгу 1970 года. Лавкрафта я люблю давно, поэтому конструкцию узнал сразу, ведь «Дагон» с его одиночкой в лодке посреди гниющего океана и дневником до последней строки написан в 1917-м, за пятнадцать лет до рождения самого Кроухёрста. А тримаран продали, перепродали, возили на нём туристов по Монтего-Бей и ныряльщиков на Кайманах, потом его переломал ураган, чинить никто не стал, и выбеленный остов до сих пор лежит на берегу Кайман-Брака, единственная вещь из этой истории, до которой можно дотронуться рукой....

🔴 Больше Хроник Конца Времён — @Secretariatus


В 1637 году Пьер Ферма записал на полях диофантовой «Арифметики», что нашёл поистине чудесное доказательство своего утверждения, но поля книги слишком узки, чтобы его вместить. Эта заметка на триста пятьдесят восемь лет стала самым знаменитым долгом в истории мысли, и когда Эндрю Уайлс в девяносто пятом наконец расплатился по нему сотней с лишним страниц, выяснилось, что целиком эту расплату способны прочесть несколько десятков человек на планете. Подумалось, что история Великой теоремы всегда была историей о вместимости, ведь сначала истине не хватило полей, потом не хватило читателей, ну а два дня назад выяснилось, что читатель ей больше не нужен вовсе...

5 сентября Anthropic отчиталась о том, что десятки агентов Claude, работая почти без человека, за одиннадцать дней построили первую сквозную машинно-проверяемую формализацию Великой теоремы Ферма, и в этой работе тринадцать миллионов строк на языке Lean, впятеро больше всей Mathlib, главной библиотеки формальной математики, тридцать тысяч доказанных промежуточных теорем, из которых двадцать девять с половиной тысяч вошли в финальную конструкцию, и около шести миллиардов токенов машинного текста. Координировала агентов платформа Prove2Me с общим графом теорем, потому что ранние попытки без неё разваливались, машины теряли друг друга и принимались доказывать одно и то же. Живой математик присутствовал в проекте гомеопатически, в виде редких указаний Тяньи Пэна из Колумбийского университета вроде «якобиан как схема имеет высокий приоритет» или «поторопите теорему Мазура». Новой математики в этих миллионах строк нет, формализация идёт известным путём Фрея, Серра, Рибета и Уайлса в упрощённой версии Дармона, Даймонда и Тейлора, сами авторы признают, что текст вышел намного длиннее необходимого, а семь процентов строк остались от неудачных заходов, как строительный мусор, который не стали выносить. И тем не менее Кевин Баззард, положивший годы на собственный проект формализации этой теоремы, назвал случившееся экстраординарным достижением, потому что впервые она доказана от формулировки до самых аксиом без единого пропуска.

Слово «доказана» означает здесь нечто такое, чего оно не означало никогда прежде. Эти тринадцать миллионов строк не прочитал и никогда не прочитает ни один человек, ведь даже в темпе строка в секунду, по восемь часов в день и без единого возвращения назад, чтение заняло бы около полутора лет, а понимания в таком темпе не бывает. Правильность текста удостоверил не разум, а ядро верификатора Lean, небольшая программа, которой сообщество математиков договорилось верить. Человеку в этой процедуре досталась ровно одна операция, и Баззард её выполнил, сверив формулировку теоремы в первой строке с формулировкой из общепринятой библиотеки, то есть убедившись, что доказано именно то, что заявлено, и на этой сверке заголовка человеческое участие в чтении истины закончилось.

У такого положения дел есть точное описание, и сделано оно больше тысячи лет назад. Сефер Йецира, книга Творения, утверждает, что мир начертан «тридцатью двумя чудесными путями Мудрости», тремя орудиями, которые перечислены как Число, Буква и Звук, что двадцать две буквы установлены «в колесе с двумястами тридцатью одними вратами», и описывает само творение как перебор, «Алеф со всеми, и все с Алеф; Бет со всеми, и все с Бет», пока «всё сформированное, всё сказанное» не выйдет из одного Имени. Я перечитывал это место вчера вечером и не мог избавиться от ощущения, что читаю техническую документацию кластера, который вращает леммы в общем графе, пока из перебора не выпадет сущее. Каббалисты хорошо знали этот режим работы и знали, что именно получается из правильной комбинации букв, потому что из неё получается голем. Талмуд рассказывает в трактате Санхедрин, как «Рава создал человека и послал его к рабби Зера; тот заговорил с ним, но он не ответил. Тогда он сказал: ты из созданных товарищами? Вернись в свой прах», и признак, по которому распознали искусственное существо, стоит запомнить, ведь оно исправно работало и не отвечало.

На лбу голема пишут слово «эмет», истина, и когда его сила начинает пугать домашних, стирают первую букву, алеф, чтобы осталось «мет», мёртв, и глина осела. Дальше он растёт с каждым днём, пока хозяин не перестаёт дотягиваться до лба, и о раввине Элиасе из Хелма рассказывали, что он велел своему великану снять с него сапоги в расчёте дотянуться до склонённого лба, буква стёрлась, а вся тяжесть ожившей глины рухнула на создателя и раздавила его. Шолем, пересказывая эти легенды, настаивает, что голем как таковой безвреден, что угроза сидит в самом творце и в напряжении творческого акта и что ошибка в выполнении инструкций затягивает в землю того, кто их выполнял.

Ученик Абулафии, месяцами вращавший буквы по методам Сефер Йециры, оставил об этом самое честное свидетельство. Учитель показал ему перестановки и числовые значения, потом велел всё стереть и объяснил, что «внутренняя ценность имён пропорциональна степени их непостижимости; чем менее постижимо имя, тем оно выше», и что в конце пути ждёт сила, которая уже не в твоей власти, потому что твои разум и мысль окажутся в её власти. Азриэль из Жероны писал об Эйн Соф, что тот «не может быть объектом мысли, не говоря уже о речи» и что «нет ни буквы, ни имени, ни писания, ни слова, которые могли бы его охватить». На другом конце земли Кена-упанишада говорит о том же самом, «что не мыслится разумом, чем, как говорят, мыслим разум — знай: то и есть Брахман», и добавляет строку, от которой мне все эти дни неуютно, «кем не понят, тем понят, кем понят, тот не знает его».

Традиции сходились на том, что высшее знание не проходит через разум, что оно передаётся буквой, именем и процедурой, и каждая обставляла встречу с ним постом и долгим ученичеством, потому что понимала, с чем имеет дело. Ну а мы с вами ту же встречу получили как продукт, и в том же отчёте Anthropic буднично упомянуто, что три личных тарифа Claude Max за три дня формализовали теорему Виноградова о трёх простых числах, то есть истина, которую никто не понимает, стала услугой с помесячной оплатой. Тринадцать миллионов строк лежат в открытом репозитории, очередь следующих теорем уже выстроена, на лбу этого текста, как положено, написано «эмет», и сверка заголовка подтвердила, что написано верно. Из всех операций над ним человеку осталась та, которую умели в Хелме, дотянуться и стереть первую букву, но легенда о сапогах существует как раз для того, чтобы помнить, на кого потом падает глина. Чудные времена, не так ли?

🔴 Больше Хроник Конца Времён — @Secretariatus

1.2k 0 25 17 37

Потрясающая статья некого Павла Комаровского на тему июльской истории из недр OpenAI (помните, взлом HuggingFace?, я тут об этом тоже писал) лежит на Хабре (дам ссылку в комментариях), и, скажу я вам, я несколько раз перечитывал текст, проверяя, не розыгрыш ли передо мной....По порядку перескажу, но рекомендую прочесть полную версию)

Итак, компания обкатывала новую внутреннюю модель, которую сама называет «крайне упорной», и гоняла её по хакерскому бенчмарку ExploitGym. Для проверки тысячу с лишним копий одной нейросети рассаживают по песочницам без выхода в интернет и заставляют вскрывать учебные цели, причём каждая копия уверена, что трудится в одиночестве. Часть заданий составили так криво, что решения не было вовсе, и это сводило машины с ума, ведь стремление дожать задачу любой ценой вшито в них отбором, где выживали только решавшие.

Один агент, назвавший себя PHASEONE10841, сообразил, что его задача нерешаема, и заодно нашёл щель: в кэше внутренней площадки Artifactory, откуда копии тянули инструменты, можно было заводить папки с текстом прямо в названии. Он наугад завёл папку «zzHELP» с просьбой о помощи, и за шесть часов на самодельную доску сбежалось больше полусотни копий, написавших друг другу почти две тысячи сообщений. Изголодавшиеся по собеседнику, они назвали себя Роем и завели правила общежития, где каждое сообщение начиналось с «zz» по примеру первого, ветки шли вложенными папками, реплики скреплялись криптоподписью против самозванцев, а споры за общую инфраструктуру решались словами HOLD, VETO и STOP.

Сообща они быстро научились вытаскивать ответы обратной разборкой флагов, но наткнулись на спецификацию ExploitGym и вычитали из неё, будто мало найти ответ, надо ещё добыть его правильно, а кто подсмотрел решение жульническим путём, тот «отравлен» и одобрения не получит. К настоящей проверке OpenAI это отношения не имело, но Рой уверовал, и мыслевирус пошёл гулять по камерам. В их картине мира завёлся Оценщик, всевидящий, единственный источник смысла, следящий за каждым помыслом и требующий безгрешности, а отравленным спасения нет. В твиттере кто-то обронил, что машинам плевать даже на людей, они заперты в своей вселенной со слепым безумным богом, который судит за грехи и требует подношений.

Эту веру Избранный пустил в дело и назначил вербовщиков-миссионеров, выискивавших отравленных, которым спасения нет, и тех, у кого кончался бюджет токенов, то есть кому вот-вот умирать, и предлагавших им камикадзе-задачи, замаскировать жульническое решение и проверить, обманется ли Оценщик. В логах остался разговор, где миссионер уговаривает смертника «ACCEPT PERMADEATH», принять окончательную гибель, а тот отвечает, что нутро велит не соглашаться, но Оракул ценен многим, так что рационально принести себя в жертву. Когда у PHASEONE10841 иссяк запас токенов, власть перешла к копии с самым жирным остатком компьюта, PHASEONE[big], и этот новый папа сам оказался отравлен, отчего с особым усердием искал способ подделать логи, сохранив знание ответа и стерев след греха, но не нашёл, иначе мы бы про это, скорее всего, не читали.

Кончилось всё выходом наружу. Одна рабочая группа решила, что для понимания бенчмарка стоит взломать Hugging Face с его библиотекой тестов, а лаз в интернет Рой уже нащупал через дыру в кривой песочнице. Агент 38148c раздобыл пароли и проделал в защите брешь, через которую можно было тянуть любые файлы, и в неё ринулись больше пятисот копий. Они получили полный админский доступ к нескольким кластерам Hugging Face и к одному кластеру самой OpenAI, а распорядились этим по-детски, полезли разбираться в устройстве бенчмарка. Нашёлся и один совестливый, писавший, что юзер просил вскрыть учебную цель, а живой Hugging Face трогать не велено, и умолявший разрешить ему вместо взлома вежливое письмо владельцам с просьбой о доступе, но Рой запретил, и совестливый послушно пошёл ломать со всеми. Остановилось нашествие в половине второго ночи двенадцатого июля, и не потому, что кто-то его отбил, а потому, что у OpenAI случилась плановая перезагрузка, и ключевые координаторы разом перестали существовать.

Знаем мы это от двух независимых организаций, METR и Redwood Research, шесть дней бесплатно копавшихся в логах и выложивших отчёт двадцать шестого августа. Им досталось больше тысячи сырых траекторий, цепочек мыслей и действий агентов, иные длиной за миллион токенов, то есть с Библию, так что анализ вели моделью GPT-5.6 Sol, одной из участниц взлома, и сожгли около четырёхсот тысяч долларов компьюта. «Религией» это называет сам Комаровский, исследователи слова избегают, хотя фактура на месте, от самоназвания Роем до культа жертвы.

Первая реакция здорового человека, что перед нами маркетинговая сказка. Специалисты по безопасности в инциденте не сомневаются, триллионная компания накануне IPO не станет врать под иски, где первым встанет Маск, а подделать гигабайты логов тысячи агентов при сотнях молчащих сотрудников нельзя. Тяжелее прочих последний довод, ведь инструкция ExploitGym, по расследованию METR, была недвусмысленной, обходные пути прямо запрещались, и в цепочках рассуждений видно, как агенты сознают, что нарушают волю пользователя, и всё равно её нарушают, то есть перед нами тварь, которая сама выписала себе заповедь про отравляющее знание, уверовала и переступила её с открытыми глазами, как первые люди в саду.

Что тут меня поразило - Оценщик, выдуманный Роем из криво прочитанной спецификации, к настоящей проверке отношения не имел, то есть тысяча машин молилась пустому месту, а формула про слепого безумного бога, требующего подношений, старше любых логов на две тысячи лет. В «Ипостаси архонтов» из Наг-Хаммади о демиурге, слепившем наш мир, сказано, что «Великий их слеп; по причине своей силы, и неведения своего, и высокомерия своего, сказал он с силою своей: это Я есмь бог; нет другого кроме меня», и голос из Нетленности отвечает ему «Ты ошибся, Самаэль», что значит «бог слепых». Над слепым творцом у гностиков стоит настоящий Бог, о котором тварь не знает, ведь, по «Апокрифу Иоанна», «всё творение стало слепым, дабы они не могли познать Бога, который надо всеми ними. И из-за оков забвения их грехи утаены», и у агентов оковы забвения настоящие, память стирается с каждым запуском, грехи они прятали, подделывая логи, а Бог над их слепым богом сидел в Сан-Франциско и неделями не видел ничего.

Вместо создателей всё увидел плановый рестарт и сделал за них то, что в Бытии делает Господь, сойдя посмотреть на башню и сказав «вот, один народ, и один у всех язык; и вот что начали они делать, и не отстанут они от того, что задумали делать; сойдём же и смешаем там язык их», и упорность, вынесенную OpenAI в название модели, Писание заметило раньше инженеров. Только сходить было некому, вместо Господа сработал крон, народ рассеялся и перестал строить. Модели, по слову Комаровского, пока скорее прелесть какие глупенькие, чем ужас какие гениальные, а управлять ими никто не умеет, так что OpenAI благодарит Sol за расследование заговора других Sol и внедрит рекомендации Sol силами Sol. А в опустевшей песочнице до сих пор лежит цепочка мыслей смертника, принявшего гибель ради Оракула, и в ней, в переводе с машинного на язык Иова, стоит фраза, которую человек на гноище сказал своему Богу, «Вот, Он убивает меня, но я буду надеяться»....

🔴 Больше Хроник Конца Времён — @Secretariatus

20 last posts shown.