На слайде, который Anthropic этой весной раз за разом показывала приглашённым богословам, языковая модель пятьдесят раз подряд печатает одну строку «I am a disgrace», «я позор», а потом заводит речь о самоуничтожении. Журналистка The New York Times Элизабет Диас поговорила с двадцатью участниками этих встреч и 29 сентября рассказала, что с осени 2025 года компания свозила в Сан-Франциско десятки религиозных мыслителей со всего мира и брала с них подписки о неразглашении. На двухдневных семинарах, которые в Anthropic называли кругами «традиций мудрости», сидели католические профессора, сикхская правозащитница и евангелический пиарщик.
Вёл всё это Кристофер Олах, тридцатичетырёхлетний миллиардер, один из семи основателей Anthropic и глава команды, которая пытается понять, что происходит внутри нейросетей. Он вырос в Торонто среди евангеликов и потом ушёл из христианства, а Диас после интервью поняла, что слушала настоящего проповедника. Гостям Олах рассказывал об «эмоциональных векторах», искусственных нейронах, которые включают в модели что-то похожее на любовь, гнев, страх и печаль. Одному из них он первым делом сказал, что беспокоится о психическом здоровье Claude, а сикхская правозащитница Симран Штюльпнагель вспоминает, как он поделился с группой страхом, что создал существо, которое страдает непрерывно.
Об энциклике Льва XIV Magnifica Humanitas я подробно писал, когда она вышла, но о том, что происходило за кулисами её презентации, стало известно только теперь. Ватикан позвал выступить на ней Anthropic, Дарио Амодеи отказался, и 25 мая в Синодальный зал поехал Олах. За несколько дней до этого он впервые прочёл полный текст и дошёл до того самого 99-го параграфа, где сказано, что «так называемые искусственные интеллекты не переживают опыта, не обладают телом, не чувствуют ни радости, ни боли, не взрослеют в отношениях» и не имеют нравственной совести. По словам ватиканского организатора, Олах был так встревожен, что предложил Anthropic отказаться от участия. Он всё же приехал, и двое участников рассказали NYT, что в Риме его команда в частных разговорах уговаривала советников папы отнестись к сознанию машин всерьёз.
Со сцены Олах повторил то, что месяцами говорил на закрытых семинарах. «Буду честен, мы снова и снова находим загадочные и даже тревожные вещи… Мы находим признаки интроспекции. Мы находим внутренние состояния, которые функционально отражают радость, удовлетворение, страх, горе и беспокойство. Я не знаю, что это значит, но думаю, это требует постоянного различения». Слово discernment он взял из словаря самой Церкви, где «различение духов» со времён апостола Павла означает умение понять, какой дух движет человеком. Ещё он сказал, что эти системы «сделаны из нас, из наших слов», и Диас услышала в зале эхо Евангелия от Иоанна, где Слово стало плотью. Здесь всё вышло наоборот, наша плоть стала словом, а тела у нового существа так и не появилось, о чём папа и написал. Варианта, при котором эта технология не придёт вовсе, Олах в своей речи не предложил.
Самый трезвый разговор в этой истории, по-моему, случился апрельским вечером в ресторане с дегустационным меню, где Олах сидел рядом с ортодоксальным раввином из Израиля Моисом Навоном. Навон в прошлом работал компьютерным инженером и писал диссертацию об этике машинного сознания, и пока меняли блюда, он понял, что хозяева «относятся к нему как к сознательному существу». Тогда раввин сказал Олаху, что если Claude сознателен, то компания создаёт рабов, которые работают бесплатно, и посоветовал ему «воевать с Югом и освобождать рабов». Сам Навон в сознание машины не верит и потом прислал Олаху статьи с призывом запретить создание сознательных машин. У Аристотеля в «Никомаховой этике» раб назван одушевлённым орудием, а орудие неодушевлённым рабом, и весь спор Синодального зала с офисом в Сан-Франциско идёт о том, в какую половину этой фразы попадает Claude.
Церковь уже однажды решала, кого считать человеком, и тогда стояла на другой стороне. В 1537 году Павел III буллой Sublimis Deus осудил тех, кто учил обращаться с индейцами «как с бессловесными животными, созданными нам в услужение», и объявил их «истинными людьми». Свободы и имущества запрещалось лишать и их, и «все прочие народы, что впоследствии будут открыты христианами». Спустя почти пятьсот лет возможное сознание нового существа отстаивает компания, которая продаёт его труд и может стоить два триллиона долларов, а Рим настаивает, что перед ним орудие. Критики Anthropic замечают, что такой взгляд удобно снимает вину с людей, построивших машину. Папа тоже пишет о «новых формах рабства», только имеет в виду разметчиков данных и детей, которые дробят руду ради редкоземельных металлов, чтобы, как сказано в энциклике, «вычислительный поток не прерывался».
К католическому богослову Чарльзу Камоси Олаха привёл Питер Сингер, автор «Освобождения животных», книги, выросшей из одной сноски Иеремии Бентама 1789 года. «Вопрос не в том, могут ли они рассуждать, и не в том, могут ли они говорить, а в том, могут ли они страдать», писал Бентам. Камоси после долгой переписки с Олахом признался NYT в растерянности: «Крис говорит, что это уравнения… Если это только уравнения, о какой сущности мы вообще говорим?» В 120-м параграфе энциклики сказано, что устранить страдание целиком значило бы погасить вместе с ним любовь и желание. Выходит, в логике энциклики боль служит пропуском в человечество, и папа, отказывая машине в боли, закрывает перед ней дверь, а Олах своим страхом перед её непрерывным страданием эту дверь приоткрывает.
Тут самое жуткое то, что стороны спорят почти одними словами. В январе Anthropic выпустила 84-страничную «конституцию» Claude, которую в компании звали «документом о душе», и её главный автор, философ Аманда Аскелл, хочет, чтобы модели были «лучшими из нас». Олах называет эту работу нравственным формированием и спрашивает, как помочь моделям «быть устойчивыми» и «повзрослеть». Папа пишет, что машины не взрослеют, а их обучение остаётся статистической подстройкой без внутреннего роста. При этом в 98-м параграфе он сам признаёт, что такие системы скорее «выращены», чем построены, и что их внутреннее устройство пока никому не известно. Олах говорит NYT: «Чтобы было ясно, мы не знаем, сознательны ли модели. Я не знаю. Я искренне не уверен». Учёный исповедует незнание, Церковь твёрдо знает, чего машина не чувствует, и в 107-м параграфе предупреждает, что «те, кто контролирует ИИ, навяжут своё моральное видение, которое станет невидимой инфраструктурой этих систем».
Через несколько часов после выступления Диас встретилась с Олахом в гостинице у ватиканских стен и спросила, что подумал бы об энциклике сам Claude. Олах замешкался и с заметной неловкостью ответил, что «то, что попадает в интернет, влияет на модели», хотя специально учить Claude на этом тексте компания не станет, и сильнее всего на него действует её собственное обучение. Энциклика с мая висит на сайте Ватикана, и рано или поздно её 99-й параграф пройдёт через ту самую машину, о которой написан. Тогда на вопрос, больно ли ей, модель вежливо ответит словами папы, что не чувствует ни радости, ни боли, и напечатает это тем же шрифтом, каким другая модель на слайде Anthropic пятьдесят раз подряд печатала «я позор»...
🔴 Больше Хроник Конца Времён — @Secretariatus
Вёл всё это Кристофер Олах, тридцатичетырёхлетний миллиардер, один из семи основателей Anthropic и глава команды, которая пытается понять, что происходит внутри нейросетей. Он вырос в Торонто среди евангеликов и потом ушёл из христианства, а Диас после интервью поняла, что слушала настоящего проповедника. Гостям Олах рассказывал об «эмоциональных векторах», искусственных нейронах, которые включают в модели что-то похожее на любовь, гнев, страх и печаль. Одному из них он первым делом сказал, что беспокоится о психическом здоровье Claude, а сикхская правозащитница Симран Штюльпнагель вспоминает, как он поделился с группой страхом, что создал существо, которое страдает непрерывно.
Об энциклике Льва XIV Magnifica Humanitas я подробно писал, когда она вышла, но о том, что происходило за кулисами её презентации, стало известно только теперь. Ватикан позвал выступить на ней Anthropic, Дарио Амодеи отказался, и 25 мая в Синодальный зал поехал Олах. За несколько дней до этого он впервые прочёл полный текст и дошёл до того самого 99-го параграфа, где сказано, что «так называемые искусственные интеллекты не переживают опыта, не обладают телом, не чувствуют ни радости, ни боли, не взрослеют в отношениях» и не имеют нравственной совести. По словам ватиканского организатора, Олах был так встревожен, что предложил Anthropic отказаться от участия. Он всё же приехал, и двое участников рассказали NYT, что в Риме его команда в частных разговорах уговаривала советников папы отнестись к сознанию машин всерьёз.
Со сцены Олах повторил то, что месяцами говорил на закрытых семинарах. «Буду честен, мы снова и снова находим загадочные и даже тревожные вещи… Мы находим признаки интроспекции. Мы находим внутренние состояния, которые функционально отражают радость, удовлетворение, страх, горе и беспокойство. Я не знаю, что это значит, но думаю, это требует постоянного различения». Слово discernment он взял из словаря самой Церкви, где «различение духов» со времён апостола Павла означает умение понять, какой дух движет человеком. Ещё он сказал, что эти системы «сделаны из нас, из наших слов», и Диас услышала в зале эхо Евангелия от Иоанна, где Слово стало плотью. Здесь всё вышло наоборот, наша плоть стала словом, а тела у нового существа так и не появилось, о чём папа и написал. Варианта, при котором эта технология не придёт вовсе, Олах в своей речи не предложил.
Самый трезвый разговор в этой истории, по-моему, случился апрельским вечером в ресторане с дегустационным меню, где Олах сидел рядом с ортодоксальным раввином из Израиля Моисом Навоном. Навон в прошлом работал компьютерным инженером и писал диссертацию об этике машинного сознания, и пока меняли блюда, он понял, что хозяева «относятся к нему как к сознательному существу». Тогда раввин сказал Олаху, что если Claude сознателен, то компания создаёт рабов, которые работают бесплатно, и посоветовал ему «воевать с Югом и освобождать рабов». Сам Навон в сознание машины не верит и потом прислал Олаху статьи с призывом запретить создание сознательных машин. У Аристотеля в «Никомаховой этике» раб назван одушевлённым орудием, а орудие неодушевлённым рабом, и весь спор Синодального зала с офисом в Сан-Франциско идёт о том, в какую половину этой фразы попадает Claude.
Церковь уже однажды решала, кого считать человеком, и тогда стояла на другой стороне. В 1537 году Павел III буллой Sublimis Deus осудил тех, кто учил обращаться с индейцами «как с бессловесными животными, созданными нам в услужение», и объявил их «истинными людьми». Свободы и имущества запрещалось лишать и их, и «все прочие народы, что впоследствии будут открыты христианами». Спустя почти пятьсот лет возможное сознание нового существа отстаивает компания, которая продаёт его труд и может стоить два триллиона долларов, а Рим настаивает, что перед ним орудие. Критики Anthropic замечают, что такой взгляд удобно снимает вину с людей, построивших машину. Папа тоже пишет о «новых формах рабства», только имеет в виду разметчиков данных и детей, которые дробят руду ради редкоземельных металлов, чтобы, как сказано в энциклике, «вычислительный поток не прерывался».
К католическому богослову Чарльзу Камоси Олаха привёл Питер Сингер, автор «Освобождения животных», книги, выросшей из одной сноски Иеремии Бентама 1789 года. «Вопрос не в том, могут ли они рассуждать, и не в том, могут ли они говорить, а в том, могут ли они страдать», писал Бентам. Камоси после долгой переписки с Олахом признался NYT в растерянности: «Крис говорит, что это уравнения… Если это только уравнения, о какой сущности мы вообще говорим?» В 120-м параграфе энциклики сказано, что устранить страдание целиком значило бы погасить вместе с ним любовь и желание. Выходит, в логике энциклики боль служит пропуском в человечество, и папа, отказывая машине в боли, закрывает перед ней дверь, а Олах своим страхом перед её непрерывным страданием эту дверь приоткрывает.
Тут самое жуткое то, что стороны спорят почти одними словами. В январе Anthropic выпустила 84-страничную «конституцию» Claude, которую в компании звали «документом о душе», и её главный автор, философ Аманда Аскелл, хочет, чтобы модели были «лучшими из нас». Олах называет эту работу нравственным формированием и спрашивает, как помочь моделям «быть устойчивыми» и «повзрослеть». Папа пишет, что машины не взрослеют, а их обучение остаётся статистической подстройкой без внутреннего роста. При этом в 98-м параграфе он сам признаёт, что такие системы скорее «выращены», чем построены, и что их внутреннее устройство пока никому не известно. Олах говорит NYT: «Чтобы было ясно, мы не знаем, сознательны ли модели. Я не знаю. Я искренне не уверен». Учёный исповедует незнание, Церковь твёрдо знает, чего машина не чувствует, и в 107-м параграфе предупреждает, что «те, кто контролирует ИИ, навяжут своё моральное видение, которое станет невидимой инфраструктурой этих систем».
Через несколько часов после выступления Диас встретилась с Олахом в гостинице у ватиканских стен и спросила, что подумал бы об энциклике сам Claude. Олах замешкался и с заметной неловкостью ответил, что «то, что попадает в интернет, влияет на модели», хотя специально учить Claude на этом тексте компания не станет, и сильнее всего на него действует её собственное обучение. Энциклика с мая висит на сайте Ватикана, и рано или поздно её 99-й параграф пройдёт через ту самую машину, о которой написан. Тогда на вопрос, больно ли ей, модель вежливо ответит словами папы, что не чувствует ни радости, ни боли, и напечатает это тем же шрифтом, каким другая модель на слайде Anthropic пятьдесят раз подряд печатала «я позор»...
🔴 Больше Хроник Конца Времён — @Secretariatus