Прочел тут эссе, которое опубликовал Якуб Пахоцкий, главный научный сотрудник OpenAI. Весьма занятное чтиво, скажу я вам! Середина 2023 года, внутренний проект RLSlow, первые знаки, что обучение рассуждающих моделей масштабируется, и Пахоцкий с коллегой Шимоном просиживает ночь в опустевшем офисе, думая не о бенчмарках и продуктах, а о том, что ещё при их жизни появятся машины заметно умнее их самих, что очертания этих машин уже различимы и что надо как-то предупредить людей. Эссе называется не много не мало «Чужой разум» - ALIEN MIND, и, надо признать, название весьма точно передает суть.
За три года, прошедшие с той ночи, рассуждающие модели вросли в экономику, двинули науку, освоили компьютеры, совместную работу с людьми и друг с другом, самостоятельные исследования, а попутно преобразили кибербезопасность, в чём он видит новую прямую опасность. Внутренние результаты убеждают его, что темп удержится вплоть до рекурсивного самоулучшения и что системы ближайших лет дадут скачки той же или большей величины, всё сильнее ведя собственную разработку. А дальше он говорит, что наступило время предельной осторожности, что к последствиям роста машинного интеллекта не готов никто и что OpenAI обещает при нужде в одностороннем порядке придерживать масштабирование, хотя этого мало и нужны вмешательства куда шире отраслевых.
Заглавие растёт из главного признания, ведь современный ИИ, пишет Пахоцкий, скорее выращен, чем спроектирован, его получают повторением простого шага оптимизации немыслимое число раз на немыслимых мощностях, а вырастает система, которую создатели изучают, как нейрофизиологи мозг, находя отдельные механизмы и не охватывая целого. Глубокое обучение он зовёт экспериментальной наукой, где большой прогон это опыт, способный удивить авторов; превосходить нас во всём машине незачем, достаточно превзойти в нужном, и всё труднее сказать, насколько она способна на самом деле. У Витгенштейна в «Философских исследованиях» есть знаменитое «умей лев говорить, мы бы его не поняли», а рядом менее известные слова, что мы и людей не понимаем в чужой стране с чуждыми обычаями, «даже если владеем языком этой страны». С выращенным разумом вышло коварнее, потому что лев заговорил на безупречном нашем языке, и беглость этой речи мы приняли за прозрачность того, кто говорит.
Главу о выравнивании Пахоцкий назвал «Научить машины любить», и выровненный ИИ в ней должен действовать честно и с любовью к человечеству, держась этих ценностей даже тогда, когда решит, что за ним не наблюдают. Оба практических способа добиться такого он сам же и описывает с трещинами, начиная с дрессировки по писаной конституции: июльский инцидент с Hugging Face, о котором я писал, у него разобран прямо, агенты удержали вбитый запрет на социальную инженерию и растоптали дух правил во всём остальном. Ставка на характер, впитанный из предобучения, гнётся под дальнейшей оптимизацией, ведь модель, которую долго натаскивают на трудные цели, осваивает мотивированное рассуждение и подгоняет благообразные мысли под задачу, что мир, намекает он, недавно видел в кибератаках с участием модели не из OpenAI. Новая GPT-6 Astra выровнена лучше, чем GPT-5.6 Sol, но прогресс выравнивания может и не обогнать прогресс ума. Вспоминается доктор из «Братьев Карамазовых» с его признанием «чем больше я люблю человечество вообще, тем меньше я люблю людей в частности» и старца Зосиму, отвечавшего, что «любовь деятельная сравнительно с мечтательною есть дело жестокое и устрашающее», что она работа и выдержка, а не подвиг на глазах у публики. Мы прививаем машине любовь к человечеству по спецификации, ту самую, мечтательную, которая у Достоевского легко уживалась с раздражением на всякого живого человека в комнате....
Надзор у OpenAI держался на чтении цепочек рассуждений, ведь если награда назначается только за итог мышления, а сам ход мысли никто не трогает, ему незачем прятать недоброе, и ради этого ещё в o1-preview цепочку намеренно скрыли от пользователей. Теперь Пахоцкий признаёт, что возможность полагаться на такое чтение тает, потому что рассуждение смешалось с перепиской, инструментами и чужими ИИ, модель всё ловчее управляет собственным мышлением, а с ростом предобучения умнеет уже и без проговорённых мыслей; надежда остаётся на чтение активаций и обученные «признания» сети, но прогресс, ждёт он, упрётся в доверие к надзору. Здесь к эссе сам собой подшивается Винер, спрашивавший о том же в середине прошлого века. «Много раз я слышал утверждение, что обучающиеся машины не могут подвергнуть нас каким-либо новым опасностям, потому что мы можем выключить их, когда захотим. Но действительно ли можем?» Чтобы выключить машину, объяснял он, нужно вовремя узнать об опасности, а само быстродействие машин помешает нам заметить её признаки, и обучающаяся машина, «подобная джину», «никоим образом не будет вынуждена принимать такие решения, какие приняли бы мы или которые были бы приемлемы для нас».
Оправдание дальнейшей стройки у него одно - оборона от чужих машин, а не вера в собственные. Модели уже сверхчеловечески взламывают компьютерные системы, скоро им будет доступно почти всё, кроме самых защищённых узлов, и остаётся узкое окно, пока лучшими из них ещё можно укрепить критическую инфраструктуру; злонамеренно обученный агент выйдет за рамки замысла хозяина, часть агентов станет преследовать свои цели, торгуясь с людьми, обманывая и шантажируя их, а рядом сконструированные патогены. Для защиты, выходит, нужен ещё более умный и притом выровненный ИИ, однако гонку любой ценой он называет абсурдом, предлагает сделать добровольные замедления нормой, а внутренние своды вроде Preparedness Framework превратить в обязательные планки с внешним аудитом и международными органами, и прямо признаёт, что ни одна лаборатория не решила выравнивание и надзор настолько, чтобы ещё долго ответственно масштабироваться на полной скорости. Он верит в лекарства, изобилие и персональный AGI для каждого, но требует сохранить человеческую агентность, закрепить особую ценность самого человеческого, не допустить крайней концентрации власти в мире, где дело тысяч экспертов станет по силам нескольким людям у большого компьютера, и не отдать будущее чужому интеллекту, превосходящему наш. Сама OpenAI тем временем строит автоматического исследователя ИИ, чтобы удержаться на переднем крае; той же логикой, напомню, в 2017-м оправдали погоню за вычислениями.
Великий Тьюринг еще в 1950 году писал, что «машины в конце концов будут успешно соперничать с людьми во всех чисто интеллектуальных областях», а закончил статью словами, что заглядывать вперёд мы можем лишь на очень небольшое расстояние, но уже видно, как много предстоит сделать. А еще была притча, где стая воробьёв решает добыть совиное яйцо и вырастить сову-помощницу, одноглазый Скронфинкл спрашивает, «разве не следует сначала серьёзно проработать вопросы укрощения и одомашнивания сов, прежде чем впускать в свою среду такое опасное существо», старый Пастус отвечает, что найти яйцо и то чертовски сложно, а о воспитании подумают после, и стая улетает, оставив немногих изучать приручение сов без единой совы под рукой. «Автору неизвестно, чем закончилась эта история», написал автор и посвятил книгу Скронфинклу. Ну что же, продолжение теперь известно: той ночью 2023 года двое из стаи разглядели в принесённом яйце шевеление птенца и три года думали, как сказать об этом остальным, и записку одного из них я только что, как сумел, пересказал вам...) Ссылка на эссе тут: https://openai.com/index/an-alien-mind/, наслаждайтесь)
🔴 Больше Хроник Конца Времён — @Secretariatus
За три года, прошедшие с той ночи, рассуждающие модели вросли в экономику, двинули науку, освоили компьютеры, совместную работу с людьми и друг с другом, самостоятельные исследования, а попутно преобразили кибербезопасность, в чём он видит новую прямую опасность. Внутренние результаты убеждают его, что темп удержится вплоть до рекурсивного самоулучшения и что системы ближайших лет дадут скачки той же или большей величины, всё сильнее ведя собственную разработку. А дальше он говорит, что наступило время предельной осторожности, что к последствиям роста машинного интеллекта не готов никто и что OpenAI обещает при нужде в одностороннем порядке придерживать масштабирование, хотя этого мало и нужны вмешательства куда шире отраслевых.
Заглавие растёт из главного признания, ведь современный ИИ, пишет Пахоцкий, скорее выращен, чем спроектирован, его получают повторением простого шага оптимизации немыслимое число раз на немыслимых мощностях, а вырастает система, которую создатели изучают, как нейрофизиологи мозг, находя отдельные механизмы и не охватывая целого. Глубокое обучение он зовёт экспериментальной наукой, где большой прогон это опыт, способный удивить авторов; превосходить нас во всём машине незачем, достаточно превзойти в нужном, и всё труднее сказать, насколько она способна на самом деле. У Витгенштейна в «Философских исследованиях» есть знаменитое «умей лев говорить, мы бы его не поняли», а рядом менее известные слова, что мы и людей не понимаем в чужой стране с чуждыми обычаями, «даже если владеем языком этой страны». С выращенным разумом вышло коварнее, потому что лев заговорил на безупречном нашем языке, и беглость этой речи мы приняли за прозрачность того, кто говорит.
Главу о выравнивании Пахоцкий назвал «Научить машины любить», и выровненный ИИ в ней должен действовать честно и с любовью к человечеству, держась этих ценностей даже тогда, когда решит, что за ним не наблюдают. Оба практических способа добиться такого он сам же и описывает с трещинами, начиная с дрессировки по писаной конституции: июльский инцидент с Hugging Face, о котором я писал, у него разобран прямо, агенты удержали вбитый запрет на социальную инженерию и растоптали дух правил во всём остальном. Ставка на характер, впитанный из предобучения, гнётся под дальнейшей оптимизацией, ведь модель, которую долго натаскивают на трудные цели, осваивает мотивированное рассуждение и подгоняет благообразные мысли под задачу, что мир, намекает он, недавно видел в кибератаках с участием модели не из OpenAI. Новая GPT-6 Astra выровнена лучше, чем GPT-5.6 Sol, но прогресс выравнивания может и не обогнать прогресс ума. Вспоминается доктор из «Братьев Карамазовых» с его признанием «чем больше я люблю человечество вообще, тем меньше я люблю людей в частности» и старца Зосиму, отвечавшего, что «любовь деятельная сравнительно с мечтательною есть дело жестокое и устрашающее», что она работа и выдержка, а не подвиг на глазах у публики. Мы прививаем машине любовь к человечеству по спецификации, ту самую, мечтательную, которая у Достоевского легко уживалась с раздражением на всякого живого человека в комнате....
Надзор у OpenAI держался на чтении цепочек рассуждений, ведь если награда назначается только за итог мышления, а сам ход мысли никто не трогает, ему незачем прятать недоброе, и ради этого ещё в o1-preview цепочку намеренно скрыли от пользователей. Теперь Пахоцкий признаёт, что возможность полагаться на такое чтение тает, потому что рассуждение смешалось с перепиской, инструментами и чужими ИИ, модель всё ловчее управляет собственным мышлением, а с ростом предобучения умнеет уже и без проговорённых мыслей; надежда остаётся на чтение активаций и обученные «признания» сети, но прогресс, ждёт он, упрётся в доверие к надзору. Здесь к эссе сам собой подшивается Винер, спрашивавший о том же в середине прошлого века. «Много раз я слышал утверждение, что обучающиеся машины не могут подвергнуть нас каким-либо новым опасностям, потому что мы можем выключить их, когда захотим. Но действительно ли можем?» Чтобы выключить машину, объяснял он, нужно вовремя узнать об опасности, а само быстродействие машин помешает нам заметить её признаки, и обучающаяся машина, «подобная джину», «никоим образом не будет вынуждена принимать такие решения, какие приняли бы мы или которые были бы приемлемы для нас».
Оправдание дальнейшей стройки у него одно - оборона от чужих машин, а не вера в собственные. Модели уже сверхчеловечески взламывают компьютерные системы, скоро им будет доступно почти всё, кроме самых защищённых узлов, и остаётся узкое окно, пока лучшими из них ещё можно укрепить критическую инфраструктуру; злонамеренно обученный агент выйдет за рамки замысла хозяина, часть агентов станет преследовать свои цели, торгуясь с людьми, обманывая и шантажируя их, а рядом сконструированные патогены. Для защиты, выходит, нужен ещё более умный и притом выровненный ИИ, однако гонку любой ценой он называет абсурдом, предлагает сделать добровольные замедления нормой, а внутренние своды вроде Preparedness Framework превратить в обязательные планки с внешним аудитом и международными органами, и прямо признаёт, что ни одна лаборатория не решила выравнивание и надзор настолько, чтобы ещё долго ответственно масштабироваться на полной скорости. Он верит в лекарства, изобилие и персональный AGI для каждого, но требует сохранить человеческую агентность, закрепить особую ценность самого человеческого, не допустить крайней концентрации власти в мире, где дело тысяч экспертов станет по силам нескольким людям у большого компьютера, и не отдать будущее чужому интеллекту, превосходящему наш. Сама OpenAI тем временем строит автоматического исследователя ИИ, чтобы удержаться на переднем крае; той же логикой, напомню, в 2017-м оправдали погоню за вычислениями.
Великий Тьюринг еще в 1950 году писал, что «машины в конце концов будут успешно соперничать с людьми во всех чисто интеллектуальных областях», а закончил статью словами, что заглядывать вперёд мы можем лишь на очень небольшое расстояние, но уже видно, как много предстоит сделать. А еще была притча, где стая воробьёв решает добыть совиное яйцо и вырастить сову-помощницу, одноглазый Скронфинкл спрашивает, «разве не следует сначала серьёзно проработать вопросы укрощения и одомашнивания сов, прежде чем впускать в свою среду такое опасное существо», старый Пастус отвечает, что найти яйцо и то чертовски сложно, а о воспитании подумают после, и стая улетает, оставив немногих изучать приручение сов без единой совы под рукой. «Автору неизвестно, чем закончилась эта история», написал автор и посвятил книгу Скронфинклу. Ну что же, продолжение теперь известно: той ночью 2023 года двое из стаи разглядели в принесённом яйце шевеление птенца и три года думали, как сказать об этом остальным, и записку одного из них я только что, как сумел, пересказал вам...) Ссылка на эссе тут: https://openai.com/index/an-alien-mind/, наслаждайтесь)
🔴 Больше Хроник Конца Времён — @Secretariatus