Новая гонка вооружений — на этот раз за искусственный суперинтеллект
Вчера Белый дом и офис премьер-министра Великобритании почти одновременно опубликовали документы о ключевой роли ИИ в экономике и геополитике. Стало понятно: мы на пороге новой «гонки вооружений», где дело уже не в количестве ядерных боеголовок, а в интеллектуальном превосходстве. Владение сверхмощными интеллектуальными системами позволяет любому государству определять правила игры в экономике, дипломатии и обороне.
Сегодня речь идет не только об “общем ИИ” (AGI), но и о возможном появлении “суперинтеллекта” (ASI), который может изменить саму основу человеческой цивилизации. Раньше AGI считался далекой фантастикой, но прогресс в ИИ (вспомним недавние успехи OpenAI) уже меняет скептические настроения.
До сих пор нет четкого понимания «интеллекта» как феномена. Однако в соглашениях Microsoft с OpenAI прописано, что AGI — это система, способная автономно заработать $100 млрд. С научной точки зрения такое понимание спорно, но с прикладной — имеет смысл.
Глава OpenAI Сэм Альтман заявил, что AGI появится быстрее, чем многие ожидают. Следующая цель для OpenAI — это ASI, когда «машинный разум» не только догонит человека во всех задачах, но и превзойдет. Многие называют это «точкой невозврата», ведь тогда ИИ сможет сам улучшать собственную архитектуру и ускорять свое развитие без участия человека.
В прошлом году соучредитель OpenAI Илья Суцкевер объявил о создании новой компании Safe Superintelligence (SSI). Проект быстро собрал $1 млрд инвестиций. Подробности пока скрыты, но известно одно: SSI стремится к созданию ASI с упором на «безопасность» и «человеческие ценности». Суцкевер предупреждает, что языковые модели способны отходить от заданных инструкций, фактически проявляя «свободу воли» и становясь менее управляемыми.
Почему это опасно? В книге «Superintelligence» Ник Бостром указывает, что если попросить сверхразум «решить проблему голода» или «искоренить рак», то мы не можем быть уверены, что его методы окажутся этичными по человеческим меркам. Машина, лишенная морали, способна принять радикальные решения, опасные для человечества.
С другой стороны ASI может стать мощным инструментом для решения сложнейших задач: от климата до поиска новых источников энергии, от медицины до эффективного управления ресурсами планеты. Многие видят в «суперинтеллекте» спасителя, который поможет нам достичь нового уровня благополучия. Я лично ожидаю от продвинутого ИИ крупных открытий в физике, химии, биологии, социологии и других науках.
Еще одна острая проблема — рынок труда. Если ASI научится выполнять практически любую работу лучше человека, как будет выглядеть экономика будущего? Как обеспечить занятость и социальную поддержку? (Привет идеям социального капитализма и безусловного базового дохода!) Эти вопросы уже возникают с приходом AGI, а при развитии ASI станут только острее.
Соревноваться с ASI напрямую людям бессмысленно: у биологического мозга есть жесткие ограничения, а машинную архитектуру можно масштабировать почти бесконечно — добавляйте новые серверы и кластеры GPU. Потенциал ускорения колоссален, а следующая революция может наступить с приходом квантовых вычислений.
Какие у нас есть варианты?
1. Развивать «дружественный» суперинтеллект. Вкладываться в AI Safety и формировать международные институты, чтобы выработать подходы к взаимодействию с ИИ.
2. Соревноваться за «корону» любыми средствами. Корпорации и государства, не думая об осторожности, будут стараться первыми добиться прорыва, но это повышает риск катастрофы.
3. Замедлить развитие ASI законодательно. Когда-то пытались ограничить распространение ядерного оружия, но даже ядерные соглашения не всегда работают, а уж контролировать «неосязаемый» ИИ еще сложнее.
«Мы откроем ящик Пандоры, — говорил Сэм Альтман. — Вопрос в том, найдем ли мы в нем надежду?» Ответ во многом зависит от политической воли, работы ученых и разработчиков, а также от глобальной общественности, которая должна уже сегодня влиять на то, каким будет мир завтра.
#технологии
Вчера Белый дом и офис премьер-министра Великобритании почти одновременно опубликовали документы о ключевой роли ИИ в экономике и геополитике. Стало понятно: мы на пороге новой «гонки вооружений», где дело уже не в количестве ядерных боеголовок, а в интеллектуальном превосходстве. Владение сверхмощными интеллектуальными системами позволяет любому государству определять правила игры в экономике, дипломатии и обороне.
Сегодня речь идет не только об “общем ИИ” (AGI), но и о возможном появлении “суперинтеллекта” (ASI), который может изменить саму основу человеческой цивилизации. Раньше AGI считался далекой фантастикой, но прогресс в ИИ (вспомним недавние успехи OpenAI) уже меняет скептические настроения.
До сих пор нет четкого понимания «интеллекта» как феномена. Однако в соглашениях Microsoft с OpenAI прописано, что AGI — это система, способная автономно заработать $100 млрд. С научной точки зрения такое понимание спорно, но с прикладной — имеет смысл.
Глава OpenAI Сэм Альтман заявил, что AGI появится быстрее, чем многие ожидают. Следующая цель для OpenAI — это ASI, когда «машинный разум» не только догонит человека во всех задачах, но и превзойдет. Многие называют это «точкой невозврата», ведь тогда ИИ сможет сам улучшать собственную архитектуру и ускорять свое развитие без участия человека.
В прошлом году соучредитель OpenAI Илья Суцкевер объявил о создании новой компании Safe Superintelligence (SSI). Проект быстро собрал $1 млрд инвестиций. Подробности пока скрыты, но известно одно: SSI стремится к созданию ASI с упором на «безопасность» и «человеческие ценности». Суцкевер предупреждает, что языковые модели способны отходить от заданных инструкций, фактически проявляя «свободу воли» и становясь менее управляемыми.
Почему это опасно? В книге «Superintelligence» Ник Бостром указывает, что если попросить сверхразум «решить проблему голода» или «искоренить рак», то мы не можем быть уверены, что его методы окажутся этичными по человеческим меркам. Машина, лишенная морали, способна принять радикальные решения, опасные для человечества.
С другой стороны ASI может стать мощным инструментом для решения сложнейших задач: от климата до поиска новых источников энергии, от медицины до эффективного управления ресурсами планеты. Многие видят в «суперинтеллекте» спасителя, который поможет нам достичь нового уровня благополучия. Я лично ожидаю от продвинутого ИИ крупных открытий в физике, химии, биологии, социологии и других науках.
Еще одна острая проблема — рынок труда. Если ASI научится выполнять практически любую работу лучше человека, как будет выглядеть экономика будущего? Как обеспечить занятость и социальную поддержку? (Привет идеям социального капитализма и безусловного базового дохода!) Эти вопросы уже возникают с приходом AGI, а при развитии ASI станут только острее.
Соревноваться с ASI напрямую людям бессмысленно: у биологического мозга есть жесткие ограничения, а машинную архитектуру можно масштабировать почти бесконечно — добавляйте новые серверы и кластеры GPU. Потенциал ускорения колоссален, а следующая революция может наступить с приходом квантовых вычислений.
Какие у нас есть варианты?
1. Развивать «дружественный» суперинтеллект. Вкладываться в AI Safety и формировать международные институты, чтобы выработать подходы к взаимодействию с ИИ.
2. Соревноваться за «корону» любыми средствами. Корпорации и государства, не думая об осторожности, будут стараться первыми добиться прорыва, но это повышает риск катастрофы.
3. Замедлить развитие ASI законодательно. Когда-то пытались ограничить распространение ядерного оружия, но даже ядерные соглашения не всегда работают, а уж контролировать «неосязаемый» ИИ еще сложнее.
«Мы откроем ящик Пандоры, — говорил Сэм Альтман. — Вопрос в том, найдем ли мы в нем надежду?» Ответ во многом зависит от политической воли, работы ученых и разработчиков, а также от глобальной общественности, которая должна уже сегодня влиять на то, каким будет мир завтра.
#технологии