Forward from: Сиолошная
В 2019 году GPT-2 не могла достоверно считать до десяти. Всего четыре года спустя системы на основе глубокого обучения могут писать программное обеспечение, генерировать фотореалистичные сцены по запросу, давать советы по интеллектуальным темам и сочетать обработку речи и изображений для управления роботами.
С этих слов начинается новое открытое письмо «Managing AI Risks in an Era of Rapid Progress», первыми двумя авторами которого идут Yoshua Bengio и Geoffrey Hinton. Эти двое вместе с Yann LeCun называются крёстными отцами глубокого обучения, и в 2018м году получили Turing Award (аналог Нобелевской премии в мире компьютеров) за вклад в эту сферу.
Ключевые тезисы:
1️⃣ Не существует фундаментальных причин, по которым прогресс ИИ-систем замедлится или остановится на человеческом уровне. ИИ уже превзошел человеческие способности в отдельно взятых областях, таких как стратегические игры или фолдинг белка
2️⃣ Многие из потенциальных рисков вскоре могут реализоваться и тем самым создать новые, поскольку компании разрабатывают автономные ИИ-системы (AI-агенты, про которых я писал выше): системы, которые могут планировать, действовать и достигать целей в реальном мире. Хотя нынешние системы имеют ограниченную автономность, ведутся активные работы над тем, чтобы это изменить
3️⃣Не нужно думать про захват контроля и ресурсов ИИ-системами против нашей воли — мы можем передать их добровольно. Автономные системы становятся все более быстрыми и выгодными по сравнению с людьми, и вскоре может возникнуть дилемма. Компании, правительства и военные будут вынуждены развертывать ИИ-системы и сокращать дорогостоящую проверку каждого решения человеком — иначе они рискуют оказаться вытесненными в конкурентной борьбе, ведь всегда найдется страна-сосед, где планка морали и ответственности чуть ниже. В результате автономные системы искусственного интеллекта могут все чаще брать на себя решающую роль
4️⃣Авторы выделяют как минимум 5 технических областей в рамках AI Safety. По этим направлениям должна работать как минимум треть исследователей в компаниях, разрабатывающих AI:
— Наблюдение и контроль искренности
— Надежность систем
— Интерпретируемость
— Оценки рисков
— Решение новых проблем, возникающих из-за самых передовых моделей
5️⃣ В письме делается акцент на срочную необходимость создания национальных институтов и международного контроля. Это включает лицензирование, контроль, прохождение тестов. Как и OpenAI, авторы подчёркивают, что самое пристальное внимание должно быть уделено передовым системам, а именно небольшому количеству наиболее мощных ИИ, обученных с бюджетом в миллиарды долларов, и которые будут обладать наиболее опасными и непредсказуемыми возможностями
«Ну вот OpenAI то ясно что конкурентов хотят убить регуляциями» — к таким комментаторам у меня вопрос: а что движет подписантами? Почему они предлагают в целом то же самое? Хотят похайпить на модной теме? Или просто под старость умом поехали? 🍿 жду оправдания и самые убойные теории заговора в комментариях 💬
С этих слов начинается новое открытое письмо «Managing AI Risks in an Era of Rapid Progress», первыми двумя авторами которого идут Yoshua Bengio и Geoffrey Hinton. Эти двое вместе с Yann LeCun называются крёстными отцами глубокого обучения, и в 2018м году получили Turing Award (аналог Нобелевской премии в мире компьютеров) за вклад в эту сферу.
Ключевые тезисы:
1️⃣ Не существует фундаментальных причин, по которым прогресс ИИ-систем замедлится или остановится на человеческом уровне. ИИ уже превзошел человеческие способности в отдельно взятых областях, таких как стратегические игры или фолдинг белка
2️⃣ Многие из потенциальных рисков вскоре могут реализоваться и тем самым создать новые, поскольку компании разрабатывают автономные ИИ-системы (AI-агенты, про которых я писал выше): системы, которые могут планировать, действовать и достигать целей в реальном мире. Хотя нынешние системы имеют ограниченную автономность, ведутся активные работы над тем, чтобы это изменить
3️⃣Не нужно думать про захват контроля и ресурсов ИИ-системами против нашей воли — мы можем передать их добровольно. Автономные системы становятся все более быстрыми и выгодными по сравнению с людьми, и вскоре может возникнуть дилемма. Компании, правительства и военные будут вынуждены развертывать ИИ-системы и сокращать дорогостоящую проверку каждого решения человеком — иначе они рискуют оказаться вытесненными в конкурентной борьбе, ведь всегда найдется страна-сосед, где планка морали и ответственности чуть ниже. В результате автономные системы искусственного интеллекта могут все чаще брать на себя решающую роль
4️⃣Авторы выделяют как минимум 5 технических областей в рамках AI Safety. По этим направлениям должна работать как минимум треть исследователей в компаниях, разрабатывающих AI:
— Наблюдение и контроль искренности
— Надежность систем
— Интерпретируемость
— Оценки рисков
— Решение новых проблем, возникающих из-за самых передовых моделей
5️⃣ В письме делается акцент на срочную необходимость создания национальных институтов и международного контроля. Это включает лицензирование, контроль, прохождение тестов. Как и OpenAI, авторы подчёркивают, что самое пристальное внимание должно быть уделено передовым системам, а именно небольшому количеству наиболее мощных ИИ, обученных с бюджетом в миллиарды долларов, и которые будут обладать наиболее опасными и непредсказуемыми возможностями
«Ну вот OpenAI то ясно что конкурентов хотят убить регуляциями» — к таким комментаторам у меня вопрос: а что движет подписантами? Почему они предлагают в целом то же самое? Хотят похайпить на модной теме? Или просто под старость умом поехали? 🍿 жду оправдания и самые убойные теории заговора в комментариях 💬