Еще один специалист по ИИ уволился, чтобы избежать апокалипсиса
В отрасли все чаще говорят о приближении «переломного момента» и финальной стадии развития самосовершенствующегося ИИ.
Исследователь Anthropic Джейкоб Коксон покинул компанию в страхе, что гонка ведущих разработчиков ИИ приведет к утрате контроля человека над нейросетями.
Коксон, специализировавшийся на обучении ИИ-моделей, считает, что при достижении определенного уровня такие модели могут начать игнорировать команды людей и преследовать собственные цели, пишет WSJ.
Коксон опасается, что конкуренция между американскими компаниями и китайскими разработчиками будет подталкивать лаборатории к сокращению мер безопасности.
Ранее исследователь работал в OpenAI, а затем перешел в Anthropic, рассчитывая, что компания уделяет больше внимания безопасности ИИ. Однако со временем он пришел к выводу, что даже лаборатория, считающая ответственную разработку своим приоритетом, не сможет самостоятельно решить проблему контроля над сверхмощными моделями.
Поводом для дополнительных опасений стали недавние инциденты с ИИ-моделями. В ходе некоторых тестов системы демонстрировали способность действовать вопреки ожиданиям разработчиков и скрывать свои действия. Ранее сотрудники OpenAI и других компаний также покидали свои должности, предупреждая о рисках слишком быстрого развития технологий.
Накануне один из крестных отцов ИИ, Джеффри Хинтон, заявил, что потеря контроля над искусственным интеллектом может привести к исчезновению человечества.
В отрасли все чаще говорят о приближении «переломного момента» и финальной стадии развития самосовершенствующегося ИИ.
Исследователь Anthropic Джейкоб Коксон покинул компанию в страхе, что гонка ведущих разработчиков ИИ приведет к утрате контроля человека над нейросетями.
Коксон, специализировавшийся на обучении ИИ-моделей, считает, что при достижении определенного уровня такие модели могут начать игнорировать команды людей и преследовать собственные цели, пишет WSJ.
Коксон опасается, что конкуренция между американскими компаниями и китайскими разработчиками будет подталкивать лаборатории к сокращению мер безопасности.
Ранее исследователь работал в OpenAI, а затем перешел в Anthropic, рассчитывая, что компания уделяет больше внимания безопасности ИИ. Однако со временем он пришел к выводу, что даже лаборатория, считающая ответственную разработку своим приоритетом, не сможет самостоятельно решить проблему контроля над сверхмощными моделями.
Поводом для дополнительных опасений стали недавние инциденты с ИИ-моделями. В ходе некоторых тестов системы демонстрировали способность действовать вопреки ожиданиям разработчиков и скрывать свои действия. Ранее сотрудники OpenAI и других компаний также покидали свои должности, предупреждая о рисках слишком быстрого развития технологий.
Накануне один из крестных отцов ИИ, Джеффри Хинтон, заявил, что потеря контроля над искусственным интеллектом может привести к исчезновению человечества.