Репост из: Малоизвестное интересное
Пропагандистские ИИ-боты будут маскироваться под экспертов-людей.
Эксперты вызывают больше доверия, даже если они уступают ИИ в структуре аргументации и объеме знаний.
5 лет назад мой рассказ о грядущем засилье социохакинга (на рис слева) многим казался чудаковатым алармизмом. Но в ближайшие 5 лет самым ощутимым последствием (как для индивидов, так и для всего общества) массового внедрения ИИ-чатботов станет именно вездесущий алгоритмический социохакинг – куда более человечный на вид, но на деле куда более страшный (на рис. справа)
Сверхчеловеческие языковые способности моделей, типа ChatGPT, открывают фантастические перспективы для отработки методов манипулирования людьми (в целях бизнеса или власти), а также для пропаганды, дезинформации и мошенничества. Ведь социохакинг объединяет в себе две колоссально мощные когнитивные технологии: суперубеждения людей и их суперобмана.
В силу этого, социохакинг одинаково нужен, важен и ценен и корпорациям, и властям. И те, и другие уже активно экспериментируют с его применением.
Нам же трудно этому что-либо противопоставить. Как я писал об этом в своем апрельском обзорном посте про социохакин, «началось обрушение фронта обороны от социохакинга - рушится уже 3я линия обороны, а 4ю еще не построили» (кто не читал, сможет найти в этом посте ссылки на другие интересные поста о технологиях социохакинга).
Но все в области ИИ сейчас развивается с немыслимой ранее скоростью. И за прошедшие полгода в социохакинге произошли две важных подвижки.
Свой августовский пост о 1ой из этих подвижек я назвал так: «Это изменит мир. Будучи пока не в состоянии симулировать общий интеллект индивида, ИИ-системы уже создают симулякры коллективного бессознательного социумов».
Вторая же подвижка произошла только что. Результаты исследования «Искусственное влияние? Сравнение убеждающей силы ИИ и человека в снижении уверенности в убеждениях» вносят важное уточнение в уже сложившиеся представления, что люди верят ИИ больше чем другим людям (см. мой пост «Получено уже 3е подтверждение сверхчеловеческого превосходства ИИ в убеждении людей»).
Новое исследование:
• С одной стороны, еще раз подтвердило, что это так - люди верят ИИ больше чем другим людям. ChatGPT смог уменьшить уверенность участников эксперимента в их ложных убеждениях (в среднем уверенность снизилась на 12.48%, и 29% участников даже изменили свои взгляды на противоположные, более точные)
• Однако, с другой стороны, исследование убедительно показало, что переубеждение происходит несмотря на то, что источником является ИИ, а не благодаря ему. Исследование показывает, что люди воспринимают ChatGPT примерно на том же уровне, что и обычного человека, но меньше доверяют ИИ, чем эксперту.
Иными словами, ChatGPT оказался не более убедительным, чем обычный респондент с противоположной точкой зрения. Эксперт по теме был значительно более убедительным.
Отсюда следует крайне важный для эффективности социохакинга вывод.
Максимальная манипулятивная мощь алгоритмического социохакинга достигается сочетанием:
✔️ способностей ИИ-чатботов к убеждению за счет структуры аргументации и объемов знаний;
✔️ и умения ИИ-чатботов убедительно имитировать экспертов, поскольку эксперты вызывают больше доверия у людей
Так что ждите появления в медиа тысяч новых «экспертов», способных убедить и переубедить нас в чем угодно.
#Социохакинг
Эксперты вызывают больше доверия, даже если они уступают ИИ в структуре аргументации и объеме знаний.
5 лет назад мой рассказ о грядущем засилье социохакинга (на рис слева) многим казался чудаковатым алармизмом. Но в ближайшие 5 лет самым ощутимым последствием (как для индивидов, так и для всего общества) массового внедрения ИИ-чатботов станет именно вездесущий алгоритмический социохакинг – куда более человечный на вид, но на деле куда более страшный (на рис. справа)
Сверхчеловеческие языковые способности моделей, типа ChatGPT, открывают фантастические перспективы для отработки методов манипулирования людьми (в целях бизнеса или власти), а также для пропаганды, дезинформации и мошенничества. Ведь социохакинг объединяет в себе две колоссально мощные когнитивные технологии: суперубеждения людей и их суперобмана.
В силу этого, социохакинг одинаково нужен, важен и ценен и корпорациям, и властям. И те, и другие уже активно экспериментируют с его применением.
Нам же трудно этому что-либо противопоставить. Как я писал об этом в своем апрельском обзорном посте про социохакин, «началось обрушение фронта обороны от социохакинга - рушится уже 3я линия обороны, а 4ю еще не построили» (кто не читал, сможет найти в этом посте ссылки на другие интересные поста о технологиях социохакинга).
Но все в области ИИ сейчас развивается с немыслимой ранее скоростью. И за прошедшие полгода в социохакинге произошли две важных подвижки.
Свой августовский пост о 1ой из этих подвижек я назвал так: «Это изменит мир. Будучи пока не в состоянии симулировать общий интеллект индивида, ИИ-системы уже создают симулякры коллективного бессознательного социумов».
Вторая же подвижка произошла только что. Результаты исследования «Искусственное влияние? Сравнение убеждающей силы ИИ и человека в снижении уверенности в убеждениях» вносят важное уточнение в уже сложившиеся представления, что люди верят ИИ больше чем другим людям (см. мой пост «Получено уже 3е подтверждение сверхчеловеческого превосходства ИИ в убеждении людей»).
Новое исследование:
• С одной стороны, еще раз подтвердило, что это так - люди верят ИИ больше чем другим людям. ChatGPT смог уменьшить уверенность участников эксперимента в их ложных убеждениях (в среднем уверенность снизилась на 12.48%, и 29% участников даже изменили свои взгляды на противоположные, более точные)
• Однако, с другой стороны, исследование убедительно показало, что переубеждение происходит несмотря на то, что источником является ИИ, а не благодаря ему. Исследование показывает, что люди воспринимают ChatGPT примерно на том же уровне, что и обычного человека, но меньше доверяют ИИ, чем эксперту.
Иными словами, ChatGPT оказался не более убедительным, чем обычный респондент с противоположной точкой зрения. Эксперт по теме был значительно более убедительным.
Отсюда следует крайне важный для эффективности социохакинга вывод.
Максимальная манипулятивная мощь алгоритмического социохакинга достигается сочетанием:
✔️ способностей ИИ-чатботов к убеждению за счет структуры аргументации и объемов знаний;
✔️ и умения ИИ-чатботов убедительно имитировать экспертов, поскольку эксперты вызывают больше доверия у людей
Так что ждите появления в медиа тысяч новых «экспертов», способных убедить и переубедить нас в чем угодно.
#Социохакинг