Чьи рекомендации важнее, человека или ИИ?
Недавно на Линкедине мне попался пост, как девушка не знала, радоваться, смеяться или плакать, потому что тезисы ее старого поста стали попадаться в обзор Google AI Overviews
и, соответственно, содержали ошибки и неточности, т.к. положения законодательства уже успели поменяться.
На конференции SOUPS 2026 исследователи представят результаты немного по другому вопросу в работе «Clear, Actionable and Confidence-Inspiring Recommendations? Comparative Study of AI-Generated and Human-Written Penetration Testing Reports». Она будет опубликована в сборнике после конференции.
Суть в том, что 600 специалистов по ИТ и кибербезопасности оценивали и сравнивали рекомендации по устранению уязвимостей, которые были написаны экспертами и сгенерированы ИИ.
Оценивались по трем критериям:
▪️насколько понятны рекомендации;
▪️насколько легко их выполнить;
▪️насколько они внушают уверенность в правильности действий.
Исследователи обнаружили, что происхождение текста ( человек или ИИ) само по себе не определяет его качество. Гораздо большее значение имеет структура рекомендации.
Наиболее высокие оценки получили рекомендации, которые:
▪️ разбиты на последовательные шаги;
▪️ содержат конкретные действия;
▪️ исключают двусмысленность;
▪️ помогают быстро понять, что именно нужно сделать.
❕Этот вывод хорошо отражает более широкий тренд в использовании генеративного ИИ. Пользователи оценивают прежде всего качество результата, а не то, кем он создан. И, возможно, именно поэтому хорошо структурированные материалы чаще становятся источниками для ИИ-сервисов. Но они не всегда актуальны или безошибочны. Если информация не обновляется, ИИ будет воспроизводить уже устаревшие выводы.
📌 Ошибки Google AI Overviews
#UXWatch
————
@pattern_ai | AI GDPR Navigator
Недавно на Линкедине мне попался пост, как девушка не знала, радоваться, смеяться или плакать, потому что тезисы ее старого поста стали попадаться в обзор Google AI Overviews
и, соответственно, содержали ошибки и неточности, т.к. положения законодательства уже успели поменяться.
На конференции SOUPS 2026 исследователи представят результаты немного по другому вопросу в работе «Clear, Actionable and Confidence-Inspiring Recommendations? Comparative Study of AI-Generated and Human-Written Penetration Testing Reports». Она будет опубликована в сборнике после конференции.
Суть в том, что 600 специалистов по ИТ и кибербезопасности оценивали и сравнивали рекомендации по устранению уязвимостей, которые были написаны экспертами и сгенерированы ИИ.
Оценивались по трем критериям:
▪️насколько понятны рекомендации;
▪️насколько легко их выполнить;
▪️насколько они внушают уверенность в правильности действий.
Исследователи обнаружили, что происхождение текста ( человек или ИИ) само по себе не определяет его качество. Гораздо большее значение имеет структура рекомендации.
Наиболее высокие оценки получили рекомендации, которые:
▪️ разбиты на последовательные шаги;
▪️ содержат конкретные действия;
▪️ исключают двусмысленность;
▪️ помогают быстро понять, что именно нужно сделать.
❕Этот вывод хорошо отражает более широкий тренд в использовании генеративного ИИ. Пользователи оценивают прежде всего качество результата, а не то, кем он создан. И, возможно, именно поэтому хорошо структурированные материалы чаще становятся источниками для ИИ-сервисов. Но они не всегда актуальны или безошибочны. Если информация не обновляется, ИИ будет воспроизводить уже устаревшие выводы.
📌 Ошибки Google AI Overviews
#UXWatch
————
@pattern_ai | AI GDPR Navigator