AI Assistants Overassist.pdf
Синдром гиперопеки: как ИИ-ассистенты разрушают навыки долгосрочного обучения
Новое исследование Гарварда и Стенфорда показывает проблему современных ИИ-ассистентов: они мешают нам учиться, потому что помогают слишком быстро и слишком сильно.
Ученые представили бенчмарк INT-BENCH, который имитирует взаимодействие "ученика" и "учителя" в трех сферах: отладка кода, математика и логические задачи. Оценка происходит в области обучения по частоте и времени вмешательств, а также по влиянию на
как непосредственный успех в выполнении задачи, так и решения новых проблем.
Результаты сравнения ИИ-преподавателей с людьми оказались весьма показательными:
1️⃣Синдром гиперопеки (Overassisting)
ИИ вмешивается слишком рано. В 90% случаев модель встревает в процесс рассуждения на самых первых шагах (в среднем показав всего 18% текста).
ИИ вмешивается, даже когда всё хорошо. Такие модели, как GPT-5.2 и GPT-OSS-120B, давали подсказки в 98–100% случаев, когда «ученик» прекрасно справлялся сам и шёл к верному ответу.
2️⃣ Сливы решений вместо обучения
Вместо того чтобы натолкнуть на мысль (наводящие вопросы, намеки), ИИ в 58–65% случаев сразу выдает почти готовый ответ или прямую инструкцию.
Человек-преподаватель в аналогичных условиях чаще указывает на ошибку косвенно или предлагает перепроверить шаги, давая возможность додумать самостоятельно.
3️⃣ Ноль навыков в долгосрочной перспективе (Generalization)
Быстрая помощь ИИ дает иллюзию успеха, т.к. сиюминутная точность выполнения задачи действительно растет.
Однако обобщение знаний падает. Когда «ученику» дают аналогичную, но новую задачу, наличие предыдущих подсказок от ИИ вообще не улучшает результат. Ученик не усваивает принцип, так как за него проделали всю ментальную работу.
Авторы статьи предупреждают о риске постепенного выгорания самостоятельного мышления (gradual disempowerment). Когда нейросети оптимизированы на быстрый результат, они приучают пользователя к «когнитивной разгрузке». Мы теряем навык преодоления сложных задач (productive struggle), ведь проще сразу получить готовый ответ.
Разработчикам LLM нужно обучать ассистентов не просто реверсировать ошибки, а балансировать между краткосрочной помощью и долгосрочным обучением, т.е. давать пользователю совершать ошибки и доходить до сути своим умом.
#UXWatch
————
@pattern_ai | AI GDPR Navigator
Новое исследование Гарварда и Стенфорда показывает проблему современных ИИ-ассистентов: они мешают нам учиться, потому что помогают слишком быстро и слишком сильно.
Ученые представили бенчмарк INT-BENCH, который имитирует взаимодействие "ученика" и "учителя" в трех сферах: отладка кода, математика и логические задачи. Оценка происходит в области обучения по частоте и времени вмешательств, а также по влиянию на
как непосредственный успех в выполнении задачи, так и решения новых проблем.
Результаты сравнения ИИ-преподавателей с людьми оказались весьма показательными:
1️⃣Синдром гиперопеки (Overassisting)
ИИ вмешивается слишком рано. В 90% случаев модель встревает в процесс рассуждения на самых первых шагах (в среднем показав всего 18% текста).
ИИ вмешивается, даже когда всё хорошо. Такие модели, как GPT-5.2 и GPT-OSS-120B, давали подсказки в 98–100% случаев, когда «ученик» прекрасно справлялся сам и шёл к верному ответу.
2️⃣ Сливы решений вместо обучения
Вместо того чтобы натолкнуть на мысль (наводящие вопросы, намеки), ИИ в 58–65% случаев сразу выдает почти готовый ответ или прямую инструкцию.
Человек-преподаватель в аналогичных условиях чаще указывает на ошибку косвенно или предлагает перепроверить шаги, давая возможность додумать самостоятельно.
3️⃣ Ноль навыков в долгосрочной перспективе (Generalization)
Быстрая помощь ИИ дает иллюзию успеха, т.к. сиюминутная точность выполнения задачи действительно растет.
Однако обобщение знаний падает. Когда «ученику» дают аналогичную, но новую задачу, наличие предыдущих подсказок от ИИ вообще не улучшает результат. Ученик не усваивает принцип, так как за него проделали всю ментальную работу.
Авторы статьи предупреждают о риске постепенного выгорания самостоятельного мышления (gradual disempowerment). Когда нейросети оптимизированы на быстрый результат, они приучают пользователя к «когнитивной разгрузке». Мы теряем навык преодоления сложных задач (productive struggle), ведь проще сразу получить готовый ответ.
Разработчикам LLM нужно обучать ассистентов не просто реверсировать ошибки, а балансировать между краткосрочной помощью и долгосрочным обучением, т.е. давать пользователю совершать ошибки и доходить до сути своим умом.
#UXWatch
————
@pattern_ai | AI GDPR Navigator