😱 ИИ тупеет. Прям как мы.
Сидишь, работаешь, вроде даже умный. У тебя и база, и память, и логика, а потом залипаешь в X и всё — минус два балла IQ.
Вот примерно то же сейчас происходит с языковыми моделями. ИИ, который должен помогать писать код, структурировать мысли и думать тоже подсел на мемы в твиттере. И от этого становится... ну… как бы сказать… глупее.
❗️ Недавно ребята из University of Texas и Purdue сделали исследование. Назвали его, как хороший интернет-пост:
“LLMs Can Get Brain Rot!”
Они взяли языковые модели и начали их дообучать на том, что мы регулярно потребляем в интернете: мемчики, твитики по 100 символов, кликбейт‑сводки без контекста.
И что вы думаете?
⬇️ Способность рассуждать упала с 75% до 57%.
⬇️ Понимать длинный текст — с 84% до 52%.
⬇️ Некоторые модели вообще затыкались (это не метафора, они переставали отвечать на запросы).
⬇️ Ну и галлюцинировали они чаще обычного.
❓А теперь вопрос, если ты пилишь продукт с ИИ‑ассистентом, чатиком или дообучаешь модель на пользовательских данных — ты вообще проверяешь, чем ты её кормишь?
Потому что если это:
1) дообучаете модель на пользовательских ответах «как есть»;
2) собираете фидбэк без фильтра: «Напиши, что хочешь»;
3) генерируете тексты с вау-эффектом и переиспользуете их в обучении;
4) нет метрик качества мышления;
5) доверяете пользовательскому контенту без модерации;
то модель твоя, возможно, на стадии «читает комментарии к новостям и считает это образованием».
❓ Что делать:
Начни следить не только за тем, что модель выдаёт, но и за тем, что она читает.
Качество данных — это не шутка, а компетенция.
ИИ уже не магия, а организм, и если ты его кормишь некачественно, то он не вырастет гением. Зато вырастет как коллега по работе, который с утра смотрит YouTube Shorts, а днём пишет вам в чатик: «Ну я это в твиттере увидел, там щас все про это пишут».
Сидишь, работаешь, вроде даже умный. У тебя и база, и память, и логика, а потом залипаешь в X и всё — минус два балла IQ.
Вот примерно то же сейчас происходит с языковыми моделями. ИИ, который должен помогать писать код, структурировать мысли и думать тоже подсел на мемы в твиттере. И от этого становится... ну… как бы сказать… глупее.
❗️ Недавно ребята из University of Texas и Purdue сделали исследование. Назвали его, как хороший интернет-пост:
“LLMs Can Get Brain Rot!”
Они взяли языковые модели и начали их дообучать на том, что мы регулярно потребляем в интернете: мемчики, твитики по 100 символов, кликбейт‑сводки без контекста.
И что вы думаете?
⬇️ Способность рассуждать упала с 75% до 57%.
⬇️ Понимать длинный текст — с 84% до 52%.
⬇️ Некоторые модели вообще затыкались (это не метафора, они переставали отвечать на запросы).
⬇️ Ну и галлюцинировали они чаще обычного.
❓А теперь вопрос, если ты пилишь продукт с ИИ‑ассистентом, чатиком или дообучаешь модель на пользовательских данных — ты вообще проверяешь, чем ты её кормишь?
Потому что если это:
1) дообучаете модель на пользовательских ответах «как есть»;
2) собираете фидбэк без фильтра: «Напиши, что хочешь»;
3) генерируете тексты с вау-эффектом и переиспользуете их в обучении;
4) нет метрик качества мышления;
5) доверяете пользовательскому контенту без модерации;
то модель твоя, возможно, на стадии «читает комментарии к новостям и считает это образованием».
❓ Что делать:
Начни следить не только за тем, что модель выдаёт, но и за тем, что она читает.
Качество данных — это не шутка, а компетенция.
ИИ уже не магия, а организм, и если ты его кормишь некачественно, то он не вырастет гением. Зато вырастет как коллега по работе, который с утра смотрит YouTube Shorts, а днём пишет вам в чатик: «Ну я это в твиттере увидел, там щас все про это пишут».