Суцкевер говорит не верить "бенчмарковым тестам" LLM-моделей, в которых они соревнуются, чтобы набрать повыше скоринг. В ИИ-лабах модели затачиваются под решение таких тестов, а не под реальный перформанс "на бою". Это как набить руку сдавать ЕГЭ на 90+ баллов, но не разбираться в предмете.

Исследовательские группы имеют целые подразделения, которые занимаются исключительно созданием новых сред обучения, специально разработанных для повышения результатов тестов. Модели запоминают "правильные" ответы, а не изучают концепции (как человек), вариативности и практические кейсы. В итоге то, что мы получаем, выглядит как интеллект, но является непригодным для полевых условий сопоставлением шаблонов с увиденными данными.

Как итог — на бумаге модель уже умнее человека, почти гениальна, но бизнес пока испытывает много трудностей с извлечением ценности и реальной прибыли из ИИ. Человек учится концепции один раз за несколько попыток и применяет ее везде (например, ездить на велосипеде, писать посты в соцсети). Модели должны увидеть точный паттерн тысячи раз ,и всё равно терпят неудачу, когда формат немного меняется.

Настоящий прорыв ещё впереди.

@ProstoVenture