Репост из: Сиолошная
Levels of AGI: Operationalizing Progress on the Path to AGI
Статья от DeepMind, в которой предлагается фреймворк оценки AGI-шности систем.
Для этого авторы проанализировали существующие определения AGI и выделили шесть принципов, которые нужно учитывать.
К ним относятся: концентрация на возможностях в отличие от механизмов или процессов (AGI/не AGI не дожлно определяться тем, работает ли там LLM, другая неросеть или хоть что: важно фокусироваться на возможностях), отдельная оценка универсальности и производительности (см. ниже). Больше всего мне понравился принцип «Focus on Potential, not Deployment», ибо достижение чего-то в лабораторных условиях как MVP/прохождение бенчмарков и разворачивание системы в реальном мире, интеграция её в экономику — это очень разные задачи.
Учитывая эти принципы, предлагаются «Уровни AGI», основанные на глубине (производительности) и широте (общности) возможностей, и проводится анализ того, как существующие системы вписываются в эту классификацию.
Ну и по бенчмарку получается, что следующий этап, который нас ждет — это Competent AGI, достигающий уровня медианного человека. Предыдущий уровень — Emerging AGI, эквивалентный или нескольким лучший, чем неквалифицированный для конкретной задачи человек, уже достигнут ChatGPT и даже Llama 2 (хотя тут я бы поспорил).
Статья от DeepMind, в которой предлагается фреймворк оценки AGI-шности систем.
Для этого авторы проанализировали существующие определения AGI и выделили шесть принципов, которые нужно учитывать.
К ним относятся: концентрация на возможностях в отличие от механизмов или процессов (AGI/не AGI не дожлно определяться тем, работает ли там LLM, другая неросеть или хоть что: важно фокусироваться на возможностях), отдельная оценка универсальности и производительности (см. ниже). Больше всего мне понравился принцип «Focus on Potential, not Deployment», ибо достижение чего-то в лабораторных условиях как MVP/прохождение бенчмарков и разворачивание системы в реальном мире, интеграция её в экономику — это очень разные задачи.
Учитывая эти принципы, предлагаются «Уровни AGI», основанные на глубине (производительности) и широте (общности) возможностей, и проводится анализ того, как существующие системы вписываются в эту классификацию.
Ну и по бенчмарку получается, что следующий этап, который нас ждет — это Competent AGI, достигающий уровня медианного человека. Предыдущий уровень — Emerging AGI, эквивалентный или нескольким лучший, чем неквалифицированный для конкретной задачи человек, уже достигнут ChatGPT и даже Llama 2 (хотя тут я бы поспорил).