Димагогия

1) AI-2040 – таймлайны

В новом эссе авторы решили поиграть с роадмапом. Новый прогноз развивается гораздо более спокойно. Так называемый takeoff date (год, когда фронтир лаборатории автоматизируют AI research и начнется самоулучшение моделей) перенеслось с 2027 на 2030 годы.

Но это не значит, что прогресс замедлился! Просто ребята решили рассмотреть другой прогноз. Самый дерзкий прогноз takeoff year авторов приходится на 2028, медиана – где-то между 2031 и 2035.

Самоулучшение моделей практически равно сингулярности. В худшем случае апокалипсис или точка невозврата ожидается в течение года после начала эффективного самоулучшения.

Несмотря на это, авторы несколько раз подчеркивают, что они хотели воздержаться от прогнозов с точными датами (слишком много неопределенности) и скорее хотят сделать прогноз с последовательностью событий, что и в каком порядке будет происходить.

Поэтому на даты надо смотреть скептически, причем как про ускорение, так и про более медленный вариант событий.

У меня был четырехчасовой перелет и я прочитал AI-2040 почти полностью

Есть много мыслей, которыми я хочу поделиться. Но сначала стоит рассказать, о чем это вообще.

ai-2040.com – развитие нашумевшего ai-2027.com. ai2027 я комментировал тут, он про довольно страшный (и реалистичный) сценарий выхода суперинтеллекта из под контроля. Если вы не читали, то решительно советую, было очень интересно погрузиться в почти sci-fi прогноз.

Если в ai2027 разбирают в основном стремительные катастрофические варианты развития событий, то в ai2040 почти полностью посвящен позитивному сценарию (описание почти на 70 страниц). Авторы признают его маловероятным, но одним из немногих, при котором миру будет хорошо от развития искусственного интеллекта.

Сам сценарий - Plan A
В этом сценарии Америка и Китай в 2029 году осознают экзистенциальную опасность гонки вооружений. Америка боится самого ИИ, Китай боится, что Америка сделает более сильный ИИ и страны решают придти к соглашению – заморозить исследования, пока не решится, что с этим делать. Исследования замораживают на год, в это время страны решают
- сделать весь AI research публичным и открытым
- веса моделей, наоборот, сделать закрытыми
- все будущие датацентры строить на прокси-территориях, на которых США и Китай смогут взаимно уничтожить весь компьют
- вычисления на всех GPU или специальных чипов контроллировать специальной комиссией

Звучит невероятно? Да.
Сами авторы говорят, что в этот вариант они верят меньше, чем в вариант взаимного уничтожения. Но тем не менее стараются обосновать, почему рациональные игроки в теории игр могут быть склонны именно к таким мерам.

И я считаю, что самое интересное в ai2040 – именно анализ отдельных факторов, подкрепленный довольно трудоемкими исследованиям. О некоторых интересных деталях я и расскажу в следующих постах. Можете поставить побольше лайков, если хотите, чтобы я описал побольше факторов)

Маленький каминг-аут

Последние месяцы я работаю в новом стартапе, его делает Саша. Вчера мой друг Кирилл выпустил с ней подкаст, можете послушать замечательных людей!

Что за стартап? Конечно же, AI stealth neolab, которая занимается фундаментальными LLM исследованиями. До недавнего времени это был настолько стелс режим, что мы даже о существовании компании особо не рассказывали. Сейчас мы все еще немного скрываемся, поэтому много подробностей рассказать не могу.

Что я там делаю? Я понемногу сдвигаюсь от продуктовых ролей и перехожу больше в решение разных бизнесовых вопросиков. Я всегда работал в B2B стартапах, поэтому помимо чистой продуктовой работы была большая часть, связанная с продажами, Customer Success, Partnerships и другими темками. Ну а сейчас я прыгнул в этот бассейн с головой.

Надеюсь, что через некоторое время смогу рассказать вам что-нибудь еще. Часть новостей будет появляться на канале у Саши, а часть – у меня)

"В каких глупее?"

Мне кажется, что ему, как и многим другим LLM не хватает мета-навыков.

Когда надо держать в голове/памяти больше 6 критериев качества, Fable может иногда на это забивать. Этот навык у него примерно на уровне 16-летнего подростка, который придает инструкциям не очень большую значимость.

Например, когда я пишу персонализированные outreach сообщения, у меня есть требование "Не задавать вопрос из якобы любопытства, использовать для вопросов только конкретные темы". Раз в 7-10 сообщений Fable на это забивает и пишет так, как будто этой инструкции не существует.

Мне нравится, что Fable 5 умнее меня в некоторых вещах

Интересно, что эпоха Reliable Agent в ai-2027 начинается в апреле 2026 и длится несколько месяцев до появления Superhuman Coder в начала 2027 года.

В ai-2049 эта же стадия длится уже ~4 года, а более скромная стадия Automated Coder начинается спустя 4 года, в 2030 году. Это звучит гораздо более реалистично.

Сегодня день рождения у моей жены.

Вот три урока о B2B продажах, которые я извлек из наших отношений…

Все-таки чтобы вайбкодить что-то вменяемое, надо иметь хорошие навыки и инженера, и продакта.

Я чувствую, что для наколеночной автоматизации мне инженерных навыков хватает. А вот для более сложных систем – нет. Надеяться, что Opus 4.8 даст тебе эти недостающие компетенции, пока не стоит.

А еще вы бы знали, как же сложно заставить LLMки писать текст на английском без AI слопа...

Некоторые люди боятся лечиться у врачей, которые что-то гуглят во время приема.

Я бы предпочел лечиться у врача, который любой выставленный диагноз проверяет с клодом. Разумеется с загруженной документацией по анамнезам от других специалистов, иначе смысла не очень много.

Ну кто же знал, что мне нужно будет знакомить claude design с понятием отступов...