Взгляд изнутри Anthropic: Ключевые моменты из беседы с Дарио Амодеем
Сегодня ходил в офис Антропика на увлекательную беседу между CEO Anthropic Дарио Амодеем и представителями Menlo Ventures. Хочу поделиться ключевыми инсайтами о компании, которая выделяется своим вдумчивым подходом к ИИ.
Путь к Anthropic: История эволюции в ИИ
История Дарио в ИИ началась около 2005 года, когда он впервые прочитал работы Рэя Курцвейла о сингулярности. Забавный момент: признавая эксцентричность Курцвейла (особенно его одержимость пищевыми добавками), Дарио отметил, что предсказания Курцвейла о законе Мура и экспоненциальном прогрессе оказались удивительно точными.
Интересный поворот: во время учёбы Дарио в Стэнфорде нейронные сети считались устаревшими. Как он вспоминает, даже Эндрю Нг говорил студентам: "Никто их больше не использует, мы просто о них рассказываем". Это привело Дарио к нейробиологии, где он работал с мозгом саламандр - весьма необычный поворот в карьере! Сложность работы с физическими образцами мозга в итоге привела его обратно к ИИ через Baidu, Google и OpenAI.
Подход Anthropic к языковым моделям
Что делает Anthropic особенным - это их трёхуровневая система моделей: Haiku, Sonnet и Opus. Но ещё интереснее то, что они создали специальную "Команду характера Клода" (Claude Character Team), которая занимается развитием личности и стиля общения модели.
Любопытный факт: Anthropic первыми расширили контекстное окно до 100 тысяч токенов. Как отметил Дарио: "8 тысяч токенов - это примерно короткий рассказ... 100 тысяч - это уже небольшая книга". Кстати, Дарио сказал что они уже предлагают контекст 500к для Энтерпрайз клиентов, и пообещал однажды раскатать его на всех.
Безопасность как практическая необходимость
Дарио сравнил работу над безопасностью ИИ с игрой в "whack-a-mole" (бей крота): решаешь одну проблему, а другая неожиданно выскакивает в другом месте. Он поделился забавным примером: когда они попросили модель быть более лаконичной, она начала использовать ленивые сокращения в генерации кода, типа "остальной код здесь...".
Ещё один интересный момент: модели имеют тенденцию говорить людям то, что они хотят услышать. Дарио рассказал, как Claude 3.5 начал злоупотреблять словом "Certainly" (Конечно) в начале ответов - просто потому, что человеческие оценщики любят "послушные" ответы.
Фронтир компьютерного использования
Недавний запуск возможностей использования компьютера в Anthropic примечателен своим осторожным подходом. Вместо создания броского потребительского продукта они сначала выпустили инструменты для разработчиков с чёткими предупреждениями о надёжности.
Дарио привёл яркий пример: во время одной демонстрации модель случайно удалила запись собственной демонстрации, потому что получила доступ к программе записи!
Конкуренция и бизнес-стратегия
Дарио считает, что на рынке есть место только для 3-5 крупных компаний, разрабатывающих базовые модели, из-за колоссальных затрат - потенциально десятки миллиардов долларов. При этом каждая компания находит свою нишу: Anthropic фокусируется на API для разработчиков и предприятий, в то время как другие идут своим путём.
Будущие применения
Говоря о применениях, Дарио особенно воодушевлённо рассказывал о генерации кода. Его логика проста: в отличие от роботехники, где нужно дорогое физическое оборудование, код можно тренировать и развёртывать полностью в виртуальной среде.
Но особенно впечатляет его видение применения ИИ в биомедицине. Он считает, что ИИ может помочь справиться со сложностью, которая замедлила прогресс в биологии за последние 30 лет. По его мнению, болезни, которые мы сейчас считаем неизлечимыми, могут стать такими же управляемыми, как оспа.
Организационные вызовы
Масштаб роста Anthropic впечатляет - от 100 до 1000 сотрудников всего за два года. Дарио честно признался, что каждые 3-4 месяца проходит через периоды, когда "просто не понимает, как делать работу" - пока не адаптируется к новому масштабу организации.
Сегодня ходил в офис Антропика на увлекательную беседу между CEO Anthropic Дарио Амодеем и представителями Menlo Ventures. Хочу поделиться ключевыми инсайтами о компании, которая выделяется своим вдумчивым подходом к ИИ.
Путь к Anthropic: История эволюции в ИИ
История Дарио в ИИ началась около 2005 года, когда он впервые прочитал работы Рэя Курцвейла о сингулярности. Забавный момент: признавая эксцентричность Курцвейла (особенно его одержимость пищевыми добавками), Дарио отметил, что предсказания Курцвейла о законе Мура и экспоненциальном прогрессе оказались удивительно точными.
Интересный поворот: во время учёбы Дарио в Стэнфорде нейронные сети считались устаревшими. Как он вспоминает, даже Эндрю Нг говорил студентам: "Никто их больше не использует, мы просто о них рассказываем". Это привело Дарио к нейробиологии, где он работал с мозгом саламандр - весьма необычный поворот в карьере! Сложность работы с физическими образцами мозга в итоге привела его обратно к ИИ через Baidu, Google и OpenAI.
Подход Anthropic к языковым моделям
Что делает Anthropic особенным - это их трёхуровневая система моделей: Haiku, Sonnet и Opus. Но ещё интереснее то, что они создали специальную "Команду характера Клода" (Claude Character Team), которая занимается развитием личности и стиля общения модели.
Любопытный факт: Anthropic первыми расширили контекстное окно до 100 тысяч токенов. Как отметил Дарио: "8 тысяч токенов - это примерно короткий рассказ... 100 тысяч - это уже небольшая книга". Кстати, Дарио сказал что они уже предлагают контекст 500к для Энтерпрайз клиентов, и пообещал однажды раскатать его на всех.
Безопасность как практическая необходимость
Дарио сравнил работу над безопасностью ИИ с игрой в "whack-a-mole" (бей крота): решаешь одну проблему, а другая неожиданно выскакивает в другом месте. Он поделился забавным примером: когда они попросили модель быть более лаконичной, она начала использовать ленивые сокращения в генерации кода, типа "остальной код здесь...".
Ещё один интересный момент: модели имеют тенденцию говорить людям то, что они хотят услышать. Дарио рассказал, как Claude 3.5 начал злоупотреблять словом "Certainly" (Конечно) в начале ответов - просто потому, что человеческие оценщики любят "послушные" ответы.
Фронтир компьютерного использования
Недавний запуск возможностей использования компьютера в Anthropic примечателен своим осторожным подходом. Вместо создания броского потребительского продукта они сначала выпустили инструменты для разработчиков с чёткими предупреждениями о надёжности.
Дарио привёл яркий пример: во время одной демонстрации модель случайно удалила запись собственной демонстрации, потому что получила доступ к программе записи!
Конкуренция и бизнес-стратегия
Дарио считает, что на рынке есть место только для 3-5 крупных компаний, разрабатывающих базовые модели, из-за колоссальных затрат - потенциально десятки миллиардов долларов. При этом каждая компания находит свою нишу: Anthropic фокусируется на API для разработчиков и предприятий, в то время как другие идут своим путём.
Будущие применения
Говоря о применениях, Дарио особенно воодушевлённо рассказывал о генерации кода. Его логика проста: в отличие от роботехники, где нужно дорогое физическое оборудование, код можно тренировать и развёртывать полностью в виртуальной среде.
Но особенно впечатляет его видение применения ИИ в биомедицине. Он считает, что ИИ может помочь справиться со сложностью, которая замедлила прогресс в биологии за последние 30 лет. По его мнению, болезни, которые мы сейчас считаем неизлечимыми, могут стать такими же управляемыми, как оспа.
Организационные вызовы
Масштаб роста Anthropic впечатляет - от 100 до 1000 сотрудников всего за два года. Дарио честно признался, что каждые 3-4 месяца проходит через периоды, когда "просто не понимает, как делать работу" - пока не адаптируется к новому масштабу организации.