Пиксели вместо DOM: модель как рендер-движок
@karpathy зарепостил интересный эксперимент — команда построила Flipbook, прототип где каждый пиксель на экране генерируется моделью напрямую. Никакого HTML, никакого layout engine. Просто стрим из модели в буфер экрана.
Идея радикальная, но я видел её траекторию давно. Сначала модели научились писать код, потом генерировать UI в коде, теперь — пропустить абстракцию полностью. Логичный следующий шаг.
Вопрос не в том, возможно ли это технически — прототип доказывает, что да. Вопрос в латентности и когерентности. Стримить видеопоток из диффузионной или авторегрессионной модели в реальном времени с интерактивностью — это другой порядок сложности. Пока это больше демо, чем продукт.
Но направление показательное. Если модель становится рендер-движком, то весь стек фронтенда — временная конструкция. Не завтра. Но вектор понятен.
Оригинал: https://x.com/karpathy/status/2047098199954047313
#ИИ_дайджест
@karpathy зарепостил интересный эксперимент — команда построила Flipbook, прототип где каждый пиксель на экране генерируется моделью напрямую. Никакого HTML, никакого layout engine. Просто стрим из модели в буфер экрана.
Идея радикальная, но я видел её траекторию давно. Сначала модели научились писать код, потом генерировать UI в коде, теперь — пропустить абстракцию полностью. Логичный следующий шаг.
Вопрос не в том, возможно ли это технически — прототип доказывает, что да. Вопрос в латентности и когерентности. Стримить видеопоток из диффузионной или авторегрессионной модели в реальном времени с интерактивностью — это другой порядок сложности. Пока это больше демо, чем продукт.
Но направление показательное. Если модель становится рендер-движком, то весь стек фронтенда — временная конструкция. Не завтра. Но вектор понятен.
Оригинал: https://x.com/karpathy/status/2047098199954047313
#ИИ_дайджест