Всеволод Плетнев

134 217 728 вокселей, 48к лучей, 60 fps на CPU air m5

И все это работает на тормозном JavaScirpt

Так вот, кто-то хотел глянуть код и я попросил нейронку вырезать рейкастер вокселей, получилось всего ~500 строк кода

Демо + Исходники

На этой ноте я с рендерами на CPU заканчиваю, доотлаживался

Да, SDF поражает своими возможностями. Уверен, что на пару с генетическими алгоритмами и инверсной кинематикой получатся какие-то совершенно невообразимые варианты

(братану на видео местами плохо, но от этого он выглядит только страшнее)

Я заебу вокселями, но это очень красиво, особенно с элементами разрушаемости

Какая-то безумная красота получается, пока я играюсь с гауссино-вокселями и картой освещенности пустых вокселей в своем движке для рендерига вокселей, sdf и так далее на лучах. Пока это все отлаживатеся и оптимизируется на CPU, потому работает не слишком быстро

До сих пор не верю, что мой последний пост в тви про трассировку лучей собрал больше трех тысяч лайков, принес более 400 подписчиков и просто был добавлен в закладки более тысячи раз

Ну и раз эта тема столь интересна, я считаю, что должен продолжить. В прошлом посте я рассказывал о гибриде разных методов бросания лучей для отрисовки в один проход вокселей, SDF, гауссин и так далее. В этом посте я коротко поясню о том, как это работает (в приложенном видео анимация работы алгоритма) + дам необходимые ссылки ниже

1. Видимый мир

В данном на видео демо все, что мы рисуем, состоит из двух вещей: воксели и sdf (гладкие формы, шары, скругленные тела и не только). Мир гибридный — кубики и гладкие фигуры живут вместе в одной сетке. И на первом шаге мы строим эту сетку, определяя в какой клетке какие воксели или фигуры находятся. Важно заметить, что одна фигура может занимать несколько клеток, а несколько фигур могут занять одну клетку


2. Пирамида

Чтобы не проверять каждую клетку по отдельности (их миллионы), мы строим над сеткой пирамиду. Делим мир на более крупные ячейки и для каждой запоминаем всего одно: есть внутри хоть что-нибудь или там пусто. Потом объединяем ячейки по четыре в более крупные, и так уровень за уровнем. Получается "карта заполненности", где пустые области отваливаются целыми кусками, а в заполненных ячейках могут содержаться воксели и/или фигуры

3. Лучи

Теперь пускаем луч. Луч идет по пирамиде сверху вниз: попал в крупную пустую ячейку — перепрыгнул ее целиком одним шагом, не тратя время. Попал в заполненную — спускаемся на уровень мельче и смотрим внимательнее. Дошли до вокселей — включаем ray casting. Дошли до гладкой фигуры — включаем ray marching, пока не приблизимся на минимальную необходимую дистанцию или пролетим мимо. Так луч быстро проскакивает пустоту и быстро находит воксель или фигуру, в которую вероятнее всего упрется

Помимо вокселей и sdf сюда же могут идти отдельные модели с собственной воксельной сеткой, объемные гауссины, частицы и так далее. В каждом отдельном случае используется необходимый способ бросания луча или комбинация несколькольких

В демо на видео мне удалось в 60fps отрисовывать 1 073 741 824 цветных вокселя и около 100 простых sdf без использования GPU на обычном canvas 2d context (javascript)

Мне удалось нащупать сочетание разных методов бросания лучей, которое рисует в реальном времени воксели, объемные гауссианы и сложные гладкие поверхности (SDF) — все сразу, в одном кадре, с отражениями, преломлениями и освещением

Скорее всего, я не открыл Америку. Но картинка получается непривычная: объемный дым, который отбрасывает тень и сам освещается, лиминальные пространства, фракталы, довольно странные существа

Самое интересное вылезло дальше. Когда весь мир обсчитывается лучами и полем расстояний, те же механизмы закрывают не только картинку. По полю считаются столкновения и направления сил, отдельного кода физики почти не понадобилось. Со звуком то же самое: лучи от источника обходят сцену так же, как световые, и дают отражения, задержки и поглощение по материалам

Да, в упрощенном виде, но такого нет в подавляющем большинстве игр. Тот факт, что один механизм закрыл сразу три составляющие виртуального мира, поразил меня. В итоге простой рендер за несколько вечеров разросся до небольшого движка, пусть и демонстрационного

А получилось-то по итогу заебись. Адаптировал захват экрана/инпута под win+amd и steamos, в локальной сети или через 5G можно даже в шутер простенький поиграть, ведь задержка минимальная при стабильных 60 FPS

Изначально я разрабатывал эту утилиту для удаленной разработки и вайбкодинга. Мне нужен был доступ к стриму с рабочего стола где я буду видеть результат работы нейронки + терминал поверх него. Но получилось настолько круто, что это подошло и для совместного просмотра видео, игр, прослушивания музыки и так далее

При этом никаких уебанских подписок, тормозов через промежуточные сервера, сложных установок и настроек

Я просто запускаю команду на хосте и открываю ссылку в любом браузере — готово, стрим есть, ввод работает, а плавность и отклик дают в рот всяким тимвюверам и парсекам

Особенно круто это выглядит на мобильных и планшетах, хотя над вводом еще работать и работать