Создать мир в одно касание кликПрежде чем начнем, легкая база:
❗Консистенстность персонажа, простыми словами, - это один и тот же персонаж из кадра в кадр.
❗Ретекстуризация- смена стиля фото с одного на другой, изменения цвета и т.д. По сути та же композиция, но перегенерировання.
❗Pic2Vid- генерация видео на основе изображения или двух (Start Frame (первый кадр) End Frame (последний кадр)).
❗Vid2Vid- генерация видео на основе видео, которая передает все те же движения персонажей/камеры, что в оригинальном видео.Уже были нейросети, в которых можно сгенерировать
HDRI карту для ваших 3D сцен. И это полезная штука! Но наткнулся на следующую нейросеть: принцип работы у нее будто такой-же, но есть свои особенности. Разработчики обещают необходимый стак инструментов для
работы с камерой. Это позволит нам летать по собственному миру.
Чем это полезноПредставим, что вы делаете аниматик или мультик или что угодно, на что хватает фантазии в нейтронных сетях. Кто много генерировал знает, что сейчас проблема с консистентностью персонажей более-менее решена. (
Cref у Midjourney). Однако, если вам нужны разные ракурсы одного персонажа или нужно сгенерировать диалог через восьмерку двух персонажей. Тут уже возникает нюанс: нужно, чтобы и персонаж был тот же, да еще и окружение. Именно поэтому, можно найти кучу различных сгенерированных трейлеров в интернете. Выглядит эффектно, а знаний нужно минимум. А вот чтобы уже рассказать некую историю с одним местом действия и одним героем, вот тут уже нужны более глубокие знания.
Так вот, с помощью
Worldlabs вы можете сгенерировать мир, расставить камеры, как вам нужно. И уже далее с помощью
редактора mj сгенерить необходимую стилистику
(edit - работает довольно хорошо).
Вот и необходимый минимум для не пыльной генерации диалога. Плюс вы можете сделать интересные пролеты камеры и догнать их стилистикой через
Runway Video2video.
Это в конце концов тот самый КОНТРОЛЬ, которого пока не хватает нейросетям. Из минусов: пока нет доступа к тестам, но есть
вейтлист, в котором я уже занял очередь. Что примечательно, разработчики выложили демки на их
сайте, в которых можно полетать камерой по сценам. Есть так же видео от разработчиков, в котором все очень наглядно.
К примерамЯ взял одну сцену из их примеров и покрутил в ней немного камерой, сделал два скрина, затем ретекстуризировал их в редакторе MJ. В видео есть несколько подходов.
Первое видео- это
Pic2Vid из обработанных в
Mj скринов
Start Frame и End Frame (есть легкий морфинг у статуи, но качество изображения куда выше).
Второе видео- тоже самое, но с оригинальными скриншотами
(видно, что качество хуже, но и консистенция выше).
Третье и четвертое видео- это уже
Vid2Vid в
RunWay с изменением стилей.
🔠🔠
Очень хочу добраться до всевозможных Ai инструментов касательно 3D. Там будто скрыт большой потенциал. Как только доберусь, сразу с вами поделюсь😉
