Psy Eyes


Kanal geosi va tili: Butun dunyo, Ruscha
Toifa: San’at


Креатив + AI + Web3... и мемы
Личная страница @andrey_bezryadin

Связанные каналы  |  Похожие каналы

Kanal geosi va tili
Butun dunyo, Ruscha
Statistika
Postlar filtri


JoyVASA: анимация картинок людей и животных по аудио с липсиком.

На первом этапе используется система раздельного представления лица, которая отделяет динамические выражения эмоций от статических лицевых 3D-представлений. Такое разделение позволяет системе генерировать более длинные видео, комбинируя любое статическое 3D-представление с динамическими последовательностями движений. Затем, на втором этапе, диффузионный трансформатор обучается генерировать последовательности движений непосредственно из аудиосигналов, независимо от идентичности персонажей. Наконец, генератор, обученный на первом этапе, использует 3D-представление лица и сгенерированные последовательности движений в качестве входных данных для создания высококачественной анимации.

Видео на выходе не шакалится, а рот не "жуётся" в пиксельную кашу. Но расти всё ещё есть куда, ибо пока результат кажется оторванным от реальности. Тем не менее, здесь есть код, а это не частая история для таких моделек.

Похожее из опенсорса: LivePortrait (который тут под капотом и испольуется), EchoMimic, V-express, DreamTalk, MuseTalk, и Hallo. Из закрытых HeyGen и Runway Act One, например.

Сайт
Гитхаб
Хаггинг


Krea: смешивание картинок на основе Flux с указанием веса стиля мышкой стало доступно всем бесплатно.

Сайт
Твит




Black Forest Labs: выпустили Tools, набор моделей для тонкой работы с генерацией изображений.

В него входит:
* FLUX.1 Fill: модель для инпейтинга и аутпейтинга, позволяющая вписывать/менять объекты на картинках или расширять кадр.
* FLUX.1 Depth: изменение картинки на основе карты глубины.
* FLUX.1 Canny: изменение картинки на основе карты очертаний.
* FLUX.1 Redux: адаптер для получения вариаций изображения.

Canny и Depth идут в двух вариантах: полных моделях с максимальным качеством, и лоры (Canny Lora плюс Depth Lora) на основе Dev для упрощенной разработки.

Всё это уже можно крутить в Comfy (обновляемся до последней версии).

Данные решения от BFL показывают себя лучше, чем контролнеты собранные сообществом, вроде варианта от Alibaba (хотя в анонсе ссыль ведёт на альфа версию контролнета, а уже есть обновлённая бета). Также пишут, что картинки на выходе лучше других моделей, но на их бенчах нет Recraft V3.

В целом, BFL молодцы, что работают и на комьюнити, продвигая опенсорс, и себя не забывают с платными фишками по API.

Анонс
Хаггинг
Гитхаб
Запуск в Comfy


Video oldindan ko‘rish uchun mavjud emas
Telegram'da ko‘rish
RealityCapture: софт для фотограмметрии обновился до v 1.5.

Что нового:
* Экспорт Radiance Fields Transform и COLMAP для работы со сплатами и нерфами;
* Ускорение текстуризации;
* Вывод в USD и USDZ форматах;
* Дефрагментация текстур, для улучшения их качества и ускорения обработки;
*
* и другие улучшения.

А ёще недавно в RC стал бесплатен, если ваш доход меньше $1 млн/год.

Если у вас стоит v 1.4.2, то её нужно будет удалить, перезапустить лаунчер, и тогда появится возможность установить v 1.5.

Анонс
Полное видео на YouTube


Студентка по скетчам от руки сделала 3D модели персонажей и их анимацию.

Использовались:
* Edit mode и --Sref из Midjourney
* Krea
* Tripo3D
* Minimax

Понятно, что есть огрехи, неконсистентность, и мало контроля. Но для черновых анимаций, дабы понимать что работает, а что нет, вполне вариант.

Твит


Метаверсище и ИИще dan repost
Так, а теперь завершаем 2D->3D марафон и складываем все в одну коробочку.

Вчера постил благую весть, о том, что CogVideo 1.5 завезли в Комфи, перебрав все косточки по дороге.
Приводил пример видео генерации с лорой на движение камеры от автора интеграции.
А сегодня смышленые парни уже берут такие генерации кормят их в postshot и получают метаверсик этого сгенеренного мира. Пример нечищеный, как есть.

И да, это 3dgs - гауссианы, полученные из postshot.

Кто не знает про postshot - глядите сюда https://www.jawset.com/ (надо немного знать 3Д).

А я проматываю на пару лет вперед и вижу то самое королевство кривых зеркал (может и прямых, кстати).

Вы силой мысли(или дрожащим голосом) генерите любую влажную картинку из ваших фантазий, а потом просто заныриваете в нее. Ибо мир уже готов, гауссианы ждут вас в свои объятия. Хотя через пару лет это уже будут наверное нано-латентные-пиксели, учитывающие вашу биохимию.

А если отставить нейродедовский юмор, то Midjourney как раз что-то лопотали про это на своих Open Hours. Писал об этом тут.

Ох, куда катится мир... в какие картинки.

@cgevent


Как-то пролетело мимо радаров. У HotShot ещё и можно персонализировать видео, закинув своё фото.

Это доступно, начиная со Standard за $29. Даётся 200 генераций в месяц, и безлимитное количество дневных круток (вероятно имеются ввиду ежедневные бесплатные генерации как в Kling).






Hotshot: этот генератор видео выкатил управление видео по рефу. Работает и с синтетическими направляющими: второе видео я сгенерил в Mochi, а третье это результат из Hotshot.

Промт:
A robot standing at a night cyberpunk city street. It is smiling, nodding, saying something, and appears to be looking at something. The robot is made of metal and plastic and is standing in front of a crosswalk. There is traffic in the background, including cars and a traffic light.

Похоже на Movie Gen, видеолоры в Kling, отчасти Act One от Runway, ну и опенсорсный LivePortrait. Но команда HotShot состоит из всего нескольких человек вроде.

На сайте видео по рефу генерятся за секунды. По крайне мере пока, залетайте. Там 3 бесплатные генерации в день.

Сайт


Video oldindan ko‘rish uchun mavjud emas
Telegram'da ko‘rish


Suno: выкатили V4 своего генератора музыки. Голоса стали чище, структура треков композиционно насыщеннее, а тексты стали лучше ложиться на инструменты.

Вместе с этим добавились новые фичи: ремастер треков до варианта от V4 (вероятно работает только с генерациями внутри Suno), улучшенное создание текстов с помощью ReMi, работа с обложками. Старые фичи Covers и Personas тоже получили апгрейд.

Примеры звучания V4 от авторов Suno.

Раздел Explore также обновился, и можно покрутить барабан обновлённых жанров. Есть только ощущение, что там не весь контент обновлён, но его в любом случае весело крутить.

Пока V4 доступна только платным подписчикам.

Сайт
Анонс
Примеры V4


Kling: обновили тарифные планы и теперь в бесплатный триал включено 366 кредитов в месяц, плюс доступ к платным функциям: профессиональному режиму (5 генераций) и расширению видео (2 генерации).

Ещё они недавно добавили в API доступ к V 1.5 с профессиональным режимом и расширением видео за те же деньги, что и V 1.

谢谢 братьям китайцам!

Сайт


Чем сделано видео выше?




Video oldindan ko‘rish uchun mavjud emas
Telegram'da ko‘rish


Video oldindan ko‘rish uchun mavjud emas
Telegram'da ko‘rish
Полноэкранный режим в миниапах телеги таки заработал. Плюс возможность добавлять иконки миниапок на рабочий стол мобилы, и другие ништяки.

Я всё обновил с десктопа и мобилы, но с компа (Win) пока не нахожу прил, которые бы запускались в полноэкранном режиме. А на андройде иконки не добавляются на рабочий стол. Может чего надо в настройках разрешений надо поменять.

У вас как?

Апдейт: фуллскрин работает просто не во всех апах. Тут пашет @tverse. А там, где его нет можно вручную окно расширить.


не нерфничай

В PostShot, софте для работы со сплатами, начиная с V 0.4.181 больше не будет возможности тренировать NeRF сцены — профили для этого удалены.

Это сделано, потому что: сплаты выдают лучше качество, тренируются быстрее, потребляют меньше памяти, и вызывают меньше ошибок при работе.

Если таки хотите потестить тренировку нерфов через PostShot, можете скачать предыдущие версии отсюда. Или к вашим услугам NerfStudio и аналоги.


Video oldindan ko‘rish uchun mavjud emas
Telegram'da ko‘rish

20 ta oxirgi post ko‘rsatilgan.