Psy Eyes

@Psy_Eyes @psypark

Channel's geo and language: World, Russian

Category: Art

Креатив + AI + Web3... и мемы
Личная страница @andrey_bezryadin

Related channels | Similar channels

Channel's geo and language

World, Russian

Psy Eyes

22 Nov, 15:16

00:12

JoyVASA: анимация картинок людей и животных по аудио с липсиком.

На первом этапе используется система раздельного представления лица, которая отделяет динамические выражения эмоций от статических лицевых 3D-представлений. Такое разделение позволяет системе генерировать более длинные видео, комбинируя любое статическое 3D-представление с динамическими последовательностями движений. Затем, на втором этапе, диффузионный трансформатор обучается генерировать последовательности движений непосредственно из аудиосигналов, независимо от идентичности персонажей. Наконец, генератор, обученный на первом этапе, использует 3D-представление лица и сгенерированные последовательности движений в качестве входных данных для создания высококачественной анимации.

Видео на выходе не шакалится, а рот не "жуётся" в пиксельную кашу. Но расти всё ещё есть куда, ибо пока результат кажется оторванным от реальности. Тем не менее, здесь есть код, а это не частая история для таких моделек.

Похожее из опенсорса: LivePortrait (который тут под капотом и испольуется), EchoMimic, V-express, DreamTalk, MuseTalk, и Hallo. Из закрытых HeyGen и Runway Act One, например.

Сайт
Гитхаб
Хаггинг

321 1 14

Psy Eyes

22 Nov, 14:27

Krea: смешивание картинок на основе Flux с указанием веса стиля мышкой стало доступно всем бесплатно.

Сайт
Твит

564 3 38

Psy Eyes

22 Nov, 12:12

Очень мало толковых каналов по AI, где автор сам реально шарит. ЭЙАЙ НЬЮЗ — уникальный канал в этом плане.

Его ведёт техлид из команды LLaMa, которая публикует и много моделей/исследований в опенсорс, и предоставляет коммерческие решения для обычных пользователей и бизнеса. Чел защитил PhD в лабе откуда вышел Stable Diffusion, а также запилил видеогенератор MovieGen, выдающий результаты лучше, чем Sora от OpenAI. Можно сказать канал глазами инсайдера индустрии.

В нём есть разборы новостей про AI, плюс байки о ресёрче и карьере в сфере нейросетей. А еще там много гайдов и ликбезов.

В общем, подписывайтесь, если хотите оставаться в теме нейронок: ai_newz

Реклама. ЭЙАЙ НЬЮЗ erid:2VtzqvPKvm4

635 1 3

Psy Eyes

21 Nov, 21:17

838 1 4 11 2

Psy Eyes

21 Nov, 21:08

Black Forest Labs: выпустили Tools, набор моделей для тонкой работы с генерацией изображений.

В него входит:
* FLUX.1 Fill: модель для инпейтинга и аутпейтинга, позволяющая вписывать/менять объекты на картинках или расширять кадр.
* FLUX.1 Depth: изменение картинки на основе карты глубины.
* FLUX.1 Canny: изменение картинки на основе карты очертаний.
* FLUX.1 Redux: адаптер для получения вариаций изображения.

Canny и Depth идут в двух вариантах: полных моделях с максимальным качеством, и лоры (Canny Lora плюс Depth Lora) на основе Dev для упрощенной разработки.

Всё это уже можно крутить в Comfy (обновляемся до последней версии).

Данные решения от BFL показывают себя лучше, чем контролнеты собранные сообществом, вроде варианта от Alibaba (хотя в анонсе ссыль ведёт на альфа версию контролнета, а уже есть обновлённая бета). Также пишут, что картинки на выходе лучше других моделей, но на их бенчах нет Recraft V3.

В целом, BFL молодцы, что работают и на комьюнити, продвигая опенсорс, и себя не забывают с платными фишками по API.

Анонс
Хаггинг
Гитхаб
Запуск в Comfy

5.3k 7 214 2

Psy Eyes

21 Nov, 18:41

01:35

Video is unavailable for watching

Show in Telegram

RealityCapture: софт для фотограмметрии обновился до v 1.5.

Что нового:
* Экспорт Radiance Fields Transform и COLMAP для работы со сплатами и нерфами;
* Ускорение текстуризации;
* Вывод в USD и USDZ форматах;
* Дефрагментация текстур, для улучшения их качества и ускорения обработки;
*
* и другие улучшения.

А ёще недавно в RC стал бесплатен, если ваш доход меньше $1 млн/год.

Если у вас стоит v 1.4.2, то её нужно будет удалить, перезапустить лаунчер, и тогда появится возможность установить v 1.5.

Анонс
Полное видео на YouTube

931 2 34 5

Psy Eyes

21 Nov, 17:36

00:16

Студентка по скетчам от руки сделала 3D модели персонажей и их анимацию.

Использовались:
* Edit mode и --Sref из Midjourney
* Krea
* Tripo3D
* Minimax

Понятно, что есть огрехи, неконсистентность, и мало контроля. Но для черновых анимаций, дабы понимать что работает, а что нет, вполне вариант.

Твит

969 3 84

Psy Eyes

21 Nov, 16:10

Forward from: Метаверсище и ИИще

Так, а теперь завершаем 2D->3D марафон и складываем все в одну коробочку.

Вчера постил благую весть, о том, что CogVideo 1.5 завезли в Комфи, перебрав все косточки по дороге.
Приводил пример видео генерации с лорой на движение камеры от автора интеграции.
А сегодня смышленые парни уже берут такие генерации кормят их в postshot и получают метаверсик этого сгенеренного мира. Пример нечищеный, как есть.

И да, это 3dgs - гауссианы, полученные из postshot.

Кто не знает про postshot - глядите сюда https://www.jawset.com/ (надо немного знать 3Д).

А я проматываю на пару лет вперед и вижу то самое королевство кривых зеркал (может и прямых, кстати).

Вы силой мысли(или дрожащим голосом) генерите любую влажную картинку из ваших фантазий, а потом просто заныриваете в нее. Ибо мир уже готов, гауссианы ждут вас в свои объятия. Хотя через пару лет это уже будут наверное нано-латентные-пиксели, учитывающие вашу биохимию.

А если отставить нейродедовский юмор, то Midjourney как раз что-то лопотали про это на своих Open Hours. Писал об этом тут.

Ох, куда катится мир... в какие картинки.

@cgevent

476 0 16 6

Psy Eyes

21 Nov, 15:10

00:12

Как-то пролетело мимо радаров. У HotShot ещё и можно персонализировать видео, закинув своё фото.

Это доступно, начиная со Standard за $29. Даётся 200 генераций в месяц, и безлимитное количество дневных круток (вероятно имеются ввиду ежедневные бесплатные генерации как в Kling).

881 2 18

Psy Eyes

21 Nov, 14:40

00:01

958 3 43

Psy Eyes

21 Nov, 14:40

00:01

959 3 43

Psy Eyes

21 Nov, 14:40

Hotshot: этот генератор видео выкатил управление видео по рефу. Работает и с синтетическими направляющими: второе видео я сгенерил в Mochi, а третье это результат из Hotshot.

Промт:
A robot standing at a night cyberpunk city street. It is smiling, nodding, saying something, and appears to be looking at something. The robot is made of metal and plastic and is standing in front of a crosswalk. There is traffic in the background, including cars and a traffic light.

Похоже на Movie Gen, видеолоры в Kling, отчасти Act One от Runway, ну и опенсорсный LivePortrait. Но команда HotShot состоит из всего нескольких человек вроде.

На сайте видео по рефу генерятся за секунды. По крайне мере пока, залетайте. Там 3 бесплатные генерации в день.

Сайт

938 3 44 3 1

Psy Eyes

20 Nov, 14:06

01:40

Video is unavailable for watching

Show in Telegram

1k 2 29

Psy Eyes

20 Nov, 14:06

00:45

Suno: выкатили V4 своего генератора музыки. Голоса стали чище, структура треков композиционно насыщеннее, а тексты стали лучше ложиться на инструменты.

Вместе с этим добавились новые фичи: ремастер треков до варианта от V4 (вероятно работает только с генерациями внутри Suno), улучшенное создание текстов с помощью ReMi, работа с обложками. Старые фичи Covers и Personas тоже получили апгрейд.

Примеры звучания V4 от авторов Suno.

Раздел Explore также обновился, и можно покрутить барабан обновлённых жанров. Есть только ощущение, что там не весь контент обновлён, но его в любом случае весело крутить.

Пока V4 доступна только платным подписчикам.

Сайт
Анонс
Примеры V4

1k 3 30

Psy Eyes

20 Nov, 12:29

Kling: обновили тарифные планы и теперь в бесплатный триал включено 366 кредитов в месяц, плюс доступ к платным функциям: профессиональному режиму (5 генераций) и расширению видео (2 генерации).

Ещё они недавно добавили в API доступ к V 1.5 с профессиональным режимом и расширением видео за те же деньги, что и V 1.

谢谢 братьям китайцам!

Сайт

1k 3 42

Psy Eyes

20 Nov, 00:08

Чем сделано видео выше?

1k 2 10 3

Psy Eyes

20 Nov, 00:07

https://www.youtube.com/watch?v=sglbIVO9IQQ

James Blake - Like The End (Official Video)

James Blake - Like The End (Official Video) Created by Jon Rafman Follow James Blake: Facebook: https://www.facebook.com/jamesblakemusic Twitter: https://twitter.com/jamesblake Instagram: https://www.instagram.com/jamesblake http://www.jamesblakemusic.com #JamesBlake

1k 1 8

Psy Eyes

19 Nov, 21:22

00:09

Video is unavailable for watching

Show in Telegram

1k 1 7

Psy Eyes

19 Nov, 21:22

00:11

Video is unavailable for watching

Show in Telegram

Полноэкранный режим в миниапах телеги таки заработал. Плюс возможность добавлять иконки миниапок на рабочий стол мобилы, и другие ништяки.

Я всё обновил с десктопа и мобилы, но с компа (Win) пока не нахожу прил, которые бы запускались в полноэкранном режиме. А на андройде иконки не добавляются на рабочий стол. Может чего надо в настройках разрешений надо поменять.

У вас как?

Апдейт: фуллскрин работает просто не во всех апах. Тут пашет @tverse. А там, где его нет можно вручную окно расширить.

1k 1 7

Psy Eyes

19 Nov, 15:53

не нерфничай

В PostShot, софте для работы со сплатами, начиная с V 0.4.181 больше не будет возможности тренировать NeRF сцены — профили для этого удалены.

Это сделано, потому что: сплаты выдают лучше качество, тренируются быстрее, потребляют меньше памяти, и вызывают меньше ошибок при работе.

Если таки хотите потестить тренировку нерфов через PostShot, можете скачать предыдущие версии отсюда. Или к вашим услугам NerfStudio и аналоги.