Дайджест:
📹 ВИДЕО + АРТ 🎨
Runway:
улучшили генерацию на основе картинок, добавили раздел с историей генераций, внесли правки в контроль камеры и движения, а также добавили возможность расширить уже сгенерённую ранее картинку.
Колаб для latent consistency model (LCM), чтобы быстро генерить картинки и видео. Плюс генерация в
реальном времени через SD, также через LCM.
На Snapdragon Summit
тоже показали генерацию в реальном времени, только на телефоне без интернета и на 1 картинку уходит меньше секунды.
Orillusion: обновился до v 0.7 опенсорсный бесплатный
игровой движок на основе WebGPU.
FreeNoise: метод для генерации
длинных видео на основе VideoCrafter.
Cuebric: генерируем реалистичный 2,5D
фон для видео.
Moonvalley: добавили к генерации видео
сид и негативные промты для контроля.
CSM: можно
бесплатно натренировать свою text-2-image лору через их дискорд бота.
PixArt-α:
генератор картинок по качеству метящий в сторону SD и Midjourney.
SEINE: генерим
видео из картинки с хорошей четкостью и стабильностью. Пока без кода.
ZeroNVS: генерация 3D и 360 сцен по картинке у нас уже были, а вот
нерфы по одной картинке это что-то новое.
Игра
Super Godot Galaxy прямо на Hugging Face. Тут
коллекция AI-игр.
Twelve Labs: у которых годный сервис по поиску нужного
футажа через его описание, выпустили модель
Pegasus-1 для генерации детального описания видео и выжимки по нему.
🎸 ЗВУК 🎸
YouTube Music: теперь можно
генерить обложку своим плейлистам.
AudioSet: модель для динамической
разметки аудиоданных.
🤖 ЧАТЫ 🤖
QMoE: архитектура
взаимодействия LLM-экспертов, позволяющая запустить LLM с более 1 триллиона параметров на 8x3090. Для сравнения по слухам у GPT-4 тоже гидра из экспертов каждый по 175B параметров, с общим числом параметров 1,5 триллионов или больше.
К Mistral пришили SeamlessM4T и теперь с ним можно общаться
голосом на 100 языках. Есть и
колаб.
HuggingFace: выпустили Alignment Handbook для
наставления LLM моделей генерить нужным образом, и выкатили модель Zephyr-7B, которая на некоторых тестах показывает себя лучше ламы 70B.
Min-K% Prob:
тестируем была ли модель натренирована на данных, защищённых авторским правом.
XAgent: новый AI-агент, который умеет
планировать и выполнять задания, и работает изолированно через Docker.
TogetherComputer: выпустили
датасет RedPajama V2 на основе 100B текстов из 84 снимков сети от CommonCrawl.
Microsoft:
библиотека FP8-LM для эффективной и распределённой тренировки LLM.
Исследования:
* Рассматриваем
оффлайн RLHF для LLM.
* Beyond U —
ускоряем диффузионные модели и делаем их легче.
*
Обучение на своих ошибках делает AI-модели рассудительнее.
💬 Делайте выжимки из доков и чатьтесь по ним
с помощью Claude
