Репост из: Psy Eyes
Дайджест:
📹 ВИДЕО + АРТ 🎨
Runway: улучшили генерацию на основе картинок, добавили раздел с историей генераций, внесли правки в контроль камеры и движения, а также добавили возможность расширить уже сгенерённую ранее картинку.
Колаб для latent consistency model (LCM), чтобы быстро генерить картинки и видео. Плюс генерация в реальном времени через SD, также через LCM.
На Snapdragon Summit тоже показали генерацию в реальном времени, только на телефоне без интернета и на 1 картинку уходит меньше секунды.
Orillusion: обновился до v 0.7 опенсорсный бесплатный игровой движок на основе WebGPU.
FreeNoise: метод для генерации длинных видео на основе VideoCrafter.
Cuebric: генерируем реалистичный 2,5D фон для видео.
Moonvalley: добавили к генерации видео сид и негативные промты для контроля.
CSM: можно бесплатно натренировать свою text-2-image лору через их дискорд бота.
PixArt-α: генератор картинок по качеству метящий в сторону SD и Midjourney.
SEINE: генерим видео из картинки с хорошей четкостью и стабильностью. Пока без кода.
ZeroNVS: генерация 3D и 360 сцен по картинке у нас уже были, а вот нерфы по одной картинке это что-то новое.
Игра Super Godot Galaxy прямо на Hugging Face. Тут коллекция AI-игр.
Twelve Labs: у которых годный сервис по поиску нужного футажа через его описание, выпустили модель Pegasus-1 для генерации детального описания видео и выжимки по нему.
🎸 ЗВУК 🎸
YouTube Music: теперь можно генерить обложку своим плейлистам.
AudioSet: модель для динамической разметки аудиоданных.
🤖 ЧАТЫ 🤖
QMoE: архитектура взаимодействия LLM-экспертов, позволяющая запустить LLM с более 1 триллиона параметров на 8x3090. Для сравнения по слухам у GPT-4 тоже гидра из экспертов каждый по 175B параметров, с общим числом параметров 1,5 триллионов или больше.
К Mistral пришили SeamlessM4T и теперь с ним можно общаться голосом на 100 языках. Есть и колаб.
HuggingFace: выпустили Alignment Handbook для наставления LLM моделей генерить нужным образом, и выкатили модель Zephyr-7B, которая на некоторых тестах показывает себя лучше ламы 70B.
Min-K% Prob: тестируем была ли модель натренирована на данных, защищённых авторским правом.
XAgent: новый AI-агент, который умеет планировать и выполнять задания, и работает изолированно через Docker.
TogetherComputer: выпустили датасет RedPajama V2 на основе 100B текстов из 84 снимков сети от CommonCrawl.
Microsoft: библиотека FP8-LM для эффективной и распределённой тренировки LLM.
Исследования:
* Рассматриваем оффлайн RLHF для LLM.
* Beyond U — ускоряем диффузионные модели и делаем их легче.
* Обучение на своих ошибках делает AI-модели рассудительнее.
💬 Делайте выжимки из доков и чатьтесь по ним с помощью Claude
📹 ВИДЕО + АРТ 🎨
Runway: улучшили генерацию на основе картинок, добавили раздел с историей генераций, внесли правки в контроль камеры и движения, а также добавили возможность расширить уже сгенерённую ранее картинку.
Колаб для latent consistency model (LCM), чтобы быстро генерить картинки и видео. Плюс генерация в реальном времени через SD, также через LCM.
На Snapdragon Summit тоже показали генерацию в реальном времени, только на телефоне без интернета и на 1 картинку уходит меньше секунды.
Orillusion: обновился до v 0.7 опенсорсный бесплатный игровой движок на основе WebGPU.
FreeNoise: метод для генерации длинных видео на основе VideoCrafter.
Cuebric: генерируем реалистичный 2,5D фон для видео.
Moonvalley: добавили к генерации видео сид и негативные промты для контроля.
CSM: можно бесплатно натренировать свою text-2-image лору через их дискорд бота.
PixArt-α: генератор картинок по качеству метящий в сторону SD и Midjourney.
SEINE: генерим видео из картинки с хорошей четкостью и стабильностью. Пока без кода.
ZeroNVS: генерация 3D и 360 сцен по картинке у нас уже были, а вот нерфы по одной картинке это что-то новое.
Игра Super Godot Galaxy прямо на Hugging Face. Тут коллекция AI-игр.
Twelve Labs: у которых годный сервис по поиску нужного футажа через его описание, выпустили модель Pegasus-1 для генерации детального описания видео и выжимки по нему.
🎸 ЗВУК 🎸
YouTube Music: теперь можно генерить обложку своим плейлистам.
AudioSet: модель для динамической разметки аудиоданных.
🤖 ЧАТЫ 🤖
QMoE: архитектура взаимодействия LLM-экспертов, позволяющая запустить LLM с более 1 триллиона параметров на 8x3090. Для сравнения по слухам у GPT-4 тоже гидра из экспертов каждый по 175B параметров, с общим числом параметров 1,5 триллионов или больше.
К Mistral пришили SeamlessM4T и теперь с ним можно общаться голосом на 100 языках. Есть и колаб.
HuggingFace: выпустили Alignment Handbook для наставления LLM моделей генерить нужным образом, и выкатили модель Zephyr-7B, которая на некоторых тестах показывает себя лучше ламы 70B.
Min-K% Prob: тестируем была ли модель натренирована на данных, защищённых авторским правом.
XAgent: новый AI-агент, который умеет планировать и выполнять задания, и работает изолированно через Docker.
TogetherComputer: выпустили датасет RedPajama V2 на основе 100B текстов из 84 снимков сети от CommonCrawl.
Microsoft: библиотека FP8-LM для эффективной и распределённой тренировки LLM.
Исследования:
* Рассматриваем оффлайн RLHF для LLM.
* Beyond U — ускоряем диффузионные модели и делаем их легче.
* Обучение на своих ошибках делает AI-модели рассудительнее.
💬 Делайте выжимки из доков и чатьтесь по ним с помощью Claude