AI feed


Kanal geosi va tili: ko‘rsatilmagan, Ruscha


AI ideas pool

Связанные каналы

Kanal geosi va tili
ko‘rsatilmagan, Ruscha
Statistika
Postlar filtri


Video oldindan ko‘rish uchun mavjud emas
Telegram'da ko‘rish
Не переживаем, работа будет, ИИ не выходит на плато

Как минимум такой план у Марка Цукерберга. «Предел масштабирования систем ИИ не наступит в ближайшее время», и Llama 4 будет обучаться на более чем 100.000 GPU, а Llama 5 — на еще более мощном кластере.


Original post link: t.me/data_secrets/5037
Forwarded and filtered by @smartfeed_bot


Machinelearning dan repost
✔️ FTC объявила о правоприменительных мерах против нескольких компаний за обман и недобросовестное использование ИИ.

Федеральная торговая комиссия (FTC) объявила о запуске операции «AI Comply» против компаний, использующих ажиотаж вокруг искусственного интеллекта для обмана потребителей. Уже возбуждено пять дел.

FTC отмечает участившиеся случаи использования ИИ для мошенничества. Компании, против которых возбуждены дела: Do Not Pay, обещавшая услуги «робота-юриста», Ascend Ecom, предлагавшая создать онлайн-магазины с помощью ИИ для пассивного дохода, Ecommerce Empire Builders, продававшая тренинги и готовые интернет-магазины для получения прибыли, и Rytr, предлагавшая сервис для написания отзывов на основе ИИ.

Комиссия продолжит пресекать подобные случаи мошенничества.
ftc.gov

✔️ Nebius, отделившись от Яндекса, планирует инвестировать в инфраструктуру ИИ 1 млрд. долларов.

Амстердамская группа Nebius, которая возникла после разделения активов российского технологического гиганта «Яндекс», планирует инвестировать более 1 млрд. долларов в инфраструктуру ИИ в Европе к середине 2025 года.

Компания планирует расширить собственные мощности GPU, построив новый кластер в Париже и расширить существующий центр обработки данных в Финляндии. Инвестиции позволят Nebius достичь общей мощности в десятки тысяч GPU.
kfgo.com

✔️ SoundExchange разрабатывает глобальный реестр звукозаписей для ИИ.

Компания SoundExchange, занимающаяся сбором и распределением гонораров за использование музыки, объявила о разработке глобального реестра звукозаписей, предназначенного для использования в сфере ИИ. Ожидается, что реестр будет запущен в первом квартале 2025 года и станет развитием уже существующих систем SoundExchange.

Этот реестр позволит создателям музыки и правообладателям указать, хотят ли они, чтобы их произведения использовались для обучения алгоритмов ИИ. База данных позволит компаниям, создающим модели ИИ, проверять наличие разрешений перед использованием записей для обучения своих алгоритмов.

SoundExchange видит в этом реестре возможность упростить музыкальную индустрию, защитить ценность музыки и предоставить создателям больший контроль над использованием их произведений в сфере ИИ. Несмотря на то, что реестр будет добровольным инструментом, правообладатели сохранят за собой все юридические права на свои записи, независимо от их присутствия в базе данных.
thatericalper.com

✔️ Браузер Brave добавил возможность использовать локальные LLM.

Brave представил новую функцию в версии браузера 1.69 и выше, которая позволяет пользователям использовать локальные LLM вместо облачных решений. Эта функция, получившая название «Bring Your Own Model» (BYOM), призвана обеспечить большую конфиденциальность, поскольку данные пользователей не покидают устройство.

Для использования локальных моделей пользователям потребуется Ollama. В настройках Brave Leo пользователи могут добавить свою модель, указав ее имя, эндпоинт сервера и, при необходимости, ключ API. Для локальных моделей ключ API не требуется. После добавления модели ее можно выбрать в качестве основной.
itsfoss.com

✔️ Google расширила возможности NotebookLM, добавив поддержку YouTube и аудиофайлов.

Теперь NotebookLM позволяет создавать краткие обзоры видео с YouTube и аудиофайлов. Новые функции помогают обобщать ключевые моменты видео и аудиозаписей генерировать из них подкасты и делиться ими по прямой ссылке.

Например, полная версия этой новости в формате подкаста на английском языке.

NotebookLM, изначально использовавшийся преподавателями и учащимися, привлекает все больше бизнес-пользователей. Райза Мартин, старший менеджер по продуктам ИИ в Google Labs, отметила, что теперь 50% пользователей - преподаватели и учащиеся, а 50% - бизнес-профессионалы.
techcrunch.com

@ai_machinelearning_big_data

#news #ai #ml


This is a daily stats digest!
Today the bot processed: 36 messages
Today you received: 7 messages
Our filtering prevented you from: 29 messages

Top 3 source channels:
Data Secrets: 11 message(s)
Machinelearning: 9 message(s)
Love. Death. Transformers.: 6 message(s)


React to posts with 👍, 👎, ❤️, or 🔥. Spot spam? Mark it with 🤬 or 💩. Your input is valuable!
Text t.me/OlegBEZb if you want to see something else in the daily report


Возможно Llama 3.2 была не самым интересным вчерашним мультимодальным релизом: вышла Molmo, которая круче показывает себя на бенчмарках

Это семейство опенсорсных моделей от лаборатории Ai2. Есть варианты на 7В MoE (1B активных), 7В (таких две) и 72В. Самая крупная на бенчмарках обгоняет Llama 3.2 90B, и достает до полноразмерной GPT-4o, Gemini 1.5 Pro и Claude Sonnet 3.5.

В основе крупной модели Qwen2-72B + OpenAI CLIP в качестве vision-основы. А еще исследователи обещают скоро выкатить датасеты и код (включая vision encoder).

Все модели доступны под лицензией Apache 2.0 на HF (и в ЕС тоже!). Статью можно прочитать здесь, а вот тут доступно демо.


Original post link: t.me/data_secrets/5031
Forwarded and filtered by @smartfeed_bot


LLM под капотом dan repost
Тут выдохнуть спокойно нельзя

Только я сел делать предобработку видео для курса по AI Ассистентам - новость, мол, вышла Llama 3.2. Дайте я хоть расскажу план курса, а потом бенчмарк, ок?

План такой - курс состоит из двух модулей. Они будут доступны на моей площадке ML Labs, формат - текст и видео. По времени и стоимости напишу отдельно попозже.

Первый модуль - про ментальные модели для работы с LLM: как обходить грабли и как использовать эффективно LLM в проектах. А если что-то не работает - как последовательно найти первопричину проблем и устранить. Это те знания, которые в прошлом году сэкономили бы мне 2-3 месяца работы. Часть контента пересекается с вебинарами, которые мы проводили с вами весной. Но материала на курсе больше и он дается подробнее.

Второй модуль полностью новый. Я прошелся по всем кейсам успешного внедрения LLM/AI на текущий момент, систематизировал их и вывел повторяющиеся архитектурные паттерны. Эти паттерны с особенностями применения я и показываю, разберем кейсы с их использованием. Второй модуль дает “насмотренность” на текущее использование LLM в отраслях из моих кейсов в современных компаниях: это структурированные знания, которые клиенты уже применяют.

Обычно про такие вещи компании не рассказывают никому, т.к. это интеллектуальная собственность и близкие к сердцу разработки. Но благодаря AI Research мы можем видеть те вещи, которые повторяются в совершенно разных отраслях. И тогда можно выделить обезличенные общие паттерны, про которые уже можно рассказывать.

Помимо теоретической части и видео будет доступен отдельный практикум, чтобы разобрать вопросы и поговорить более предметно. Как и весенние вебинары, практикум на продажу записываться не будет. Можно будет приносить свои кейсы для обсуждения - они за пределы группы не выйдут. А все выпускники получают доступ в коммьюнити. Кстати, нынче там обсуждают расценки на создание юридических RAG с нуля, механизмы внимания в LLM и делятся бенчмарками Qwen2.5/Llama70B на H100/H200 для максимальной окупаемости.

Доступ к покупке курса, скорее всего, сделаем по когортам. Но не из-за ограничений мест и времени (как это было весной), а просто чтобы успевать обрабатывать отзывы и проводить практикумы. Если кто-то хочет получить доступ пораньше - можно на днях открыть waitlist. Надо?

Ваш, @llm_under_hood 🤗

PS: А дальше будет бенчмарк LLama 3.2


Технический директор OpenAI Мира Мурати покидает стартап

И опять двадцать пять: на этот раз из OpenAI уходят CTO Мира Мурати, директор по исследованиям Боб МакГрю и вице-президент по исследованиям Баррет Зоф.

В посте в Твиттере Альтман написал, что это было собственное независимое решение каждого из сотрудников, и расстались все полюбовно 🤨

Теперь в OpenAI смена руководства полным ходом. Новым вице-президентом по исследованиям будет Марк Чен, место главного научного сотрудника займет Якуб Пачоцки, на должность главного ИБ-специалиста поставили Мэтта Найта, а Джош Ачиам будет руководителем отдела «mission alignment» (вместо давно ушедшего Яна Лейке).

Вот такая текучка


Original post link: t.me/data_secrets/5024
Forwarded and filtered by @smartfeed_bot


Блуждающий нерв dan repost
У Стэнфордского университета есть подкаст про изучение мозга и психики “From Our Neurons to Yours”, куда приходят ученые Стэнфорда, часто лидеры в своей области. На мой вкус, у подкаста оптимальный уровень сложности. Ведущий хоть и старается пояснять трудное, но откровений вроде “мозг состоит из нейронов” вы там не услышите. Самое то.

Выпусков уже 40+, к каждому есть транскрипт. Отличное погружение в передовые исследования. Гости излагают важные детали, и лучше понимаешь контекст, даже если ранее читал их статьи. Для примера:

💥 “How the brain helps cancers grow” с блестящей Мишель Монже, открывшей тесные взаимодействия нервной системы и опухолей (писал об этом здесь и здесь).

💥 “Unraveling Timothy Syndrome: the new science of human brain development” с Серджиу Пашка, главным в мире подсаживателем органоидов мозга человека в мозги живых крыс. Есть и другой выпуск с ним же.

💥 “Brain-Machine Interfaces” с Джейми Хендерсоном, возглавляющим NPTL в Стэнфорде, где разрабатывают нейроинтерфейсы с рекордным быстродействием (писал об этом здесь).

Там все выпуски весьма содержательны. Рекомендую.


Machinelearning dan repost
✔️ Джеймс Кэмерон присоединился к совету директоров Stability AI.

Stability AI объявила о том, что легендарный режиссер Джеймс Кэмерон вошел в совет директоров компании. Это следующий шаг в реализации миссии Stability AI по трансформации визуальных медиа после назначения Hanno Basse на позицию CTO в августе этого года .

"Опыт Кэмерона в сочетании с его деловыми и техническими скиллами поможет Stability AI продолжить открывать новые возможности, позволяющие создателям рассказывать истории такими способами, которые раньше были немыслимы" (с) .
stability.ai

✔️ Google снизила цены на Gemini и представила обновление моделей.

Google выпускает две обновленные модели Gemini: Gemini-1.5-Pro-002 и Gemini-1.5-Flash-002. Разработчики могут бесплатно получить доступ к последним моделям через Google AI Studio и API Gemini. Для крупных организаций и клиентов Google Cloud модели также доступны на Vertex AI.

Обновления включают в себя снижение цены на 1.5 Pro на 50%, увеличение лимитов скорости в 2 раза для 1.5 Flash и примерно в 3 раза для 1.5 Pro, увеличение скорости вывода в 2 раза и снижение задержки в 3 раза, а также обновленные настройки фильтра по умолчанию.

1.5 Pro и Flash теперь стали лучше, быстрее и экономичнее. Google наблюдает увеличение примерно на 7% в MMLU-Pro. В бенчмарках MATH и HiddenMath обе модели добились значительного улучшения примерно на 20%.
developers.googleblog.com

✔️ Warner Bros. Discovery будет использовать ИИ Google для субтитров.

Warner Bros. Discovery заключила партнерство с Google Cloud, чтобы использовать инструмент на основе ИИ для создания субтитров для своих контент-платформ.

Caption AI использует платформу Vertex AI от Google Cloud и будет развернут в первую очередь для несценарийных программ (спортивных и реалити-шоу), чтобы сократить время и производственные затраты на создание субтитров .

WBD добавил, что реальные люди по-прежнему будут следить за использованием Caption AI для обеспечения качества на студийных каналах Max, CNN и Discovery+.
hollywoodreporter.com

✔️ Intel представила новые серверные процессоры Xeon 6900P.

Серия Xeon 6900P обещает обеспечить примерно вдвое большую производительность на ватт по сравнению с предыдущим поколением. Согласно Intel, серия Xeon 6900P также значительно лучше справляется с рабочими нагрузками искусственного интеллекта. Чипы в линейке могут выполнять некоторые задачи логического вывода в 2,3 раза быстрее, чем их предшественники.

В процессорах Xeon 6900P используются только ядра, оптимизированные для повышения производительности. Флагманский процессор серии, Xeon 6980P, поставляется с кэшем L3 объемом 504 МБ и 128 ядрами, работающими на базовой частоте 2 ГГц. При выполнении ресурсоемких рабочих нагрузок они могут почти удваивать эту скорость до 3,9 ГГц в течение коротких периодов времени.
siliconangle.com

✔️AutoToS cделает планирование LLM быстрым, точным и недорогим.

Исследователи из Корнельского университета и IBM Research представили AutoToS, новую методику, которая сочетает в себе возможности LLM по планированию со скоростью и точностью алгоритмов поиска на основе правил. AutoToS устраняет необходимость вмешательства человека и значительно снижает вычислительные затраты на решение задач планирования.

AutoToS работает в несколько этапов. Сначала он предоставляет LLM описание проблемы и предлагает сгенерировать код для функций-преемников и целевых функций. Затем он запускает модульные тесты целевой функции и предоставляет модели обратную связь в случае сбоя.

Далее модель использует эту обратную связь для исправления своего кода. После того как целевая функция проходит тесты, алгоритм запускает ограниченный поиск в ширину, чтобы проверить, являются ли функции надежными и полными. Этот процесс повторяется до тех пор, пока сгенерированные функции не пройдут все тесты. Наконец, проверенные функции подключаются к классическому алгоритму поиска для эффективного выполнения полного поиска.
venturebeat.com

@ai_machinelearning_big_data

#news #ai #ml


Американская федерация авиации разрешила небольшим дронам летать над людьми и ночью. Раньше это было запрещено из соображений безопасности людей, но тесты показали что это уже достаточно безопасно вцелом. Все это сейчас нужно для того, чтобы облегчить амазону доставку товаров дронами https://www.reuters.com/article/us-usa-drones-faa/u-s-to-allow-small-drones-to-fly-over-people-at-night-idUSKBN2921R8


Original post link: t.me/addmeto/5883
Forwarded and filtered by @smartfeed_bot


This is a daily stats digest!
Today the bot processed: 81 messages
Today you received: 5 messages
Our filtering prevented you from: 76 messages

Top 3 source channels:
Нейроинтерфейсы: 39 message(s)
Data Secrets: 15 message(s)
Machinelearning: 13 message(s)


React to posts with 👍, 👎, ❤️, or 🔥. Spot spam? Mark it with 🤬 or 💩. Your input is valuable!
Text t.me/OlegBEZb if you want to see something else in the daily report


Нейроинтерфейсы dan repost
⬇️⬇️⬇️

Разумеется, никакого "нейронного интерфейса" там нет. Как мы много раз писали (наиболее подробно еще два года назад), Цукерберг когда-то пообещал совершенно эпический прорыв в нейроинтерфейсных технологиях, который должен был позволить писать в ФБ "силой мысли" со скоростью 100 слов в минуту (мы тогда, в 2017 году, много иронизировали по этому поводу в кулуарах первой конференции по нейроадаптивным технологиям) и, разумеется, его ожидал такой же эпический провал. И чтобы это хоть как-то скрыть, он стал называть "нейроинтерфейсом" обычный электромиограф (сделанный в форме браслета) — устройство для регистрации напряжения мышц. Никакой текст с его помощью набирать не удалось — браслет худо-бедно отзывался только на несколько жестов. Возможно, забаненная в РФ Мета в итоге хоть как-то доработает эту технологию, но сложно представить, что удастся хотя бы приблизить опыт реакций на команды юзера к тому, что дает Apple Vision Pro безо всяких "нейроинтерфейсов", настоящих или миографических. Хотя, конечно, изящные очки вместо увесистого шлема — это действительно круто.

Цитаты из сегодняшних медиа:

“[Orion is] the first device that is powered by our wrist-based neural interface,” Zuckerberg said. “[This is a] device that allows you to just send a signal from your brain to [Orion].”

https://techcrunch.com/2024/09/25/meta-developed-a-neural-interface-for-its-next-gen-orion-ar-glasses/
Meta developed a ‘neural interface’ for its next-gen Orion AR glasses
Kyle Wiggers
September 25, 2024

For whatever reason, some Meta people call this a "neural wristband," which makes it seem like it's somehow reading your brain. Thankfully, it is not.

https://www.businessinsider.com/orion-meta-ar-smart-glasses-review-2024-9
I tried out Meta's Orion AR glasses. I'd buy them in a heartbeat — if they were actually for sale.
Peter Kafka, Chief Correspondent covering media and technology
Sep 25, 2024


⚡️ Вышла новая мультимодальная Llama 3.2: Meta опять двигает вперед опенсорс

Есть варианты поменьше (11В) и побольше (90В). Самой старшей модели на ~400 пока не видно, но 90В уже бьет на Vision бенчмарках GPT-4o mini. Веса доступны на HF.

Кроме того, завезли мини-версии текстовых LLM на 1В и 3В. 3B на большинстве тестов сильно лучше известных малышек Phi 3.5 и Gemma 2.

Есть, кстати, и грустная глава этой истории: часть моделей недоступны в ЕС 🤷‍♂️


Original post link: t.me/data_secrets/5023
Forwarded and filtered by @smartfeed_bot


epsilon correct dan repost
У EleutherAI вышел классный гайд по muP параметризации LLMок.

Для тех, кто не знает, muP – Maximal Update Parameterization – это серия статей, в которых Greg Yang (сейчас в xAI) развивает теорию параметризации глубоких сетей. Что-то вроде Neural Tangent Kernel или анализ сетей при помощи теории среднего поля, но с выводами более таргетированными на обучение сеточек градиентным спуском. Один из результатов – стабильная инциализация параметров сетей, которая позволяет избавиться от необходимости тюнить learning rate градиентного спуска.

В статье "Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer" со ребятами из OpenAI Грег выводит методы инициализации трансформеров. Нужно сказать, что, скорее всего, в индустрии не все инициализируют веса по muP, всё-таки теория и практика отличаются на практике. Тем не менее, с muP для каждой части нейросети мы можем (хотя бы в теории) сказать, корректно ли она пропускает через себя градиенты. Градиентные энергетические блоки – бич многих глубоких сеток, и дебажить такое – сплошная головная боль.

Сам Грег предлагает начинать знакомиться с теорией со статьи "A Spectral Condition for Feature Learning", к чему мы с уважаемыми подписчиками и приступим. 🤓


Video oldindan ko‘rish uchun mavjud emas
Telegram'da ko‘rish
Advanced Voice в ChatGPT наконец-то здесь!

Обещают, что для всех Plus пользователей раскатят в течение недели. Кроме того, что показывали на презентации в мае, по прошествии четырех месяцев еще добавились несколько десятков языков, акценты, голоса, объединенная с чатами память и продвинутые пользовательские инструкции.

На некоторых, кстати, уже раскатили тест. Вот, например, пользователь делится тем, как ChatGPT настраивает его гитару 👆


Original post link: t.me/data_secrets/5009
Forwarded and filtered by @smartfeed_bot


Machinelearning dan repost
✔️ Лаборатория NASA SPAR Lab представила ИИ для космических аппаратов.

Инженеры NASA разработали OnAIR, который делает космические аппараты более автономными и отказоустойчивыми. OnAIR — это программный комплекс с открытым исходным кодом на платформе GitHub для разработки и развертывания алгоритмов ИИ.

Прототип OnAIR был протестирован в миссии NASA NAMASTE, где дроны измеряли выбросы метана в районах вечной мерзлоты на Аляске. Он позволил дронам оптимизировать сбор данных, обрабатывая информацию с датчиков и корректируя маршрут в реальном времени.

OnAIR также был протестирован на Международной космической станции (МКС) с использованием платформы SpaceCube.

Инженеры NASA интегрировали его с основной системой управления SpaceCube, преодолев технические сложности - ограниченная вычислительная мощность и адаптация ПО к архитектуре процессора.
spacenews.com

✔️ AI-чатбот от команды Facebook начнет говорить голосами Джуди Денч, Джона Сины и других знаменитостей.

Разработчики готовится представить на этой неделе голосовой чат-бот с голосами известных актеров, включая Джуди Денч, Кристен Белл и Джона Сину. Пользователи смогут выбирать голос знаменитости для взаимодействия с цифровым помощником Meta, аналогичным ChatGPT.

Запуск функции запланирован в США и других англоязычных странах и будет доступен в приложениях компании, включая Facebook, Instagram и WhatsApp.

В прошлом году Meta уже экспериментировала с добавлением элементов звездности в чат-бот, запустив текстовые версии с образами Пэрис Хилтон и Снуп Дога, но они не получили большой популярности.
reuters.com


✔️ ruMorpheme: реализация метода морфемного анализа для русского языка.

Проект на Github представляет собой программную реализацию метода "Deep Convolutional Networks for Supervised Morpheme Segmentation of Russian Language" для проведения морфемного анализа и сегментации слов русского языка.

Обученная модель проекта способна сегментировать слова на приставки, корни, соединительные гласные, дефисы, суффиксы, постфиксы и окончания.

Проект, помимо инференса, укомплектован скриптами для самостоятельной тренировки и валидации модели.
ruMorpheme

✔️ Customer Engagement Suite with Google AI: клиентский офис как сервис.

Customer Engagement Suite (CES) с Google AI — комплексное решение, которое сочетает в себе функции ИИ (Gemini Flash 1.5) для контакт-центров. CES формирует целостный и последовательный подход к обслуживанию клиентов с широким спектром сторонних решений: телефонию, CRM и HR.

Customer Engagement Suite включает в себя : Conversational Agents для создания виртуальных агентов с детерминированной (основанной на правилах) и GenAI функциональностью, Agent Assist для оказания поддержки в реальном времени, Conversational Insights для анализа данных о взаимодействии с клиентами и выявления областей для улучшения.

Платформа поддерживает многоканальное взаимодействие через веб-интерфейсы, мобильные устройства, голосовые каналы, электронную почту и приложения, и работает с текстовой, голосовой и визуальной информацией.
cloud.google.com


@ai_machinelearning_big_data

#news #ai #ml


This is a daily stats digest!
Today the bot processed: 36 messages
Today you received: 6 messages
Our filtering prevented you from: 30 messages

Top 3 source channels:
Математика Дата саентиста: 13 message(s)
Love. Death. Transformers.: 6 message(s)
Machinelearning: 5 message(s)


React to posts with 👍, 👎, ❤️, or 🔥. Spot spam? Mark it with 🤬 or 💩. Your input is valuable!
Text t.me/OlegBEZb if you want to see something else in the daily report


Апдейт моделей Gemini 1.5 Pro & Flash

Вышла в свет очередная вещь, над которой я работал летом – обновление основных моделей Gemini. Из хайлайтов: +8% MMLU Pro, +23% 👽 на Hendrycks MATH, +10% на GPQA Diamond для Flash модели.

Цена на Gemini 1.5 Pro порезана больше чем в два раза. Также добавили Gemini 1.5 Flash 8B в Gemini API и Google AI studio.


Original post link: t.me/epsiloncorrect/206
Forwarded and filtered by @smartfeed_bot


что-то на DL-ском dan repost
Video oldindan ko‘rish uchun mavjud emas
Telegram'da ko‘rish
🗯 Moshi: GPT4-O voice mode дома (обзор)

Одним теплым июльским вечером, сидя в самом сердце Москвы, в гуще столичной суеты, я лениво перелистывала Twitter в поисках чего-то стоящего. И вдруг, как озарение, мне на глаза попался анонс Moshi от французской лаборатории. Анонс, надо сказать, был щедро украшен громкими заявлениями:

👁 Первая LLM для аудио, которая умеет одновременно слушать и отвечать
👁 Содержит около 70 эмоций, которые может имитировать
👁 И конечно же, она будет открытая в отличие от GPT-O и подобного!!

После долгого сентябрьского ожидания, когда я почти смирилась с мыслью, что модель так и не выйдет, и статья никогда не будет написана, на следующий день я наконец увидела ссылку на опубликованный код. Я с энтузиазмом принялась за обзор, но, по загадочному стечению обстоятельств (видимо проклятие Moshi), выкладываю его почти спустя неделю.

P.S. мое honest мнение на счет работы:
💛так как, я делитант в звуке,мне было очень интересно почитать их отсылки к предыдкщим наработкам
💛они соединяют въедино много работ, которые были раньше
💛в разных частях делают минорные изменения к существующим наработкам, что кажется избыточным, но чуваки все промерили и показали свои +несколько % к качеству, поэтому нагнать за это на них нельзя
💛мне очень понравилось, что идея сетки не связана с гонкой с OpenAI, а вытекает скорее из парадигмы Full-Duplex этой статьи, как основной. На мой взгляд именно это отличие от существующей закрытой модели дало хайп на просторах интернета

Я не смогла уместить в один пост всю информацию, так как для меня она довольно новая, поэтому

😇 Переходите читать на habr: link


Data Secrets dan repost
Microsoft только что аннонсировали Сorrection – сервис для исправления галлюцинаций в ответах модели

В марте у компании появился сервис Groundedness detection, но он мог только обнаружить неточность в генерации, а не исправить ее. Сorrection – логичное продолжение этого проекта.

Пару слов из анонса о том, как correction работает: когда классификатор выявляет предложение или фразу, в которой LLM потенциально наврала, генерируется новый промпт, и с помощью RAG фраза проверяется на соответсвие базе знаний. Если модель в базе ничего похожего не найдет, то фраза просто удалится, а если найдет – то исправит.

Кстати, что-то похожее летом анонсировал Google, и тогда это вызвало целую волну обсуждений. Ос Кейес говорил, что пытаться удалить галлюцинации из LLM – это как пытаться удалить водород из воды: ведь модели не обучены говорить правду, они обучены предсказывать следующее слово. Иначе говоря, ответы модели — это не ответы, а всего лишь прогнозы того, как был бы дан ответ на вопрос, если бы он присутствовал в обучающей выборке.

Сейчас уже начались обсуждения того, что на самом деле Сorrection – вещь не просто бесполезная, но и опасная. Например, Майк Кук говорит так:
"Функция может обнаружить некоторые ошибки, но она также может усыпить бдительность пользователей, заставив их думать, что модели оказываются правдивыми чаще, чем это есть на самом деле. Допустим, она даст 99% безопасности против 90% без нее. Но ведь проблема никогда не была в этих 9%. Она всегда будет в 1% ошибок, которые мы не обнаруживаем".


LLM под капотом dan repost
Куда катится мир локальных LLM?

Вот вам график, который показывает тренды роста производительности разных локальных моделей со временем.

Я взял все локальные модели из бенчмарка (последние были про Qwen 2.5 / DeepSeek 2.5 и про GPT o1) и сгруппировал по необходимому размеру GPU для запуска.

(группировка очень примерная. Я считал, что запускается под fp16 без особых квантизаций и с запасом памяти на inference)

Потом все модели я отметил на временной шкале по дате их релиза и построил тренды (linregress). Получился такой график.

Основные тренды:
(1) Модели становятся со временем все лучше, как большие, так и маленькие.
(2) Крупные модели появляются чаще
(3) В крупных Multi-GPU моделях производительность растет быстрее, чем в мелких.

В принципе, все это вещи очевидные. Но если увидеть это глазами, динамика прогресса становится более понятной. И ее можно транслировать клиентам и учитывать в планировании.

Ваш, @llm_under_hood 🤗

20 ta oxirgi post ko‘rsatilgan.