next item


Гео и язык канала: не указан, не указан
Категория: не указана


Автор: @matfu21

Связанные каналы

Гео и язык канала
не указан, не указан
Категория
не указана
Статистика
Фильтр публикаций


IR конференции

Перед тем как переходить к постам про статьи и конференции, хочу дать небольшой контекст уважаемым подписчикам.

Есть такой раздел на arXiv, который называется Information Retrieval. Все статьи про рекомендации, поиск и рекламу лежат именно здесь (но не только они, e.g. RAG).

Обычно эти статьи с шести конференций ниже. Чтобы названия для вас не выглядели как набор случайных букв, прикладываю рядом известную работу с каждой из конференций.

* KDD (A*) — Graph Convolutional Neural Networks for Web-Scale Recommender Systems
* RecSys (A) — Sampling-bias-corrected neural modeling for large corpus item recommendations
* WWW (A*) — Mixed Negative Sampling for Learning Two-tower Neural Networks in Recommendations
* SIGIR (A*) — LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation
* WSDM (A) — Top-K Off-Policy Correction for a REINFORCE Recommender System
* CIKM (A) — BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer

Иногда что-то крутое проскакивает на ICML (A*) — Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations, NeurIPS (A*) — Recommender Systems with Generative Retrieval, или вообще лежит pre-print-ом на arXiv — PLUM: Adapting Pre-trained Language Models for Industrial-scale Generative Recommendations.

Сразу оговорюсь, что это субъективный список. Он построен на основе конференций, которые я встречаю в статьях. И у меня определенно есть байес к статьям из индустрии.

Вместе с ИИ-стажером мы составили диаграмму, я постарался ее верифицировать. На ней можно сравнить IR-конференции по числу участников и статей в proceeding-ах (так называется сборник трудов конференции, e.g. SIGIR’25). KDD для меня всегда ощущалась самой крупной из них, так оно и оказалось. Все познается в сравнении, поэтому рядом добавил NeurIPS и ICML.

SIGIR — это одна из крупных A*-конференций, одного масштаба с тем же RecSys-ом. На прошлой неделе презентовал нашу работу на ней. В следующем посте расскажу про работу и общие впечатления от конференции.

P.S. А за дедлайнами recsys-конференций можно следить здесь: https://recsys.info


Поговорил с Jiangxia Cao из Kuaishou OneRec Team на SIGIR’26

Признаю, я давний фанат Kuaishou. Это люди, которые внедряют много всего в прод и с невероятной скоростью. При этом еще и успевают писать про это статьи.

На конференции SIGIR’26 мне удалось пообщаться с Jiangxia Cao, одним из ключевых разработчиков в OneRec Team из Kuaishou. У него более 1800 цитирований, он является соавтором таких работ, как OneReason, Kwai Summary Attention, QARM, OpenOneRec и еще многих других. Отдельно хочу отметить его отзывчивость и позитивность.

У меня к нему было много вопросов, но задал я лишь маленькую часть. Несколькими решил с вами поделиться.

* Сейчас происходит активное интегрирование LLM в рекомендательные системы. Какие вы с командой видите наиболее перспективные направления?

Они верят в три способа, как можно внедрять LLM в платформу с рекомендациями коротких видео:
1. Как generative retrieval на semantic ids, то есть как дополнительный источник кандидатов. Понятный способ, активно внедряют к себе многие крупные ребята. Здесь как раз примерами служат такие работы, как OneReason от Kuaishou или PLUM от DeepMind.
2. Как “агента”, который может замешивать разные кандидатогенераторы (кандгены). Будто вызов каждого источника кандидатов — это свой tool call. Необычный способ, раньше про такой не слышал. Jiangxia сказал, что у них может быть до 200 кандгенов. И нужно как-то адаптивно под запрос пользователя выбирать подмножество из них. После этого выходы именно этих выбранных кандгенов и будут ранжироваться последующими моделями в стеке. То есть LLM в некотором смысле выполняет роль Mixigen.
3. Как инструмент, через который можно управлять бесконечной лентой рекомендаций через текст. Мы открыли ВК Клипы, и он на их примере показал, как это выглядит. Если человек, например, 5 раз подряд быстро пролистал клипы, то появляется текстовое окно. В него ты можешь вписать, какой контент ты хочешь видеть в ленте. И лента подстраивается под тебя. Если ты ставишь дизлайк на клип, то вылезает еще одно окно, в которое ты вписываешь, что тебе не понравилось. Такая фича в Kuaishou появляется уже через месяц! Большой шаг в сторону controllable и unbiased рекомендаций.

* В вашем текущем OneRec Technical Report после генерации кандидатов генеративной моделью есть еще доотбор Reward-моделью. А вы не думали о том, чтобы от этой стадии доотбора избавиться?

Здесь он сказал, что через месяц как раз выходит статья про это. Но отдельно подчеркнул, что в коротких видео их основная рекомендательная система состоит из четырех стадий, в которой OneRec заменяет только первые две.

* Как вам удается писать так много статей? У вас на это есть специальные KPI, и вас хвалят за статьи на ревью?

Сказал, что они работают с понедельника по пятницу в обычном режиме. Их KPI — это растить продуктовые метрики. А по выходным уже пишут статьи в свое удовольствие. Получается, 9-9-6 — это обман, у ребят пятидневка.

Дальше мы много говорили про OneReason. Это большой техрепорт от ребят на 110 страниц. Сделаю про него отдельный разбор на канале, уж очень масштабная работа. И уже там расскажу подробности.

И еще несколько интересных фактов:
* Послушали вместе мою волну в Яндекс Музыке. У меня пошел русский рэп. Он попросил включить погромче, и ему прям зашло.
* Он знает про работу ребят из Яндекса — Gryphon: A Unified Architecture for Semantic-ID Generation and Item-Level Scoring in Industrial Recommendations. Сказал, что они ее там все вместе читали.

650 1 13 2 33

Всем привет!

Меня зовут Артем (@matfu21). Я работаю в AI VK и занимаюсь исследованиями в рекомендациях под руководством Александра Дьяконова.

До этого я работал в Яндексе и лидил небольшую RnD команду, которая отвечала за pre-train OneRec-like моделей, занимался внедрениями рекомендательных трансформеров в сервисы Яндекса ARGUS и другими прикладными исследованиями Talk.

За последнее время у меня появилось несколько статей с первым авторством, по которым можно понять, чем примерно я занимаюсь:
- SIGIR’26: Gated Bidirectional Linear Attention for Generative Retrieval
- KDD’26: Long-Term Optimization for Large-Scale Generative Retrieval with Off-Policy REINFORCE

В канале буду писать про все, что мне интересно. В основном это рекомендательные системы и персонализация: разборы статей, подборки, примеры кода и т.д.

Показано 3 последних публикаций.