DS League

#recsys #dataset #news
VK-LSVD: Large Short-Video Dataset

Особенный домен
Я пришел в RecSys из CV, где публичным бенчмаркам можно было доверять: результаты из научных статей хорошо коррелировали с продом. Поэтому, возглавив RecSys R&D, я предложил стратегию экспериментов с SotA моделями из академических статей, но практически на все предложения услышал: “уже пробовали, на нашем масштабе прироста нет”.

Различия в методах валидации и доступности данных в академии и индустрии оказались внушительными. И хотя сейчас ситуация чуть лучше, RecSys всё ещё сильно отстаёт от CV/NLP.

Что предлагает сообщество?
Многие из выкладываемых датасетов содержат только то, что можно спарсить самостоятельно (например, отзывы и контент, как в Amazon Reviews, MovieLens или MicroLens). Однако ключевые сигналы для рекомендаций индустриальные системы получают вовсе не из отзывов.

Netflix, сильно забустивший индустрию, после знаменитого соревнования погряз в судебных процессах и перестал публиковать свои данные.

Интересные датасеты выкладывают Tencent (Tenrec) и Kuaishou (KuaiRec). Но несмотря на сотни миллионов DAU их сервисов, эти данные все еще очень далеки от индустриальных масштабов.

Что решил сделать я?
Я опубликовал самый близкий к индустриальным масштабам рекомендательный датасет VK-LSVD с 40В взаимодействий. Второй по размеру сейчас MLHD с 27B взаимодействий, а замыкает тройку свежая Yambda на 4.79B записей логов.

Ключевые отличия VK-LSVD
40B взаимодействий. Упорядоченные по времени данные за 6 месяцев, которые включают и просто показы без реакций.
7 видов фидбека. Кроме привычного таймспента есть лайки, открытия комментов, шэры, закладки, дизлайки, клики на автора.
3 вида контекста. Место взаимодействия (лента, поиск, группы,…), платформа (десктоп, тв, смартфон,…), агент (тип браузера, клиента в приложении,…).
20M айтемов. Для каждого клипа известен автор, длительность и контентный эмбеддинг (недавно рассказывали, как их варим).
10M пользователей. С возрастом, полом и гео.
Кастомный сабсемплинг. В индустрии часто приходится решать задачу согласованности оффлайн-метрик с онлайн-результатами для ускорения проверки гипотез. Академия может помочь нам с исследованием стратегий семплинга, результаты которых хорошо соотносятся с метриками на больших выборках.

Почему именно клипы?
В работе мне доступно много форматов (от музыки до знакомств), но именно клипы выглядят самыми подходящими для бенчмаркинга.

Во-первых, в один момент времени на экран помещается один клип, что сильно упрощает атрибуцию фидбека: скип в клипах более осознанный сигнал, чем на витрине из 9 длинных видео, часть которых пользователь даже не заметил.

Во-вторых, в этом формате практически отсутствует фоновое потребление, которое добавляет шум в других видах контента: например в музыке, действительно ли дослушанный пятый из десяти трек в сессии это позитивный сигнал?

В-третьих, удобный интерфейс и десятки просмотров за сессию дают системе много фидбэка.

Все это повышает точность оффлайн-оценки алгоритмов и позволяет добиваться лучшей корреляции с онлайном. Кроме того, выводы, полученные на клипах, хорошо обобщаются и на другие форматы (что мы наблюдали с DB&NWT).

Что дальше?
Датасет готов к вашим экспериментам, впереди еще статья и масштабное соревнование, так что stay tuned.

@ds_league

#recsys #news
Путеводитель по RecSys каналам

Важно помнить, что, как научные пейперы, так и статьи в блогах больших технологических компаний не всегда раскрывают важные и неочевидные детали. Поэтому я внимательно слежу за каналами моих коллег, в которых можно узнать факты из первых рук:

• @inforetriever Кирилл – legit специалист в рекомендательных системах с большим индустриальным опытом в RnD Яндекса. Часто сам мониторит arXiv и собирает для вас лучшее. Никакого булщита, четко подмеченные утечки в пейперах и строгая терминология.
• Хороший взгляд на рекомендации от людей из компании Х можно найти у @WazowskiRecommends и @knowledge_accumulator.
• Из Wildberries у @wildrecsys и @ml4value.
• @mlvok коллеги из ОК проводят регулярные ридинг-клабы, в которых можно самим поучаствовать. Порой затрагивают более широкие темы, чем просто рекомендации.
• @ru_recommender_systems – канал от Саши Петрова (ex-Amazon). Чуть больше активности в сопутствующем чате @ods_recommender_systems.

Productivity tip
Сегодня очень легко утонуть в информации, поэтому (пока вам не разработали рекомендательную систему постов про рекомендательные системы) лучше подписаться на 2-3 канала, которые вы действительно будете читать, чем на папку с десятком каналов, в которую вы не будете заходить.

Если кого-то несправедливо забыл – пишите в комментариях.

@ds_league

#recsys #news
Путеводитель по RecSys

Меня часто спрашивают, за кем следить, чтобы оставаться в курсе последних разработок. Делюсь с вами подборкой источников, которые я регулярно читаю, чтобы иметь самые свежие знания в области RecSys.

Академия
• Один из первых ресурсов в арсенале любого STEM специалиста – это arXiv. В разделе Information Retrieval ежедневно выходит десяток-другой статей, существенная часть из которых про RecSys.
• Свежие результаты бенчмарков рекомендательных алгоритмов на популярных toy-датасетах можно найти на Papers With Code в разделе Latest papers.
• Материалы большинства конференций есть на ACM DL. Релевантные: RecSys, CIKM, SIGIR, SIGKDD, UMAP, WSDM и WWW.

Индустрия
Чтобы не выискивать индустриальные статьи на arXiv, можно напрямую читать блоги компаний о рекомендательных системах:
• Netflix Research – легендарная компания в рекомендательных системах. В свое время дала большой буст не только RecSys, но и соревновательному DS.
• Spotify R&D – всё, вплоть до социальных исследований, о рекомендациях музыки, аудиокниг, подкастов.
• Amazon Science – гигант e-commerce, который не нуждается в представлении. Последнее время активно экспериментируют с LLM в рекомендациях.
• LinkedIn Engineering – рассказывают про работу с социальными графами на собственном примере.

Имеет смысл просматривать и блоги других корпораций: Х Engineering, Google Research и DeepMind, Pinterest Engineering, Criteo Engineering, Nvidia Technical. Однако будьте готовы приложить чуть больше усилий для поиска, так как они пишут не только про RecSys.

@ds_league

#career #recsys
Анализ рынка RecSys в России

Мне всегда нравилась аналитика вакансий от Хабра, но область Data Science там представлена достаточно слабо, что уж говорить о RecSys. Чтобы лучше понимать, как устроен рынок Data Scientist-ов в рекомендательных системах, я мониторю вакансии из телеги и одс. За последний год я накопил выборку из сотни вакансий, которые мне стало интересно проанализировать.

В серии постов я поделюсь выводами, которые получилось сделать из этого анализа.

Кто нанимает?
Чаще всего специалистов в рекомендательных системах ищут VK, MTS, Sber, Wildberries, Yandex, Avito, Tinkoff и HeadHunter.

Кого ищут?
В большинстве случаев ищут, конечно же, синьеров (41% вакансий). На втором месте по востребованности – мидлы (34%), которые с большим отрывом обгоняют лидов (всего 20%).
Исчезающе мало вакансий джунов (5%), что можно объяснить тем, что от хорошего джуна не требуется специфичных знаний, важнее хорошая DS база.

Можно ли рекомендовать дистанционно?
В 43% вакансий указана возможность полностью дистанционной работы. Любопытно и не удивительно, что почти всегда она отсутствует у вакансий на лидов.

Сколько платят?
Фан факт 1: если в вакансии и есть данные про деньги (что случается не так уж часто), то нередко указан только один из порогов вилки. А иногда пороги указаны сразу для Middle/Senior специалистов. Поэтому я решил анализировать пороги для каждого уровня отдельно.

Фан факт 2: часто вилки указываются в гросс и это не только потому что так солиднее выглядит, но и из-за прогрессивного налога, под который с такими вилками достаточно легко попасть.

Фан факт 3: почти у всех вакансий дополнительно указана возможность получения годовых\полугодовых бонусов в среднем 20% от оклада за этот период.

Медианы для каждого уровня:
Junior 187k-262k
Middle 200k-325k
Senior 325k-460k
Lead 400k-500k

@ds_league