ML Career

ML мониторинг и Feature Store

😎Марина Смирнова (Альфа-Банк) и 😎Александр Косов (GlowByte) в своем докладе завтра на митапе затронут важную тему мониторинга стабильности фич и то, как она связана с Feature Store. В связи с этим небольшая подборка статей с Хабра:
📃 Как поссорились Инженер и Ученый - Статья про данные для ML и FeatureStore, 2021 (8 минут).
📃 Каким должен быть Feature Store, чтобы оптимизировать работу с ML-моделями, 2022 (7 минут).
📃 Как не перестать быть data driven из-за data driften, или Пару слов о дрейфе данных, 2022 (13 минут).

Вторая статья в списке по мотивам выступления:
📺 Артём Глазков - Анализ потребности бизнеса в использовании Feature Store, 2022 (38 минут).

Ну и можно пересмотреть наш самый первый очный митап, который был год назад и как раз по теме Feature Store:
📺 Технологии Feature Store (~2 часа).

Немного про MPP

😎 Евгений Степанов из Банка Открытие на митапе в четверг сделает доклад про опыт построения предиктивного мониторинга и подходы MPP. На эту тему вспомним пару статей, которые у нас уже всплывали в канале:
📃 Модель следит за моделью: как MPP-подход помогает прогнозировать риски и принимать решения, 2020 (5 минут).
📃 Валидация моделей машинного обучения, 2021 (10 минут).

Про опыт коллег из Открытия есть также вот такая заметка по мотивам доклада на конференции Data Day:
📃 Прогрессивные методы мониторинга качества данных для моделей машинного обучения, 2022 (7 минут).

Про MPP сегодня в чате уже вспомнил 😎Артём Глазков (@allront):
📄 Статья: Ghanta et al. - MPP: Model Performance Predictor, 2019 (5 минут).
🔸 Библиотека: nannyML.


P.S.: А наш докладчик Евгений еще засветился с темой трендов:
📃 ML-/DS-тренды в задачах управления кредитным риском в розничном кредитовании, 2021
Статья правда не в публичном доступе, но мы в начале года обязательно соберемся на традиционный голосовой чат про тренды, и спросим Евгения, сбылись ли прогнозы😉

Инструменты для ML мониторинга

В тему ландшафта инструментов мониторинга, регулярно попадаются статьи типа этой:
📃 Best Tools to do ML Model Monitoring (5-7 минут)
Интересно, что такие статьи обычно рассказывают про 3-5 инструментов, но не дают полное покрытие.

В четверг за круглым столом обсудим философско-холиварный вопрос: чем BI или Grafana + Prometheus не подходят для задач ML мониторинга, а пока пусть будет тут просто список специализированных инструментов.

Позиционируются плюс-минус как чисто ML мониторинг:
🔸 EvidentlyAI
🔸 ArizeAI
🔸 fiddler
🔸 Hydrosphere
🔸 snitch
🔸 Mona Labs
🔸 Aporia
🔸 WhyLabs
🔸 Arthur
🔸 Superwise
🔸 Waterdip
🔸 Censius
🔸 whitebox

Мониторинг качества данных в привязке к ML остался пока за кадром, единственное, наткнулся вчера на такой вот инструмент, который и про мониторинг моделей и про мониторинг данных:
🔸 Qualdo

Есть еще категория не совсем мониторинга, а, скорее, тестирования ML моделей:
🔸 Deepchecks
🔸 Truera
🔸 Robust Intelligence

Мониторинг безусловно стоит рядом с сервингом и MLOps. Вот инструменты, в которых мониторингу уделяется особое внимание:
🔸 Seldon (Alibi)
🔸 modzy
🔸 VertaAI

Мы в своей практике достаточно часто сталкиваемся со смешением понятий мониторинга и трекинга модельных экспериментов.
🔹 Вот ClearML, в котором есть функционал для трекинга экспериментов, он партнерится с тулом для монитороинга из спика выше - Aporia
🔸 Comet - тул, который может и в эксперименты и в мониторинг

Ну и практически во всех крупных DS/ML платформах есть свой ответ на мониторинг. Помимо тех, кто совсем на слуху (SAS, IBM, MS Azure, DataRobot, …), хочется отметить:
🔹 iguazio - MLOps, Feature Store, сервинг и мониторинг
🔹 Datatron - MLOps/ModelOps, Governance и мониторинг
🔹 Polymatica ML - NoCode разработка моделей, MLOps и мониторинг

В своей же классификации не смог решить, где сказать про наш инструмент))
◾️ Kolmogorov AI Predicate - мониторинг моделей и расчета кастомных метрик на Python;-) Скоро у нас будет полноценный красивый сайт, а пока слушайте наши доклады на митапах))

Про Monitoring vs Observability мы также еще поговорим подробно на круглом столе в четверг и, вообще, попробуем разобраться в других терминах: ml performance, ml explainability, ml visibility…

В приведенном списке инструментов еще не хватило классификации на open source / вендор, но об этом немного позже (наш Predicate, кстати, пока еще не опенсорсный, но уже бесплатный;-))

Список совсем не претендует на полноценный обзор того что есть. Какие инструменты (и термины) я забыл? Делитесь мыслями в чате, в треде “тема недели”→