Инструменты для ML мониторинга
В тему ландшафта инструментов мониторинга, регулярно попадаются статьи типа этой:
📃 Best Tools to do ML Model Monitoring (5-7 минут)
Интересно, что такие статьи обычно рассказывают про 3-5 инструментов, но не дают полное покрытие.
В четверг за круглым столом обсудим философско-холиварный вопрос: чем BI или Grafana + Prometheus не подходят для задач ML мониторинга, а пока пусть будет тут просто список специализированных инструментов.
Позиционируются плюс-минус как чисто ML мониторинг:
🔸 EvidentlyAI
🔸 ArizeAI
🔸 fiddler
🔸 Hydrosphere
🔸 snitch
🔸 Mona Labs
🔸 Aporia
🔸 WhyLabs
🔸 Arthur
🔸 Superwise
🔸 Waterdip
🔸 Censius
🔸 whitebox
Мониторинг качества данных в привязке к ML остался пока за кадром, единственное, наткнулся вчера на такой вот инструмент, который и про мониторинг моделей и про мониторинг данных:
🔸 Qualdo
Есть еще категория не совсем мониторинга, а, скорее, тестирования ML моделей:
🔸 Deepchecks
🔸 Truera
🔸 Robust Intelligence
Мониторинг безусловно стоит рядом с сервингом и MLOps. Вот инструменты, в которых мониторингу уделяется особое внимание:
🔸 Seldon (Alibi)
🔸 modzy
🔸 VertaAI
Мы в своей практике достаточно часто сталкиваемся со смешением понятий мониторинга и трекинга модельных экспериментов.
🔹 Вот ClearML, в котором есть функционал для трекинга экспериментов, он партнерится с тулом для монитороинга из спика выше - Aporia
🔸 Comet - тул, который может и в эксперименты и в мониторинг
Ну и практически во всех крупных DS/ML платформах есть свой ответ на мониторинг. Помимо тех, кто совсем на слуху (SAS, IBM, MS Azure, DataRobot, …), хочется отметить:
🔹 iguazio - MLOps, Feature Store, сервинг и мониторинг
🔹 Datatron - MLOps/ModelOps, Governance и мониторинг
🔹 Polymatica ML - NoCode разработка моделей, MLOps и мониторинг
В своей же классификации не смог решить, где сказать про наш инструмент))
◾️ Kolmogorov AI Predicate - мониторинг моделей и расчета кастомных метрик на Python;-) Скоро у нас будет полноценный красивый сайт, а пока слушайте наши доклады на митапах))
Про Monitoring vs Observability мы также еще поговорим подробно на круглом столе в четверг и, вообще, попробуем разобраться в других терминах: ml performance, ml explainability, ml visibility…
В приведенном списке инструментов еще не хватило классификации на open source / вендор, но об этом немного позже (наш Predicate, кстати, пока еще не опенсорсный, но уже бесплатный;-))
Список совсем не претендует на полноценный обзор того что есть. Какие инструменты (и термины) я забыл? Делитесь мыслями в чате, в треде “тема недели”→
В тему ландшафта инструментов мониторинга, регулярно попадаются статьи типа этой:
📃 Best Tools to do ML Model Monitoring (5-7 минут)
Интересно, что такие статьи обычно рассказывают про 3-5 инструментов, но не дают полное покрытие.
В четверг за круглым столом обсудим философско-холиварный вопрос: чем BI или Grafana + Prometheus не подходят для задач ML мониторинга, а пока пусть будет тут просто список специализированных инструментов.
Позиционируются плюс-минус как чисто ML мониторинг:
🔸 EvidentlyAI
🔸 ArizeAI
🔸 fiddler
🔸 Hydrosphere
🔸 snitch
🔸 Mona Labs
🔸 Aporia
🔸 WhyLabs
🔸 Arthur
🔸 Superwise
🔸 Waterdip
🔸 Censius
🔸 whitebox
Мониторинг качества данных в привязке к ML остался пока за кадром, единственное, наткнулся вчера на такой вот инструмент, который и про мониторинг моделей и про мониторинг данных:
🔸 Qualdo
Есть еще категория не совсем мониторинга, а, скорее, тестирования ML моделей:
🔸 Deepchecks
🔸 Truera
🔸 Robust Intelligence
Мониторинг безусловно стоит рядом с сервингом и MLOps. Вот инструменты, в которых мониторингу уделяется особое внимание:
🔸 Seldon (Alibi)
🔸 modzy
🔸 VertaAI
Мы в своей практике достаточно часто сталкиваемся со смешением понятий мониторинга и трекинга модельных экспериментов.
🔹 Вот ClearML, в котором есть функционал для трекинга экспериментов, он партнерится с тулом для монитороинга из спика выше - Aporia
🔸 Comet - тул, который может и в эксперименты и в мониторинг
Ну и практически во всех крупных DS/ML платформах есть свой ответ на мониторинг. Помимо тех, кто совсем на слуху (SAS, IBM, MS Azure, DataRobot, …), хочется отметить:
🔹 iguazio - MLOps, Feature Store, сервинг и мониторинг
🔹 Datatron - MLOps/ModelOps, Governance и мониторинг
🔹 Polymatica ML - NoCode разработка моделей, MLOps и мониторинг
В своей же классификации не смог решить, где сказать про наш инструмент))
◾️ Kolmogorov AI Predicate - мониторинг моделей и расчета кастомных метрик на Python;-) Скоро у нас будет полноценный красивый сайт, а пока слушайте наши доклады на митапах))
Про Monitoring vs Observability мы также еще поговорим подробно на круглом столе в четверг и, вообще, попробуем разобраться в других терминах: ml performance, ml explainability, ml visibility…
В приведенном списке инструментов еще не хватило классификации на open source / вендор, но об этом немного позже (наш Predicate, кстати, пока еще не опенсорсный, но уже бесплатный;-))
Список совсем не претендует на полноценный обзор того что есть. Какие инструменты (и термины) я забыл? Делитесь мыслями в чате, в треде “тема недели”→