MLflow и мониторинг моделей

Эксперименты, model registry, data drift, performance tracking

100+tracked

Экспериментов в MLflow

24чvs 3 months

Время обнаружения drift

v1→v47registry

Версий модели

0monitoring

Деградаций пропущено

AI Insight

Без мониторинга модель деградирует незаметно. В Forte Bank churn-модель потеряла 0.08 Gini за 3 месяца из-за data drift. С мониторингом мы ловим это за 24 часа и переобучаем.

Ключевые темы

MLflow Tracking: логирование параметров, метрик, артефактов каждого эксперимента

MLflow Model Registry: версионирование моделей, staging → production → archived

Data Drift Detection: Evidently AI, PSI, KS-test — данные поменялись?

Model Performance Monitoring: метрики в real-time, алерты при деградации

CI/CD для ML: автотесты, автообучение, автодеплой при улучшении метрик

Аналитика и графики

Старый подход vs AI-подход

🪦Старый век

🚀Новый век

Трекинг экспериментов

Excel + папки с ноутбуками

10x

MLflow: параметры, метрики, артефакты, сравнение

Инструменты урока

MLflowEvidently AIPrometheusGrafanaDocker

Домашнее задание

Практическое задание

Настройте MLflow для проекта: 1) Логируйте 10+ экспериментов с разными гиперпараметрами, 2) Зарегистрируйте лучшую модель в Model Registry, 3) Настройте Evidently для data drift detection. Алерт в Telegram.

Урок 57 из 59

FastAPI + Docker: модель в проде

Выпускной проект: планирование