Валидация и метрики

Cross-validation, ROC AUC, Gini, precision/recall — правильная оценка

$180KROI

За +0.01 Gini

5-foldrobust

Стандарт валидации

0%zero tolerance

Data leakage

$$business

Метрики в деньгах

AI Insight

ROC AUC 0.95 ничего не значит, если это не превращается в деньги. В Forte Bank мы считали: каждый +0.01 к Gini churn-модели = $180K/год дополнительного дохода.

Ключевые темы

Train/val/test split: почему 80/10/10 и почему нельзя тюнить на test

K-Fold Cross-Validation: stratified, time-series, group — когда какой

Классификация: ROC AUC, Gini, Precision, Recall, F1, PR AUC

Регрессия: MSE, RMSE, MAE, MAPE, R²

Бизнес-метрики: прибыль от модели, cost-sensitive learning, confusion matrix в деньгах

Аналитика и графики

Старый подход vs AI-подход

🪦Старый век

🚀Новый век

Оценка модели

accuracy на train — data leakage

∞

Stratified 5-fold CV + бизнес-метрики

Инструменты урока

scikit-learnmatplotlibseabornSHAP

Домашнее задание

Практическое задание

Для модели из предыдущего урока: реализуйте 5-fold stratified CV. Посчитайте ROC AUC, Gini, Precision@K, confusion matrix. Переведите результат в бизнес-метрики ($ дохода/потерь).

Урок 46 из 59

Gradient Boosting: CatBoost, XGBoost, LightGBM

Интерпретация моделей: SHAP