Линейные модели и деревья

Фундамент ML: от линейной регрессии до Random Forest

60%simple wins

Задач решаются линейно

0.85start here

R² baseline

1msinstant

Предсказание

100%explainable

Интерпретируемость

AI Insight

Начинай с линейных моделей. Если линейная регрессия даёт R²=0.85 за 1 секунду, зачем тратить 2 часа на обучение нейросети ради R²=0.87? Простота = скорость + интерпретируемость.

Ключевые темы

Линейная регрессия: MSE, R², регуляризация (L1/L2, ElasticNet)

Логистическая регрессия: бинарная классификация, sigmoid, threshold tuning

Decision Tree: Gini, entropy, pruning, max_depth — интерпретируемость

Random Forest: bagging, out-of-bag score, feature importance

Bias-Variance tradeoff: почему модель переобучается или недообучается

Аналитика и графики

Старый подход vs AI-подход

🪦Старый век

🚀Новый век

Кредитный скоринг

Ручные правила (if salary > X)

50x

Логистическая регрессия + feature engineering

Инструменты урока

scikit-learnpandasmatplotlibJupyter

Домашнее задание

Практическое задание

Решите задачу бинарной классификации (credit default). Обучите LogisticRegression, DecisionTree, RandomForest. Сравните ROC AUC, Precision, Recall. Визуализируйте feature importance.

Урок 44 из 59

Demo Day: финал

Gradient Boosting: CatBoost, XGBoost, LightGBM