Apache Airflow: оркестрация

DAG, операторы, расписания — пайплайны по расписанию

15+Forte

DAG-ов в проде

36524/7

Дней автоматики

99.9%reliable

Uptime пайплайнов

0automated

Ручных запусков

AI Insight

В Forte Bank я построил 15+ DAG-ов в Airflow: ежедневный ETL кредитных данных, расчёт скорингов, обновление ML-моделей. Всё работает автоматически 365 дней в году.

Ключевые темы

Airflow — стандарт оркестрации данных: используют Airbnb, Uber, Spotify, Forte Bank

DAG (Directed Acyclic Graph) — описание зависимостей между задачами

Операторы: PythonOperator, BashOperator, SQLOperator, S3, API

Расписания: cron-выражения, сенсоры, триггеры

Мониторинг: алерты в Telegram/Slack при падении пайплайна

Аналитика и графики

Старый подход vs AI-подход

🪦Старый век

🚀Новый век

Ежедневный ETL

cron + bash-скрипты, без мониторинга

10x

Airflow DAG с retry, алертами, логами

Сложный пайплайн

Скрипты с условиями, race conditions

DAG с зависимостями и параллелизмом

Инструменты урока

Apache AirflowDockerPostgreSQLPython

Домашнее задание

Практическое задание

Создайте Airflow DAG: 1) парсинг данных из API, 2) загрузка в PostgreSQL, 3) SQL-трансформации, 4) экспорт результата в CSV. Настройте расписание и алерт в Telegram при ошибке.

Урок 25 из 59

RAG: продукт отвечает по своим данным

dbt: трансформация данных