dbt: трансформация данных

SQL-first подход к аналитическому слою

50K+growing

Компаний используют dbt

10xSQL-first

Быстрее чем ручной ETL

100%CI/CD

Тестируемость

Gitcode-first

Версионирование

dbt превращает SQL-аналитика в data engineer-а. Вместо одноразовых запросов — версионированные модели с тестами. Это как Git для SQL.

Ключевые темы

dbt (data build tool) — трансформация данных через SQL-модели с версионированием

ELT вместо ETL: сначала загрузи всё, потом трансформируй в DWH

Модели, источники, тесты, документация — всё в коде (Git)

Incremental модели: обновляй только новые данные, а не пересчитывай всё

dbt + Airflow = полный data pipeline: сбор → хранение → трансформация → отчёт

🪦Старый век

🚀Новый век

SQL трансформации

Stored procedures, без тестов, без версий

10x

dbt модели в Git, с тестами и CI/CD

dbtPostgreSQLClickHouseGitAirflow

Инициализируйте dbt-проект. Создайте 3 уровня моделей (staging → intermediate → marts). Добавьте тесты unique/not_null. Запустите dbt run + dbt test.

Урок 26 из 59

Apache Airflow: оркестрация

Продуктовая аналитика