01
Data Engineering · Уровень
Middle
Рабочий стек инженера: оркестрация, стриминг, обработка, хранилища.
11
Курсов
614
Часов
1028
Уроков
102
Недель
Курсы / 01–11
Apache Airflow 2
Ультимативный Airflow 2.x: scheduler internals, critical section, Celery/K8s executors, Datasets, Deferrable, OpenLineage, HA. Бесплатно, интерактивно.
Apache Flink
Flink на практике: DataStream API, keyed state, exactly-once, Flink CDC, деплой на Kubernetes, Table API/SQL. Бесплатно, интерактивно. Baseline Flink 2.2.
Apache Kafka
Ультимативный Kafka: KRaft, репликация, consumer groups, exactly-once, прод-операции и design patterns. Интерактивно, с диаграммами. Premium, 500 Stars.
Apache Spark
Spark на практике: DataFrames, Spark SQL, оптимизация, Structured Streaming, Delta/Iceberg/Hudi, прод-операции. Бесплатно, интерактивно. От движка до прода.
Clickhouse
Ультимативный ClickHouse: MergeTree-движки, колоночное хранилище, сжатие, materialized views, прод-операции. Интерактивно, с диаграммами. Premium, 500 Stars.
dbt II
dbt middle: incremental/microbatch, SCD2 snapshots, unit-тесты, Slim CI, Semantic Layer, contracts. Бесплатно, интерактивно. От Jaffle Shop к 100+ моделям.
Debezium CDC
CDC на Debezium: захват изменений из БД, Kafka Connect, схемы, snapshots, прод-деплой. Бесплатно, интерактивно, с диаграммами. Построй CDC-пайплайн.
DuckDB
DuckDB middle: friendly SQL, векторизованный движок, колоночное сжатие, morsel-параллелизм, Parquet/CSV без импорта, DuckLake. Бесплатно, интерактивно.
Modern storage formats
Parquet, ORC, Arrow, Delta Lake, Iceberg — побайтовый разбор: кодировки, компрессия, schema evolution, table formats. Интерактивно. Premium, 1000 Stars.
Python 02
Ультимативный Python для Big Data: структуры до железа, async, паттерны, профайлинг, packaging. Бесплатно, интерактивно. Premium-курс, 500 Stars.
Trino
Trino middle: MPP-архитектура, жизненный цикл запроса, stages/splits/operators, CBO, dynamic filtering, lakehouse-коннекторы. Бесплатно, интерактивно, с капстоуном.