Senior

Extensible query engine на базе Apache Arrow: архитектура, SQL и DataFrame API, оптимизация запросов, расширения на Rust и Python

Глубокое погружение во внутренности Apache Flink 2.x для senior data engineers. От архитектуры JobManager/TaskManager и credit-based flow control до Calcite SQL planner, RocksDB+ForStDB state backends, disaggregated state (Flink 2.0+), 2PC exactly-once internals и multi-region DR. Покрывает Lakehouse-стек (Paimon, Fluss), CEP/Pattern API, AI-фичи 2.1/2.2 (CREATE MODEL, ML_PREDICT, VECTOR_SEARCH), PyFlink, форматы сериализации. Курс для тех, кто уже writes Flink jobs и хочет понять как тюнить их в проде.

Глубокое погружение во внутреннее устройство Apache Spark для senior data-инженеров. От RDD и модели выполнения, scheduler internals, shuffle и управления памятью до Catalyst/Tungsten, whole-stage codegen, Adaptive Query Execution и internals Structured Streaming (StateStore, IncrementalExecution, transformWithState). Покрывает сериализацию и UnsafeRow, Apache Arrow и Spark Connect, расширение движка через DataSource V2 и кастомные правила Catalyst, External Shuffle Service, alternative execution engines (Comet, Gluten), профилирование и работу с исходным кодом Spark. Курс для тех, кто уже пишет Spark-пайплайны в проде и хочет понять, как движок устроен изнутри.

Полный курс по управлению данными — от метаданных и каталогов до приватности, качества и контроля доступа

Углублённый курс про Critical Data Elements, контроли, аудит и регуляторику — SOX, BCBS 239, Basel, IFRS, GDPR, DORA, EU AI Act, PCI-DSS, AML

Курс уровня senior — internals dbt-core и продвинутые сценарии для staff/senior analytics engineer и data platform engineer. Разбираем pipeline parsing → compilation → execution на уровне Python-исходников dbt-core, контексты Jinja (ProviderContext / MacroContext / BaseContext), структуру manifest.json и run_results.json, programmatic invocation через dbtRunner. Пишем кастомные materializations и собственный adapter с нуля (через dbt-tests-adapter suite). Performance optimization для проектов 1000+ моделей, dbt Mesh с cross-project ref, dbt Fusion engine на Rust (2025+), MetricFlow internals. Capstone — выбор из трёх: контрибьют в dbt-core, свой adapter, или large-scale optimization case.

Глубокий курс по Kubernetes, полностью покрывающий программу сертификации Certified Kubernetes Application Developer (CKAD v1.35). От архитектуры control plane и kubelet до production-паттернов deployment, observability, networking и security. Не «20 команд kubectl», а понимание того, что происходит за каждой командой: reconcile loops в controllers, watch-streams в API server, iptables за Services, и сетевая модель CNI.

Хардкорное продолжение SQL Fundamentals. До железа: страницы B-tree, MVCC и VACUUM, query planner и costing, join algorithms, EXPLAIN deep dive, изоляции и SSI, партиционирование, WAL и репликация, row vs vectorized. Уровень CMU 15-445. Все примеры на PostgreSQL 17, в браузере через pglite.

Проектирование data-платформ — от pipeline architecture через lakehouse и streaming до production data operations