Что дальше: roadmap junior -> middle

Поздравляю — если ты дошёл досюда, у тебя крепкая база по Docker. Ты умеешь поднимать DE-стенды, писать Dockerfile’ы, тестировать через testcontainers, собирать в CI и понимаешь production-горизонт.

Этот урок — карта дальнейшего роста. Куда двигаться, чтобы стать middle Data Engineer / DevOps Engineer / Platform Engineer. Я не буду рекомендовать “всё подряд” — это перегруз. Дам приоритеты и реальные инструменты, которые в 2026 нужны на рынке.

Главная развилка: DE или Platform

Через год-два после Docker-курса твоя карьера разветвляется на два пути:

Data Engineer track:

• Углублённый SQL и моделирование (dbt, Snowflake/BigQuery / ClickHouse).
• Распределённые системы (Kafka, Spark, Flink).
• Workflow orchestration (Airflow, Dagster, Prefect).
• Lakehouse-форматы (Iceberg, Delta, Hudi).
• ML-pipelines (если в DS-направлении).

Platform / DevOps track:

• Kubernetes deep dive (operators, networking, security).
• IaC (Terraform/Pulumi).
• CI/CD platforms.
• Observability (Prometheus/Datadog).
• Cloud-specific knowledge (AWS/GCP/Azure).

Многие junior’ы крутятся в обеих сторонах — DE-команды часто несут DevOps-ответственность за свои pipeline’ы. Это нормально. Но через ~3 года придётся выбрать main-track.

Priority 1: Kubernetes (must-have)

Если ты идёшь в любую из веток — k8s неизбежен. Не зубри весь kubectl API; учи концепции.

Минимум для DE:

• Pod, Deployment, Service, ConfigMap, Secret.
• PersistentVolumeClaim, StatefulSet.
• Ingress (как route trafic в кластер).
• Jobs / CronJobs (запуск pipeline-операций).
• Resource requests/limits (без них Pod’ы шибуют OOM).

Для Platform:

• Custom Resource Definitions, Operators.
• Network policies, CNI.
• RBAC, ServiceAccounts, IRSA / Workload Identity.
• Cluster-Autoscaler, HPA, VPA.
• Admission Controllers, OPA Gatekeeper.

Наш курс [kubernetes-fundamentals] — следующий шаг. Закрывает оба уровня.

Priority 2: Helm (DE и Platform)

Helm — package manager для k8s. Charts описывают приложение как template + values. Большинство OSS-сервисов в DE мире (Airflow, Kafka via Strimzi, Spark Operator, ClickHouse, dbt-airflow) предоставляют Helm chart.

# Установка
brew install helm

# Add repo
helm repo add airflow-helm https://airflow-helm.github.io/charts
helm repo update

# Install
helm install airflow airflow-helm/airflow \
  --namespace airflow \
  --create-namespace \
  -f values.yaml

# Upgrade
helm upgrade airflow airflow-helm/airflow -f values.yaml

# Rollback
helm rollback airflow 1

Альтернатива: Kustomize (без шаблонизации, через overlays). Менее популярный для third-party, но удобный для собственного кода.

Priority 3: Terraform / Pulumi (IaC)

Infrastructure as Code — описываешь облако в коде, применяешь через terraform apply. Заменяет clicky-clicky в AWS Console.

# Terraform пример: RDS Postgres для Airflow
resource "aws_db_instance" "airflow" {
  identifier           = "airflow-prod"
  engine               = "postgres"
  engine_version       = "16.3"
  instance_class       = "db.t3.micro"
  allocated_storage    = 20
  db_name              = "airflow"
  username             = "airflow"
  password             = var.db_password
  skip_final_snapshot  = false
  publicly_accessible  = false
  vpc_security_group_ids = [aws_security_group.rds.id]
}

Pulumi — альтернатива Terraform, но на полноценных языках (Python, TypeScript, Go). Удобно для DE — ты пишешь инфраструктуру на том же Python, что и код.

В 2026 Terraform остаётся индустриальным стандартом. Pulumi растёт. Начни с Terraform, попробуй Pulumi когда нужно.

Priority 4: GitOps (ArgoCD / Flux)

GitOps — pattern, где git-репо = single source of truth для прода. Ты делаешь PR с изменением YAML, после merge GitOps-агент применяет.

Developer -> git push k8s-manifests/api/values.yaml ->
PR merge -> ArgoCD pulls -> kubectl apply -> production

Вместо: вручную helm upgrade или kubectl apply с локальной машины (что вспасть в производство при ошибке).

ArgoCD — от Intuit (популярнее). Flux — от Weaveworks (минималистичнее).

Junior’у GitOps приходит на 1-2 годе работы в команде с k8s. Сначала научись k8s, потом изучи GitOps.

Priority 5: Service mesh (advanced)

Когда у тебя >20 микросервисов на k8s, нужен service mesh для:

• mTLS между сервисами (encryption-in-transit).
• Traffic splitting (canary, A/B).
• Retries / circuit breakers.
• Observability (per-request tracing, без app-кода).

Istio — самый мощный, сложный. Production-стандарт в enterprises. Linkerd — проще, легче, тоже CNCF graduated. Cilium Service Mesh — на eBPF, новый, perf-friendly.

Junior’у service mesh обычно не нужен. Это middle/senior territory.

Priority 6: Security

Безопасность — сквозная тема. Что учить:

• Container security: rootless containers (мы видели в курсе), USER в Dockerfile, image scanning (Trivy, Grype).
• Secrets management: HashiCorp Vault, AWS Secrets Manager, Sealed Secrets для k8s.
• Image signing: Cosign / Sigstore (мы упоминали в 18-01).
• Policy enforcement: OPA / Kyverno (admission controllers, “не запускай Pod без USER”).
• Runtime security: Falco (детектирует abnormal-поведение в контейнерах).
• Network policy: k8s NetworkPolicies или Cilium.

Книга: Container Security by Liz Rice (O’Reilly, 2023, 2nd edition). Лучшая на тему.

Книги (реально полезные)

Не “100 книг”. Шесть, которые стоят инвестиции:

1. Docker Deep Dive — Nigel Poulton. Базовая, но даёт глубокое понимание Docker. Многое из неё ты уже знаешь после курса, но чтение хорошо систематизирует.

2. Kubernetes Up & Running — Brendan Burns, Joe Beda (co-creators of k8s). Лучшая обзорная книга по k8s. 4-е издание (2024) актуально.

3. Programming Kubernetes — Michael Hausenblas. Глубже: как писать operators, CRDs, controllers. Для platform-track.

4. Container Security — Liz Rice. Practical security.

5. Designing Data-Intensive Applications — Martin Kleppmann. НЕ про контейнеры, но обязательно DE. Distributed systems, replication, consensus.

6. The Phoenix Project — Gene Kim et al. Фикшен про DevOps-трансформацию. 200 страниц, изменит понимание. Читается за выходные.

Сертификации

CKA (Certified Kubernetes Administrator) — от CNCF. Live-кластер, решать задачи за 2 часа. Релевантно. Подготовка — 1-2 месяца после понимания k8s основ. $395.

CKAD (Certified Kubernetes Application Developer) — более прикладная (без security/networking). Если ты больше app, чем ops.

CKS (Certified Kubernetes Security Specialist) — security focus. Сложнее, требует CKA.

Cloud-specific:

• AWS Solutions Architect Associate
• GCP Professional Cloud Architect
• Azure Solutions Architect

Что НЕ стоит делать (по моему мнению):

• DCA (Docker Certified Associate) — устарела, Docker Inc. больше не активно promote. Не помогает на рынке.
• Любые vendor-specific Kubernetes (Red Hat OpenShift, VMware Tanzu) — если только не работаешь в этой компании.

Сертификации не делают тебя инженером, но помогают на собеседовании и при джобчейндже. CKA — безусловное “да”, если на рынок выходишь.

Учебные ресурсы

Платформы:

• KodeKloud, A Cloud Guru, Udemy — видео-курсы по k8s, AWS. Дёшево, качественно.
• kube.academy — бесплатно от VMware, отличный k8s-контент.
• CNCF YouTube — KubeCon talks. Топ-уровень.

Hands-on:

• killercoda.com — бесплатные browser-based labs по k8s.
• labs.iximiuz.com — от Ivan Velichko, отличные labs.
• katacoda (RIP) — был лучшим, замёрз в 2022.

Блоги/Newsletters:

• Last Week in Kubernetes Development — курируемые newsletters CNCF.
• Sysdig blog — security & observability.
• Learnk8s — глубокие туториалы.

Reality check: на чём фокус для junior

Если ты только закончил этот курс и работаешь как junior DE:

Прямо сейчас (1-3 месяца):

• Закончи проект в финальном модуле курса (capstone). Push на GitHub, добавь README.
• Поднимай compose-стенды для всех своих ETL pipeline’ов (не только prod-настройки руками).
• Делай интеграционные тесты через testcontainers / compose.

3-6 месяцев:

• Начни kubernetes-курс. Параллельно работе.
• Когда команда даёт k8s-задачи — бери, даже если страшно.
• Один pet-project на k8s (твой ETL pipeline в k8s через Helm).

6-12 месяцев:

• CKA exam (если позволяет компания).
• Если нет k8s в работе — ищи job, где есть. К концу года junior без k8s становится anti-pattern.

12+ месяцев:

• Углубляйся в выбранный track.
• Книги выше.
• Conference talks (KubeCon, AWS re:Invent на YouTube).

Анти-patterns: куда НЕ нужно

• “Я выучу все 10 service mesh.” — не учить ничего хорошо. Фокус.
• Сертификации без практики. CKA без проекта — бумажка. Совместно — сильно.
• Tools-of-the-week. Каждый месяц новый orchestrator / scheduler. Игнорируй.
• Cargo cult архитектуры. Microservices на k8s для команды из 3 человек. YAGNI.
• Перфекционизм. “Не буду пушить, пока не идеально.” Push messy, рефактори итеративно.

Soft skills (тоже важно)

В junior -> middle переходе техника — 60%, остальное:

• Code review — умей читать чужой код, давать конструктивный feedback.
• Документация — README, runbook’и, post-mortem’ы.
• Communication — объясняй простыми словами. Manager не знает Kafka offsets.
• Ownership — если ты автор pipeline’а, ты ответственен за его работу. “Не моя проблема” — путь back to junior forever.

Заключительная мысль

Docker — это не endgame, это foundation. Ты теперь умеешь упаковывать любой код в портативный, воспроизводимый артефакт. Это базовый строительный блок современной инфраструктуры.

Дальше — оркестрация (k8s), автоматизация (IaC, GitOps), масштаб (service mesh, observability). Всё это надстраивается над тем, что ты уже знаешь.

Главное: не пытайся всё сразу. Бери задачу из работы или pet-project’а, решай через осваиваемый tool, фиксируй вывод в memory или README. Так знание оседает.

Удачи в пути junior -> middle. Через 18 месяцев ты не узнаешь себя.