Как учиться по курсу

Этот урок — про технику. Какие инструменты поставить на ноутбук, как читать материалы, как проходить квизы и экзамены, как извлечь максимум из лаб.

Если хочешь сэкономить время на грабли — прочитай.

Окружение

Большинство уроков курса — теория, и достаточно браузера. Но к модулям M11+ ты захочешь трогать инструменты руками. Лучше поставить нужное сразу.

Минимальный стек

Команда установки (Mac)

# Python через pyenv
brew install pyenv
pyenv install 3.12
pyenv global 3.12

# Docker — OrbStack рекомендуется (легче Docker Desktop)
brew install orbstack

# VS Code
brew install --cask visual-studio-code

# DBeaver и DuckDB
brew install --cask dbeaver-community
brew install duckdb

# Git уже есть. Проверь:
git --version

Windows / Linux

На Windows — настоятельно ставь WSL2 + Ubuntu, потом тот же стек внутри WSL. Большинство инструментов в DE написано под Linux, и Windows-нативно работать с ними больно.

На Linux — пакетный менеджер дистрибутива (apt, pacman).

Как читать уроки

Каждый урок — 1500-2500 слов плюс диаграммы. Это не книга — наводи курсор на блоки: у каждого блока в диаграмме есть подсказка (tooltip), где написано, что это и зачем.

Активное чтение

• Не скроль на автопилоте. Останавливайся, спрашивай себя: «Что я только что прочитал?»
• Веди заметки. Один документ на курс. Что выписывать — определения, схемы своими словами, вопросы, на которые ты не ответил с первого раза.
• Переспрашивай. Если что-то не понял — открой Claude, спроси «объясни проще» или «дай пример из жизни». Это нормально.
• Возвращайся. Когда дошёл до dbt (M13), вернись к OLTP/OLAP (M06) — теперь поймёшь глубже.

Квизы

После каждого урока — квиз на 4-6 вопросов. Это не оценка, это проверка понимания.

Типы вопросов: multiple-choice (один правильный из 4) и true/false. Никаких code-challenge — у нас нет автогрейдера для DE.

Экзамены модулей

В конце каждого модуля — экзамен на 6 вопросов. Сложнее обычных квизов: вопросы интегрируют темы всего модуля.

Например, в экзамене M03 (Data Lifecycle) может быть вопрос: «У тебя источник — Postgres, цель — Snowflake, объёмы 100GB в сутки. Какая комбинация ingestion + storage + processing подойдёт?». Это требует понимать все 5 уроков модуля сразу, а не один.

Если экзамен сложно — это не значит, что ты плохо учился. Это значит, что ты дошёл до уровня, где синтез важнее заучивания.

Лабы

В нескольких модулях есть лабораторные — практические задания в Docker. Например:

• M12: поднять Airflow локально, запустить DAG
• M13: настроить dbt-проект на DuckDB
• M14: создать Iceberg-таблицу, увидеть time travel
• M19 (capstone): полный pipeline end-to-end

Лабы лежат в папке <course>-labs/<lab-name>/ и запускаются docker compose up. К каждой лабе есть README с шагами.

Темп

Не существует «правильного» темпа. Но вот ориентиры:

Спринт работает только если у тебя есть бэкграунд (бэкенд, аналитика). С нуля — расслабленный или стандартный.

Что после курса

После Capstone (M19) у тебя три вещи:

1. Карта территории — ты понимаешь, что такое DE.
2. Один проект — твой capstone, который можно положить в портфолио.
3. Понимание, куда углубляться — выбор deep-dive курса по интересу.

Чеклист «готов к интервью на джуна»

• Объясняю разницу OLTP / OLAP / DWH / Data Lake
• Знаю SQL уровня window functions и CTE

• Писал DAG в Airflow хотя бы раз
• Знаю, что такое idempotency
• Имею аккаунт на GitHub с 2-3 pet-проектами
• Прочитал хотя бы одну DE-книгу (Reis & Housley «Fundamentals of Data Engineering»)

После M18 будет подробный план «как искать первую работу».

Попробуй сам

1. Установи минимум: Python 3.12, Docker (OrbStack на Mac), VS Code. Открой терминал, проверь python --version, docker --version. Если что-то не работает — починить сейчас, потом на M12 будет уже поздно.
2. Создай папку data-engineering-fundamentals-notes (или гист на GitHub). Туда будешь складывать заметки по курсу. Минимум — три абзаца на каждый модуль.