Прогресс, квизы и экзамены
Курс — 78 часов материала. Без структурированных контрольных точек такой объём сложно усваивать: знания накапливаются, но не закрепляются. В этом уроке — как устроены квизы, экзамены и прогресс в курсе, и как получить максимум от прохождения.
Квизы после уроков
После большинства уроков — квиз из 3-5 вопросов. Это не формальность: вопросы специально написаны для senior-уровня.
Типичные форматы:
- Multiple-choice — несколько вариантов, один или несколько правильных. Большинство вопросов — аналитические, а не на простой recall. Пример: не “что делает AQE”, а “при каком условии AQE skew join split сработает, а при каком — нет”.
- True/False с обоснованием — не просто нажать кнопку, а понять почему.
- Analytical open-form — открытый вопрос на рассуждение (отображается как KnowledgeCheck в уроке). Правильный ответ появляется после того, как вы сформулировали свой.
Квизы в этом курсе специально сложные. Если вы ошиблись — это не повод расстраиваться, а сигнал, что урок стоит перечитать раздел, которого вопрос касался. Ошибка при первом прохождении квиза нормальна и полезна: она фиксирует пробел.
Квиз не блокирует переход к следующему уроку. Вы можете двигаться дальше с любым результатом. Но перед модульным экзаменом имеет смысл вернуться и перепройти квизы уроков, которые дали меньше 60%.
Модульные экзамены
В конце каждого модуля — экзамен из 6 вопросов. Это глубокие вопросы, которые требуют связывать знания из разных уроков модуля.
Почему 70%, а не 100%? Потому что цель курса — не довести вас до механического запоминания формулировок, а сформировать рабочее понимание механики. 4 из 6 правильных ответов означают, что основная часть модуля усвоена. Оставшееся придёт через практику.
Что делать если набрали меньше 70%: Не перепроходить экзамен сразу. Вернитесь к урокам, которых касались неправильные ответы, перечитайте соответствующие разделы — а потом пересдайте. Механическое угадывание не даёт знания.
Отслеживание прогресса
Как отметить урок пройденным
В конце каждого урока есть чекбокс “Отметить как пройденный”. Нажмите его, когда закончили урок — включая квиз.
После отметки:
- В боковом меню появляется галочка рядом с названием урока
- Счётчик модуля обновляется (например,
2/5становится3/5) - На главной странице курса обновляется общий индикатор
Чекбокс двусторонний: если хотите вернуться к уроку и перепройти — снимите отметку.
Где хранится прогресс
Прогресс хранится в localStorage браузера и синхронизируется с вашим аккаунтом (если вы залогинены).
| Аспект | Без аккаунта | С аккаунтом |
|---|---|---|
| Хранение | Только в этом браузере | Синхронизируется на сервере |
| Другой браузер | Прогресс не виден | Прогресс доступен |
| Очистка кэша | Прогресс теряется | Прогресс сохраняется |
| Мобильный | Отдельный прогресс | Единый прогресс |
Если вы проходите курс в браузере без аккаунта и очистите данные сайта или перейдёте на другое устройство, прогресс не восстановится. Рекомендуется залогиниться перед началом.
Просмотр прогресса
- Боковое меню — счётчик
X/Yрядом с каждым модулем - Главная страница — общий прогресс и последний непройденный урок
- Список уроков в модуле — галочки у пройденных уроков
Как эффективно учиться по этому курсу
78 часов — это много. Без правильной организации даже хороший материал не усваивается.
Темп
Рекомендуемый темп — 1 модуль в неделю, включая labs там, где они есть. Это 5-8 часов в неделю: реалистично для работающего специалиста.
Некоторые модули короче (01 — Философия, 12 — ESS, 16 — Приложение), некоторые длиннее (04 — Shuffle, 06 — Catalyst, 09 — Streaming). Планируйте это заранее.
Не пытайтесь пройти курс за две недели. Internals — это не информация, которую можно “усвоить” за один интенсив. Нужно время, чтобы знание осело и связалось с вашим production-опытом. Лучше 1 модуль в неделю с лабами, чем 5 модулей за выходные без закрепления.
Source code как параллельное чтение
Самое важное. В каждом уроке названы конкретные классы и методы Spark. Правильный workflow:
- Читаете раздел урока про, например,
SortShuffleManager - Открываете в IDE
org.apache.spark.shuffle.sort.SortShuffleManager.scala - Находите метод
registerShuffle— и видите, что описание в уроке соответствует коду - Читаете дальше урок
Это удваивает время на урок, но даёт качественно другое понимание. Загрузите Spark source заранее:
git clone https://github.com/apache/spark.git
cd spark
git checkout v4.0.0Labs
Labs есть в модулях 02, 04, 05, 06, 08, 09. Это Docker Compose-окружения с воспроизводимыми сценариями: запустить job с намеренным shuffle-spill, воспроизвести OOM, посмотреть Spark UI в реальном времени.
Не пропускайте labs. Теорию можно прочитать и забыть. Но когда вы сами воспроизводите shuffle-spill на своём кластере, видите в Spark UI метрику Spill (disk) и находите параметр, который это фиксирует — это остаётся надолго.
Квизы: стратегия
Делайте квизы сразу после урока, а не в конце модуля. Квиз — это инструмент закрепления “по горячим следам”. Если откладываете на потом, эффект снижается.
Не гуглите ответы во время квиза. Квиз — не проверка памяти, а проверка понимания. Если не знаете ответ — это сигнал. Выберите лучший вариант, посмотрите правильный ответ, перечитайте раздел урока.
Экзамены: стратегия
Перед экзаменом — краткий ревью модуля. Не перечитывать всё, а пройти по заголовкам разделов и code references каждого урока — 15-20 минут на модуль. Это восстанавливает контекст.
Не сдавайте экзамен сразу после чтения последнего урока модуля. Дайте хотя бы несколько часов. Часть информации должна осесть. Многие замечают, что экзамен через день проходится лучше, чем сразу.
Используйте курс как карту, не как учебник
Идеальный долгосрочный workflow: вы проходите курс, потом через месяц-два в production падает job с непонятным поведением. Вы вспоминаете, что “что-то про это было в модуле 04”. Открываете, за 5 минут находите нужный раздел, и оттуда быстро доходите до причины.
Это и есть value курса: не то, что вы запомнили каждую деталь, а то, что вы знаете структуру и умеете быстро найти нужную механику, когда она становится актуальной.
Что дальше
Это последний урок вводного модуля. Следующий шаг — модуль 01: Философия internals.
Там нет диаграмм классов и исходного кода — только несколько конкретных вопросов о том, почему поверхностной модели Spark недостаточно для production-инженера и как именно знание internals меняет работу. Короткий модуль, но хорошо настраивает на остальное.