Apache Spark
Рейтинг школы
Описание курса
Курс по фреймворку Apache Spark для обработки больших данных. Вы научитесь анализировать данные, готовить информацию для дашбордов и оптимизировать ML-модели. Весь курс построен вокруг одного большого проекта - анализа логов веб-сайта, который вы добавите в портфолио.
Программа
Основы Apache Spark и первое знакомство
Введение в парадигму Big Data и экосистему Spark. Основы DataFrame API. Чтение данных и простые операции.
Основные операции и трансформации
Агрегация и группировка данных. JOIN и работа с несколькими источниками данных. Пользовательские функции.
Управление ресурсами и оптимизация
Модель выполнения Spark. Оптимизация: кэширование и перепартиционирование.
Продвинутый Spark
Spark SQL. Работа с кластером на примере Databricks. Введение в Structured Streaming.
Итоговый проект: анализ логов веб-сайта
Построение дашборда с ключевыми метриками из сырых лог-файлов веб-сервера. Полный цикл работы с данными: от сырых файлов до готовых метрик и визуализаций.
Формат
Онлайн
Спикеры
- Практикующие разработчики и эксперты с опытом работы в отрасли от 5 лет
Чему вы научитесь
- Проектирование систем распределенных вычислений с помощью Spark
- Работа с DataFrame API
- Владение SparkSQL
- Визуализация данных и создание дашбордов
- Оптимизация систем распределённых вычислений
Кому подходит
- Начинающие специалисты в области дата-инженерии
- Специалисты, желающие масштабировать дата-проекты
- Люди, владеющие SQL и Python на базовом уровне
Требования к кандидату
Владение SQL и Python на базовом уровне.
Выводы о курсе
Возможны неточности
Курс Apache Spark от Skillbox - это практическое обучение работе с большими данными, построенное вокруг одного большого проекта. Вы освоите ключевые навыки дата-инженера, включая оптимизацию и работу с кластерами, что востребовано даже на junior-позициях. Программа актуальна (обновлена в 2025 году) и включает поддержку экспертов, а также возможность получить налоговый вычет. Идеально подходит для тех, кто хочет быстро войти в профессию и добавить сильный проект в портфолио.
Отзывы о школе Skillbox
Читать все отзывыРекомендованные курсы