Spark Developer
Рейтинг школы
Вдруг есть дешевле?
Описание курса
Углубленный курс по самым мощным инструментам обработки больших данных.
Введение
Вводный модуль, в котором мы познакомимся со Spark, рассмотрим архитектуру Spark-приложений и научимся писать код на Scala.
Большие данные
В этом модуле мы познакомимся с Большими Данными. Изучим Hadoop, рассмотрим, как запускать в Hadoop приложения Spark.
API
В этом модуле изучим Spark API: RDD, DataFrame, Dataset и Spark SQL, узнаем, как использовать Arrow и Pandas API.
Источники данных
В этом модуле изучим взаимодействие Spark с различными источниками данных.
Дополнительные возможности
Этот модуль посвящён дополнительным возможностям Spark и тестированию приложений.
Промышленное использование
Модуль посвящён промышленному использованию Spark: как запускать задания Spark по расписанию.
Проектная работа
По результатам модуля у вас будет готовый проект, который позволит применить полученные в ходе курса знания на практике.
онлайн
- Вадим Заигрин (Ведущий консультант, IBS)
- Валентин Шилин (Старший программист/аналитик данных, Deutsche Telekom IT GmbH)
- Александра Чащина (Big Data Engineer, AdTech)
- Алексей Любшин (Data Engineer)
- Разработка приложений Spark
- Разработка моделей ML на Spark
- Запуск Spark в Hadoop и Kubernetes
- Писать тесты для Spark-приложений
- Использование Spark для обработки табличных, потоковых, гео-данных
- Настройка мониторинга Spark-приложений
- Data-инженеры
- Backend-разработчики
- Специалисты по Data Science
- ML-инженеры
Базовое знание Scala и Java, знание SQL.
Выводы о курсе
Возможны неточности
Курс Spark Developer предоставляет глубокие знания обработки больших данных и навыки работы с инструментами Spark. Он подходит как новичкам, так и опытным разработчикам, предоставляя возможность получить актуальные навыки в быстро развивающейся области. Участники курса создадут собственные проекты и получат поддержку в трудоустройстве.
Отзывы о школе OTUS
Читать все отзывыВопрос-ответ
Рекомендованные курсы
