Data-инженер
Описание курса
Курс, который научит вас строить дата-пайплайны, разбираться в инструментах управления данными и выстраивать эффективную работу дата-архитектуры.
Введение
Мягкий онбординг в курс, объяснение, как учиться онлайн, и профессия инженера данных.
Python и терминал для задач Data Engineering
Изучение подходов и способов решения задач дата-инжиниринга с использованием Python.
Распределенные файловые системы. Hadoop. Map-Reduce
Обзор экосистемы Hadoop и практическое использование технологии Map-Reduce.
Spark for Data Engineering
Построение витрины торговых партнеров с использованием Apache Spark.
Реляционные базы данных
Понимание принципов организации данных в реляционных базах данных.
NOSQL базы данных и введение в методологии построения хранилищ
Работа с NoSQL, партицирование и практические задания.
Процессинг и перекладывание данных
Изучение процессов ETL и ELT, оркестрация данных.
Оркестраторы данных. AirFlow
Освоение работы с Apache AirFlow для автоматизации задач.
Шины данных. Kafka
Обработка больших файлов в стриминговом потоке Kafka.
ETL-инструменты. NiFi
Навыки работы с распределённым брокером сообщений Apache Kafka.
Архитектура хранилищ данных
Знакомство с современными методиками проектирования хранилищ.
Аналитика. Жизненный цикл данных и оценка data quality
Изучение возможностей Metabase для визуализации данных.
Финальный проект
Работа над собственным проектом и финальный тест.
онлайн
- Ася Гайламазян (Data Engineer в Kion)
- Ольга Кертлинг (Tech Lead в Kamaz Digital)
- Николай Акимов (Инженер по внедрению в ООО «Таскдата»)
- Николай Марков (Data Platform Lead в Altenar)
- Работа с Apache Airflow
- Визуализация данных с Metabase
- Использование Hadoop и MapReduce
- Создание витрин данных
- Работа с реляционными и NoSQL базами данных
- Использование ETL-процессов и инструментов
- Начинающие дата-инженеры
- Аналитики данных
- Администраторы баз данных
- Разработчики
Знание Python и SQL, опыт работы с базами данных, желание учиться.
Выводы о курсе
Возможны неточности
Курс «Data-инженер» предлагает уникальную возможность освоить ключевые навыки в области обработки и анализа данных. Вы получите востребованные знания, которые помогут вам развивать карьеру в данной сфере. Практические занятия, работа над проектами и поддержка экспертов сделают обучение эффективным и результативным.
Отзывы о школе Слёрм
Читать все отзывыРекомендованные курсы