Cloud-инженер на примере AWS (База)

Введение

Мягкий онбординг в курс, где мы объясним, как учиться онлайн, как сдавать практические работы, как работать со стендами, а также расскажем, в чем заключается профессия инженера данных.

Python и терминал для задач Data Engineering

Основные задачи и инструменты экосистемы Python для работы с данными.

Распределенные файловые системы. Hadoop. Map-Reduce

Обзор экосистемы Hadoop и технологии Map-Reduce.

Spark for Data Engineering

Изучение применения Spark для обработки данных.

Реляционные базы данных

Основы работы с реляционными базами данных и SQL.

NOSQL базы данных и введение в методологии построения хранилищ

Знакомство с NoSQL базами и их практическое применение.

Процессинг и перекладывание (перекладка) данных

Обзор процессов ETL и ELT.

Оркестраторы данных. AirFlow

Работа с Apache Airflow для автоматизации задач.

Шины данных. Kafka. Принципы построения систем потоковой аналитики

Обработка больших файлов в стриминговом потоке Kafka.

ETL-инструменты. NiFi

Работа с Apache NiFi для управления потоками данных.

Архитектура хранилищ данных

Построение и проектирование хранилищ данных.

Аналитика. Жизненный цикл данных и оценка data quality

Изучение инструментов для визуализации данных.

Финальный проект

Работа над собственным проектом, где вы покажете все, чему научились.