Data-инженер
Рейтинг школы
Откуда эти данные
Описание курса
Программа
Введение в тему
Инструменты экосистемы Python для работы с данными, параллельность и асинхронность, веб-серверы, API, терминал Linux.
Экосистема Hadoop
Краткий обзор Hadoop, технология Map-Reduce.
Apache Spark
Введение в Spark, RDD, двумерные таблицы, преобразования, Spark Streaming.
Реляционные базы данных
SQL, ACID, база данных глазами инженера, ORM, события и история.
NoSQL
Виды NoSQL, практика с Clickhouse, Neo4j, Mongo, партицирование, Spark Streaming.
ETL и ELT
Процессы извлечения, преобразования и загрузки, пайплайны, оркестрация, обзор инструментов.
Apache Airflow
Знакомство с Airflow, DAG, компоненты, настройка конфигурации, мониторинг.
Apache Kafka
Архитектура Kafka, примеры задач стриминга, практическая работа.
Apache NiFi
Архитектура, термины, интерфейс, расширенный функционал, построение потока.
Архитектура хранилищ данных
Традиционная архитектура, облачные хранилища, Modern Data Stack, решение проблем.
Аналитика
Задачи аналитики, инструменты: Apache Superset, Tableau, PowerBI, Looker.
Финальный проект
Финальный тест, итоги обучения.
Формат
Онлайн
Спикеры
- Ревьюер с более чем 10-летним опытом в бизнес-аналитике и data-решениях
- Спикер с 5+ годами в IT, опыт в телеком, игровой индустрии и ритейле
- Инженер по внедрению в TaskData с 20+ годами в IT, активный участник сообщества NiFi
- Спедагог с 11+ годами в разработке, опыт с AWS, GCP, Azure, Python, Golang, C/C++, Scala, Rust
Чему вы научитесь
- Работа с Apache Airflow для автоматизации ETL
- Визуализация данных в Metabase
- Распределенные вычисления MapReduce
- Работа с HDFS, Hadoop, Spark
- Построение хранилища в ClickHouse
- Работа с PostgreSQL
- Создание витрин данных
- Использование dbt
- Выгрузка данных из REST API
- Обработка потоков в NiFi
- Работа с Apache Kafka
- Python, SQL, MongoDB, Redis
Кому подходит
- Начинающие специалисты, желающие стать дата-инженерами
- Практикующие специалисты, нуждающиеся в развитии навыков
- Разработчики, переходящие в сферу data engineering
Требования к кандидату
Базовые навыки работы с SQL, умение писать скрипты на Python, понимание клиент-серверных приложений, владение принципами проектирования IT-систем, Linux на уровне продвинутого пользователя.
Выводы о курсе
Возможны неточности
Курс «Инженер данных: основы работы» предлагает комплексное обучение современным инструментам data engineering, включая Hadoop, Spark, Kafka, Airflow и ClickHouse. Программа сочетает теорию с практикой, включая финальный проект для портфолио. Обучение длится 14 недель и подходит для начинающих и практикующих специалистов. Курс помогает освоить полный цикл работы с данными: от извлечения до визуализации и аналитики.
Рекомендованные курсы
