Data-инженер
Рейтинг школы
Откуда эти данные
Описание курса
Программа
Введение в тему
Инструменты экосистемы Python для работы с данными, параллельность и асинхронность, веб-серверы, API, терминал Linux.
Экосистема Hadoop
Краткий обзор и возможности Hadoop, технология Map-Reduce.
Apache Spark
Введение в Spark, RDD, двумерные таблицы, преобразования, Spark Streaming.
Реляционные базы данных
SQL, принципы ACID, база данных глазами инженера, ORM, события и история.
NoSQL
Виды и применение NoSQL, практика с Clickhouse, Neo4j, Mongo, партицирование.
ETL и ELT
Процессы извлечения, преобразования и загрузки, пайплайны, оркестрация данных, обзор инструментов.
Apache Airflow
Знакомство с Airflow, DAG, компоненты, настройка конфигурации и мониторинг.
Apache Kafka
Архитектура Kafka, примеры задач стриминга, практическая работа.
Apache NiFi
Архитектура, термины, интерфейс, расширенный функционал, построение потока.
Архитектура хранилищ данных
Традиционная архитектура, облачные хранилища, Modern Data Stack, решение частых проблем.
Аналитика
Задачи аналитики, инструменты для бизнес-аналитиков (Superset, Tableau, PowerBI, Looker).
Финальный проект
Финальный тест, подведение итогов обучения.
Формат
Онлайн
Спикеры
- Ревьюер с более чем 10-летним опытом в бизнес-аналитике и data-решениях
- Спикер с 5+ годами в IT, опыт в телекоммуникациях и игровой индустрии
- Инженер по внедрению в TaskData с 20+ годами в IT, активный участник сообщества NiFi
- Специалист с 11+ годами в разработке, опыт работы с AWS, GCP, Azure, Python, Golang, C/C++, Scala, Rust
Чему вы научитесь
- Работа с Apache Airflow для автоматизации ETL-задач
- Визуализация данных с помощью Metabase
- Распределенные вычисления MapReduce
- Работа с HDFS, Hadoop и Spark
- Построение хранилища в ClickHouse
- Работа с PostgreSQL
- Создание витрин данных с агрегатами
- Использование инструмента dbt
- Выгрузка данных из REST API
- Обработка потоков в NiFi
- Работа с потоками данных на Apache Kafka
- Python, SQL, MongoDB, Redis
Кому подходит
- Начинающие специалисты, желающие стать инженерами данных
- Практикующие специалисты, нуждающиеся в развитии навыков
- Разработчики, переходящие в сферу data engineering
Требования к кандидату
Базовые навыки работы с SQL, умение писать скрипты на Python, понимание клиент-серверных приложений, владение принципами проектирования IT-систем, Linux на уровне продвинутого пользователя.
Выводы о курсе
Возможны неточности
Курс «Инженер данных: основы работы» предлагает комплексное обучение современным инструментам data engineering, включая Hadoop, Spark, Kafka и Airflow. Программа сочетает теорию с практикой, позволяя студентам построить собственный проект для портфолио. Обучение длится 14 недель и подходит как для новичков, так и для специалистов, желающих углубить знания. Курс включает работу с ведущими базами данных и инструментами визуализации, что делает выпускников готовыми к реальным задачам в индустрии.
Рекомендованные курсы
