Автоматизация пайплайнов и подготовки данных на Python — обучение по программе в России

Курс ориентирован на специалистов, желающих освоить построение ETL‑сценариев, работу с потоковыми данными и автоматизацию регулярных задач. Обучение проходит в индивидуальном формате: вы занимаетесь с преподавателем по согласованному графику.

В программе курса:

• Пайплайны ETL: написание скриптов для извлечения данных из различных источников (API, CSV, SQL), их очистки и сохранения в хранилища.
• Масштабирование: знакомство с технологиями обработки больших данных, такими как Apache Spark и Dask.
• Оркестрация: использование Apache Airflow для автоматизации и планирования задач, создание DAG (Directed Acyclic Graph) и настройка расписаний.
• ML‑предобработка: интеграция подготовленных данных в конвейер для машинного обучения, примеры на scikit-learn Pipeline.

По завершении курса вы сможете:

• самостоятельно разрабатывать и поддерживать ETL‑процессы для обработки данных;
• интегрировать решения с Apache Airflow, Kafka и Spark;
• автоматизировать регулярные задачи по подготовке данных для аналитики и машинного обучения.