Кому подойдет курс

• Software/ SQL/ ETL Developer
• Data Analyst / Data Scientist
• Data Engineer (beginner)

Чему вы научитесь

• Вы погрузитесь в процесс обработки данных, освоите 6 ключевых инструментов инженера данных и научитесь проектировать Big Data Platforms, которые способны масштабироваться
• Вы научитесь не просто анализировать данные, но и выстраивать процессы загрузки/выгрузки, проектировать хранилища, настраивать автоматическое обновление дата-пайплайнов, чем упростите себе работу.
• Вы наведете порядок в данных, научитесь проектировать понятную архитектуру под задачи бизнеса и сможете оперативно обрабатывать 1 Пбайт данных

Программа

• Введение в Data Engineering
• Python для Data Engineering
• SQL для Data Engineering
• Аналитические базы данных
• Проектирование хранилищ данных
• Передача данных между системами. Часть 1
• Передача данных между системами. Часть 2
• Распределенные вычисления. Лекция
• Экосистема Hadoop для распределенной работы с файлами
• Распределенная файловая система (HDFS)
• BigData архитектуры
• Распределенные вычисления в оперативной памяти (Apache Spark)
• Работа со структурированными данными при помощи SparkSQL. Часть 1
• Работа со структурированными данными при помощи SparkSQL. Часть 2
• Оптимизация выполнения задач в Apache Spark
• Потоки данных в Apache Spark
• Подведение итогов
•  Защита курсового проекта