Robot_dreams
Глобальный

Data Engineering

Авторский курс
Специальные условия для dev.ИТ-курсы
Курс
Online
В любой момент
18 занятий
Стоимость курса
600 USD
по промокоду DEVBY скидка 5%
Подробности и регистрация

Data Engineering

Авторский курс
Специальные условия для dev.ИТ-курсы
Навыки, которые вы получите:
SQL fundamentals SQL for analysis Apache Spark Apache airflow Spark BigData Data engineer HDFS

Кому подойдет курс

  • Software/ SQL/ ETL Developer
  • Data Analyst / Data Scientist
  • Data Engineer (beginner)

Чему вы научитесь

  • Вы погрузитесь в процесс обработки данных, освоите 6 ключевых инструментов инженера данных и научитесь проектировать Big Data Platforms, которые способны масштабироваться
  • Вы научитесь не просто анализировать данные, но и выстраивать процессы загрузки/выгрузки, проектировать хранилища, настраивать автоматическое обновление дата-пайплайнов, чем упростите себе работу.
  • Вы наведете порядок в данных, научитесь проектировать понятную архитектуру под задачи бизнеса и сможете оперативно обрабатывать 1 Пбайт данных

Программа

  • Введение в Data Engineering
  • Python для Data Engineering
  • SQL для Data Engineering
  • Аналитические базы данных
  • Проектирование хранилищ данных
  • Передача данных между системами. Часть 1
  • Передача данных между системами. Часть 2
  • Распределенные вычисления. Лекция
  • Экосистема Hadoop для распределенной работы с файлами
  • Распределенная файловая система (HDFS)
  • BigData архитектуры
  • Распределенные вычисления в оперативной памяти (Apache Spark)
  • Работа со структурированными данными при помощи SparkSQL. Часть 1
  • Работа со структурированными данными при помощи SparkSQL. Часть 2
  • Оптимизация выполнения задач в Apache Spark
  • Потоки данных в Apache Spark
  • Подведение итогов
  •  Защита курсового проекта
Нам нужен ваш фидбек!
Честный и беспристрастный