Углубленный курс по самым мощным инструментам обработки больших данных.

Кому подойдет курс

Курс рассчитан на Data инженеров, желающих глубже изучить Spark, Hadoop, Hive.

Необходимая подготовка

• Опыт написания кода хотя бы на одном из следующих языков: Python, Java, Scala.
• Базовое знание SQL и опыт работы с любой реляционной базой данных.
• Компьютер или виртуальная машина на Linux с ОЗУ не менее 8 Гб.

Программа

1. Scala.
2. Hadoop.
3. Spark. 
4. Streaming.
5. Apache Hive.
6. Обслуживающие системы. 
7. Проектная работа.

Чему вы научитесь

• Использовать Hadoop для обработки данных.
• Взаимодействовать с его компонентами через консольные клиенты и API.
• Работать со слабоструктурированными данными в Hive.
• Писать и оптимизировать приложения на Spark.
• Писать тесты для Spark-приложений.
• Использовать Spark для обработки табличных, потоковых, гео-данных и даже графов.
• Настраивать CI и мониторинг Spark-приложений.