Сегодня информация — это основа любого бизнеса, инструмент эффективного управления и оптимизации рабочих процессов. Аналитика больших данных (Big Data) вашего бизнеса поможет своевременно выявить и даже предупредить множество проблем, от оттока клиентов до утечки персональных данных. Чтобы понимать возможности современных технологий и выбирать среди них наилучшее соотношение «стоимость/результат», менеджеру необходимо разбираться в базовых понятиях и прикладных решениях.

Теоретический курс Аналитика больших данных для руководителей ориентирован на руководство государственных предприятий и частных компаний, менеджеров и специалистов, которые хотят получить расширенные знания по инструментам и методам анализа больших данных для участия в проектах Big Data и цифровизации бизнеса.

На практических примерах вы узнаете все особенности процессов инициации проектов цифровой трансформации, от сбора данных до формирования команды. Также детально познакомитесь с каждой фазой жизненного цикла работы с Big Data: подготовка данных, выбор модели, пилотное развертывание и тестирование  прототипа, промышленная эксплуатация.

Программа

Введение в Big Data

1. Большие данные и цифровизация бизнеса.
2. Методы аналитики больших данных.
3. Отраслевая специфика аналитики больших данных.
4. Сценарии применения технологий больших данных.
5. Жизненный цикл аналитики данных: получение данных, подготовка данных, планирование модели, построение модели, проверка результатов, внедрение.
6. Формирование озера данных Data Lake.

Data Mining  — извлечение знаний из больших данных

1. Задачи и техники Data Mining.
2. Классификация и кластеризация.
3. Прогнозирование и визуализация.
4. Ассоциативные правила и обнаружение аномалий.
5. Методология CRISP-DM, SEMMA.
6. Инструменты Data Mining.
7. Специфика применения Data Mining для разных отраслей бизнеса с примерами.

Машинное обучение для Data mining

1. Основные определения.
2. Задачи и область применения машинного обучения.
3. Supervised/unsupervised машинное обучение.
4. Инструменты и технологии машинного обучения.

Data mining в социальных сетях

1. Введение в анализ социальных сетей и теорию графов.
2. Базовые алгоритмы на графах и основные возможности графового анализа.
3. Феномен маленького мира.
4. Выделение важных узлов в социальных сетях.
5. Инструменты и методы визуализации графов для применения в бизнесе.

Инструментарий для работы с Big Data

1. Специфика работы с Big Data.
2. Аналитика для неструктурированных данных с использованием Hadoop.
3. Назначение и характеристика компонент экосистемы Apache Hadoop для хранения и обработки Big Data (MapReduce, HDFS, YARN, Spark, HBase, Hive, и т. д.).
4. Сравнительный анализ Hadoop дистрибутивов (Arenadata Hadoop, Cloudera, ванильный Apache Hadoop) и инструментарий аналитика данных на примерах использования.
5. Сравнительные характеристики программных и аппаратных решений для реализации решений по Big Data.
6. Облачные платформы (AWS, YandexCloud, Azure, MailCloud) для реализации решений по Big Data.
7. Средства визуализации для аналитики данных.

Интеграция Больших данных

1. Основные принципы работы с BigData.
2. Импорт и экспорт данных с Hadoop (SQL, NoSQL, HDFS, NFS, потоковые данные, web content, файлы логов, социальные сети).
3. Пакетная и динамическая загрузка данных.

Правовые аспекты организации защиты персональных данных (опционально)

1. Правовое регулирование в области защиты персональных данных.
2. Международная практика в области защиты персональных данных.
3. Права субъекта и обязанности оператора при обработке персональных данных.
4. Виды нарушений безопасности персональных данных Стандарт GDRP.

С чего начать?

1. Формирование команды проекта Big Data. Ключевые роли.
2. Специфика рынка данных и аналитики.
3. Использование подходов Agile и DevOps.
4. Методологии для стандарты.
5. Отличия подходов Business Intelligence и Data Science.
6. Сравнительные характеристики программных и аппаратных решений для реализации решений по BigData.