День 1. Основные инструменты Data Ocean Nova
1) Обзор платформы Data Ocean Nova
2) S3 — архитектура, преимущества и особенности работы
3) Архитектура Impala
4) Архитектура Trino

• архитектурные особенности Trino;
• область эффективного применения движка в ландшафте Lakehouse-платформы;
• особенности работы с табличным форматом Iceberg;
• работа UDF-функций.

5) Способы подключения к кластеру и исполнения запросов и кода: Hue, JupyterHub
6) Iceberg — особенности формата

• Data и Metadata
• Создание Iceberg таблиц
• Манипулирование данными в Iceberg таблице
• DDL и TBLPROPERTIES
• Снепшоты и работа с ними
• Iceberg Time Travel
• Orphan Files
• Тип Iceberg таблиц v1, v2.
• Типы parquet файлов в Iceberg таблицах

7) Нюансы планирования задач исполнения (Data и Metadata) в Spark и Impala
8) Практика на кластере по Impala + Iceberg + S3
9) Оптимизация в Impala

День 2. Архитектура. Основные агрегации и компоненты

• Способы запуска Spark
• Как работает Spark Application
• Партиционирование, параллелизация и data locality
• RDD, Lazy Execution
• Dataframe API, преимущества над RDD
• Схемы данных
• Чтение и запись из файлов и таблиц — s3, iceberg

День 3. Оптимизация Spark

• Spark History Server
• Методы оптимизации
• Основы настройки параметров Spark Application (driver, executor)
• Анализ ошибок OOM
• Shuffle и spill
• Dynamic allocation
• Data pruning
• Кэширование данных
• Pandas vs Spark
• Перекос данных
• SparkSQL, Catalyst. Анализ планов
• AQE

День 4. Обслуживание Iceberg-таблиц

• Основы обслуживания
• Специфика партиционирования таблиц в разрезе обслуживания
• Особенности обслуживания streaming- и batch-процессов

Работа с Airflow:

• Базовые компоненты фреймворка: task, DAG, оператор
• Оркестрирование и шедулинг task внутри DAG
• Взаимодействие DAG между собой
• Мониторинг и отладка работы DAG
• Расширенные навыки Apache Airflow
• Взаимодействие между task
• Администрирование: pools и настройка
• Интеграция AirFlow со Spark и Impala
• Git и Airflow

Q&A

День 1. Инструменты администрирования
1) Обзор инструментов
2) Администрирование через k8s
3) Инструмент Cluster Manager
4) Ranger
5) Управление журналами

• OpenSearch
• Cluster Manager

День 2. Контроль метрик
1) Способы сбора метрик:

• Стандартные отчеты, экспортируемые в Grafana
• Отчеты в Cluster Manager

2) Контроль очереди исполнения запросов
3) Методы улучшения утилизации ресурсов кластера
4) Показатели эффективности хранения данных
5) Контроль активных операций:

• Admission Control в Impala
• Управление Iceberg Compaction
• Управление очередями в Spark
• Управление alerts

День 3. Troubleshooting

• Типовые сценарии решения проблем
• Сценарий обновления платформы

День 1. Введение в математическую оптимизацию
1) Введение в математическую оптимизацию

• Нахождение экстремальных значений функции в заданных ограничениях
• Обзор ресурсов, подлежащих оптимизации
• Основные бизнес-сценарии: транспортная задача и задача графикования
• Концепция GlowByte: обзор проекта как задачи оптимизации

2) Обзор реальных кейсов оптимизации GlowByte
3) Основные понятия и классы задач

• Переменные решения, функции цели, ограничения
• Градиентные методы и методы первого и второго порядка
• Линейное программирование: симплекс-метод, алгоритм Кармаркара
• Квадратичное программирование
• Проблема булевой выполнимости (SAT)

4) Практические задачи

День 2. Линейное и квадратичное программирование, симплекс-метод и введение в MILP
1) Линейное программирование (LP)

• Линейное программирование: от Канторовича до современности
• Симплекс-метод: прямой, двойственный, комбинированный
• Алгоритм Кармаркара
• Метод эллипсоидов
• Основные программные инструменты для решения задач LP

2) Симплекс-метод в решении задач линейного программирования
3) Функциональность библиотеки pyScipOpt для решения задач оптимизации
4) Введение в MILP - Mixed Integer Linear Programming

• Основные принципы и задачи MILP
• Примеры решения задач для развития интуиции

День 3. От бизнес-задач к математическим моделям
1) Обзор существующих на рынке солверов и библиотек
2) Постановка математических задач и кейсы применения

• Bin Packing Problem
• Travel Salesman Problem
• Influence Maximization
• Vehicle Routing Problem
• Job Shop Scheduling Problem
• Facility Location Problem
• Quadratic Assignment Problem

3) Форматы MILP задач. Различия между ограничениями
4) Примеры применения в бизнесе

День 4. Принципы работы современных MILP-солверов
1) Переход от MILP к LP и LP-релаксация
2) Алгоритмы решения MILP

• Branch-and-Bound
• Cutting Plane
• Branch-and-Cut

3) Общий пайплайн решения MILP-задач
4) Обзор препроцессинга данных
5) Теоретические аспекты работы MILP-солвера
6) Влияние формулировок на поиск оптимума задачи
7) Функциональность warm-стартов в pyscipopt и python-mip
8) Практические примеры сложных MILP задач

День 5. Алгебраические методы решения задач, Constraint Programming и CP-SAT

• Алгебраический подход и Constraint Programming. Unit Propagation. CDCL алгоритм
• SAT и связанные задачи: CP, SMT, MAX-SAT
• Солверы: CP-солвер (cp-sat, cplex-cp), SMT-солвер, MAX-SAT-солвер
• Преимущества алгебраических методов
• Функциональность и возможности CP-SAT
• Практика использования CP-SAT

День 6. Введение в NLP и MINLP оптимизацию
1) NLP — Nonlinear Programming

• Определение и примеры задач
• Стационарные точки в контексте NLP

2) Преобразование к NLP-задачам без ограничений и итеративное их решение

• Метод штрафных функций (внешней точки)
• Метод барьеров (внутренний точки)
• Модифицированная функция Лагранжа

3) Методы локальной аппроксимации

• Линейные функции: COBYLA, Reduced Gradients, Polyhedrtal Outer Approximation и др.
• Квадратичные функции: Trust-constr, SLSQP

4) Алгоритмы и библиотеки
5) Практика решения NLP: Оптимизация ценообразования

• Цель и роль оптимизации процесса
• Обзор методов NLP, применяемых к ценообразованию

День 7. MINLP оптимизация
1. Введение в MINLP — Mixed Integer Nonlinear Programming
2. Практическое применение: Оптимизация промо-календаря

День 8. Black Box Optimization и Метаэвристики
1) Black Box Optimization

• Введение в оптимизацию «черного ящика»
• Открытый софт и общий пайплайн работы

2) Метаэвристики

• Стратегии поиска или оптимизации
• Открытый софт
• Стратегии оптимизации
• Способы представления решений
• Моделирование и вероятностные подходы: CMA-ES и Байесовская оптимизация

3) Примеры применения метаэвристик

• Аддитивное производство
• Генеративный дизайн и проектирование
• Оптимизация расписания в кинотеатре
• Улучшение жадных алгоритмов

День 9. Продвинутые Метаэвристики и их комбинация с нейросетевыми методами

• Использование обучения с подкреплением (Reinforcement Learning, RL) для оптимизации
• Задача многоруких бандитов: введение в проблемы и стратегии для оптимизации в условиях неопределённости
• Метод Кросс-Энтропии для обучения с подкреплением (CEM)
• Оптимизация с помощью GAN — Generative adversarial network
• Многокритериальные алгоритмы. Оптимальность по Парето
• Островная модель и Мультиагентная оптимизация

День 10. Советы и трюки по оптимизации

• Переход от нелинейных ограничений к линейным
• Оптимизация повсюду
• Технологии и платформы
• What-if анализ и Анализ чувствительности
• Обзор параметров SCIP
• Пайплайн разработки оптимизационной модели
• Способы быстрой визуализации моделей
• Советы по написанию генератора задачи
• Сравнение известных датасетов