• Введение в моделирование в нотации BPMN 2.0
• Семантика BPMN 2.0
• Ключевые операции и потоки
• Ключевые события: стартовое, промежуточное, конечное
• Логика процесса: все виды развилок. Домашнее задание
• Сложные операции, подпроцессы и события
• Объекты данных. Домашнее задание
• Применение BPMN 2.0: от моделирования к автоматизации. Итоговая работа
• Консультация по домашним работам и практическим заданиям
• Защита итоговых работ

• Монетизация клиентской базы с помощью CVM-маркетинга
• Обзор возможностей и задач платформы CM Ocean. Кейсы применения

• Создание информационной карты и работа с данными в CM Ocean.Audience
• Построение целевых маркетинговых кампаний в CM Ocean.Batch Flow:

- Диаграммы кампаний

- Функциональность узлов

- Вычисляемые переменные

- Расписание

- Кастомные формы

• Коммуникация с клиентом, жизненный цикл контакта
• Создание и управление рассылками
• Обновление статусов контактов

• Жизненный цикл персонального предложения
• Создание и обновление запуска кампании, сегмента и предложения
• Поиск предложений по клиенту
• Сбор откликов

• Контактная и продуктовая политики
• Создание политики, ее уточнение, активация правил, архивация политики

• Создания сценариев в реальном времени:

• Настройка шаблонов коммуникаций
• Управление построением маркетинговых кампаний
• Маркетинговая оптимизация
• Сбор и персонализация цифровых каналов

• Как продукты CM Ocean интегрированы между собой, особенности использования
• Возможности расширения функциональных возможностей платформы

• Экзамен

• Уверенное ориентирование в ключевых терминах: сущность, связи и т. д.
• Поиск и самостоятельная регистрация базовых объектов инфокарты, результатов работы и SQL кода

• Изучение основных терминов/компонентов для построения диаграмм
• Построение стандартных сегментаций используя базовые узлы: фильтр, пересечение, объединение, исключение, лимит, разделение, приоритет, переход
• Автоматизация: постановка на расписание компании
• Настройка узлов коммуникации, предложений и использование тритментов
• Тестовый режим запуска узлов
• Знакомство с вычисляемыми переменными

• Создание инфокарты с нуля: регистрация всех необходимых объектов
• Настройка бизнес-контекстов

• Построение диаграмм с более сложной сегментацией
• Использование кастомного кода в диаграммах
• Настройка цепочек кампаний на расписание
• Использование узла «Уточнение»
• Использование вычисляемых переменных
• Импорт/Экспорт кампаний
• Настройка Custom details кампаний

• Изучение основных терминов/компонентов для построения диаграмм
• Построение стандартных сегментаций используя базовые узлы: расчет переменных, работа с БД, ветвление, поддиаграммы, фильтр
• Работа с кастомными кодами и редактором выражений
• Настройка узлов коммуникации и предложения
• Тестирование диаграммы и отдельных узлов
• Деплой сценариев

• Построение диаграмм со сложной логикой
• Сложная маршрутизация диаграммы: набор поддиаграмм, параллельные потоки, циклы
• Настройка формы диаграммы и сохранения сообщений в БД
• Работа с версиями
• Работа со справочниками
• Настройка интеграций с Communication, Offer и Policy, вызов внешних сервисов
• Работа с noSQL БД (Redis, Tarantool) — при необходимости
• Тонкая настройка параметров деплоя сценариев
• Настройка CEP сценариев

• Быстрое создание любой кампании, сегмента или предложения и отслеживание его статуса
• Поиск созданных предложений с возможностью их деактивации
• Сбор статистики
• Настройка точек показа в Offer Gateway

• Быстрое создание любой рассылки или коммуникации и отслеживание ее статуса
• Поиск созданных коммуникации с возможностью их деактивации
• Сбор статистики
• Настройка точек показа в Offer Gateway

• Изучение принципа проверки коммуникаций
• Настройка политик
• Настройка стоп-листов
• Управление проверкой КП в BF и RTF (узлы Политики и Коммуникации)
• Управление проверкой КП в Gateway

• Создание плейсхолдеров, шаблонов
• Статусная модель шаблонов
• Использование HTML-редактора

• архитектурные особенности Trino;
• область эффективного применения движка в ландшафте Lakehouse-платформы;
• особенности работы с табличным форматом Iceberg;
• работа UDF-функций.

• Data и Metadata
• Создание Iceberg таблиц
• Манипулирование данными в Iceberg таблице
• DDL и TBLPROPERTIES
• Снепшоты и работа с ними
• Iceberg Time Travel
• Orphan Files
• Тип Iceberg таблиц v1, v2.
• Типы parquet файлов в Iceberg таблицах

• Способы запуска Spark
• Как работает Spark Application
• Партиционирование, параллелизация и data locality
• RDD, Lazy Execution
• Dataframe API, преимущества над RDD
• Схемы данных
• Чтение и запись из файлов и таблиц — s3, iceberg

• Spark History Server
• Методы оптимизации
• Основы настройки параметров Spark Application (driver, executor)
• Анализ ошибок OOM
• Shuffle и spill
• Dynamic allocation
• Data pruning
• Кэширование данных
• Pandas vs Spark
• Перекос данных
• SparkSQL, Catalyst. Анализ планов
• AQE

• Основы обслуживания
• Специфика партиционирования таблиц в разрезе обслуживания
• Особенности обслуживания streaming- и batch-процессов

• Базовые компоненты фреймворка: task, DAG, оператор
• Оркестрирование и шедулинг task внутри DAG
• Взаимодействие DAG между собой
• Мониторинг и отладка работы DAG
• Расширенные навыки Apache Airflow
• Взаимодействие между task
• Администрирование: pools и настройка
• Интеграция AirFlow со Spark и Impala
• Git и Airflow

• OpenSearch
• Cluster Manager

• Стандартные отчеты, экспортируемые в Grafana
• Отчеты в Cluster Manager

• Admission Control в Impala
• Управление Iceberg Compaction
• Управление очередями в Spark
• Управление alerts

• Типовые сценарии решения проблем
• Сценарий обновления платформы

• OpenSearch
• Cluster Manager

• Стандартные отчеты, экспортируемые в Grafana
• Отчеты в Cluster Manager

• Admission Control в Impala
• Управление Iceberg Compaction
• Управление очередями в Spark
• Управление alerts

• Типовые сценарии решения проблем
• Сценарий обновления платформы

• Демонстрация компонентов и возможностей платформы.
• Обозначение возможных компонент для ad-hoc аналитики.

• Практическое задание по ознакомлению с интерфейсом MinIO.

• Что такое StarRocks и его место в ландшафте Data Ocean Nova.
• Сравнение Starrocks с альтернативами (Impala, Trino).
• Shared-nothing vs Shared-data режимы.
• Роль frontend, backend, compute nodes.
• Отличия Nova Starrocks от opensource реализации.
• Способы подключения к кластеру и исполнения запросов и кода: Hue, DBeaver.

• Data и Metadata.
• Создание Iceberg таблиц.
• Манипулирование данными в Iceberg таблице.
• DDL и TBLPROPERTIES.
• Снепшоты и работа с ними.
• Iceberg Time Travel.
• Orphan Files.
• Тип Iceberg таблиц v1, v2.
• Типы parquet файлов в Iceberg таблицах.
• Необходимость и варианты обслуживания.

• Duplicate, Aggregate, Unique, Primary таблицы.
• External таблицы для доступа к внешним источникам.
• Выбор ключей дистрибуции и партиционирования.
• Стратегии bucketing и сжатия.
• Практическое задание на создание таблиц правильной конфигурации.

• Виды индексации Prefix Index и Bitmap Index.
• Использование Bloom Filter.
• Достоинства и недостатки materialized views, автоматический query rewrite.
• Сравнение синхронных и асинхронных materialized views.
• Практическое задание на выбор и создание объектов.

• Системные таблицы.
• EXPLAIN и анализ планов исполнения запросов.
• Partition и bucket pruning.
• Методы соединения таблиц, их особенности, возможность использования runtime фильтров.
• Ручная настройка поведения на уровне сессии: параметры сессии и hints.
• Практическое задание по анализу плохо работающих запросов и их донастройке.

• Проектирование схемы для гибких запросов (денормализация, широкие таблицы).
• Кэширование запросов и результатов.
• Управление статистикой.
• Интеграция с BI-инструментами (JDBC, Arrow Flight).
• Оптимизация коротких запросов и адаптивное выполнение.
• Мониторинг медленных запросов и паттернов использования.
• Серия небольших практических заданий под контролем тренера по каждому пункту.

• Назначение и область применения LPSQL в lakehouse-архитектуре.
• Способы запуска LPSQL скриптов.
• Основные конструкции.
• Процедуры, функции и пакеты.
• Обработка исключений и логирование.
• Практические сценарии применения: итеративная обработка данных, миграция процедурной логики из традиционных СУБД.
• Особенности реализации LPSQL в Starrocks.
• Лучшие практики и типичные ошибки.

• Основы работы с LLM-интерфейсом
• Основы промптинга (техника написания запросов)
• Обзор потенциальных применений LLM для решения ежедневных задач

• Углубленная работа с документацией и контентом
• Решение комплексных задач с помощью LLM
• Обзор лучших практик по работе с LLM

• Обзор продвинутых техник промптинга
• Написание системных инструкций для модели
• Управление параметрами модели и продвинутыми метриками

• Безопасность данных и конфиденциальность при работе с LLM
• Выявление и исправление неточностей и галлюцинаций

• Примеры, где нужны A/B тесты из разных областей
• Понятие частоты и плотности распределения
• Разница между понятиями вероятность и правдоподобие
• Понятие статистической значимости и ее привязка к метрике
• Понятие статистического теста: непараметрические и параметрические
• Проверка распределения на соответствие нормальному распределению
• Методы нормализации распределений Bootstrap
• Расчет значения p-value через Bootstrap-тест

• Понятие z-score.
• Понятие стандартной ошибки
• Понятие доверительного интервала и margin of error
• Связь доверительного интервала и размера выборки
• Минимальный детектируемый эффект
• Ошибки 1 и 2го рода: направленности гипотезы
• Стандартное отклонение метрики
• Имитация данных для эксперимента
• Расчет размера групп для теста с помощью формул
• Сравнение подходов расчетов размеров групп по формулам и через имитацию

• Связь ошибок 1 и 2 рода и как выбирать их уровень
• Методы снижения ошибок 1 и 2 рода: работа с выбросами, функциональное преобразование, стратификация, CUPAC/CUPED
• Проверка качества стратификации
• Разбор типов метрик по отношению к эксперименту

• Типы метрик по метрической сущности
• Ratio-метрики
• Линеаризация
• Проблема подглядывания
• Бакетирование метрики — ускорение
• Множественное тестирование гипотез
• Параллельное тестирование

• Разбор практических кейсов (из нашей практики и практики слушателей)
• Роадмэп эксперимента: его этапы с акцентами на ключевых моментах

• Что такое MLOps?
• Как устроен Жизненный Цикл Модели (ЖЦМ)?
• Как организовать среду разработки моделей?
• Виртуальные окружения
• Jupyter (Notebook/Lab/Hub)
• Шаблонизация структура проекта моделирования
• Качество кода
• Git для задач моделирования

• Версионирование датасетов
• DVC — Data Version Control
• Трекинг данных. Версионирование и восстановление
• Конвейеры обработки данных и воспроизводимость
• Параметры, графики и метрики в DVC
• FeatureStore для версионирования данных

• Что такое эксперимент и как ими управлять?
• Технологии для управления экспериментами
• MLFlow для управления экспериментами
• Организация разработки моделей с использованием MLFlow
• Упаковка моделей
• Организация реестра моделей
• Создание API для модели
• Models serving

• Как внедрять модели?
• Batch vs Online
• Docker и Kubernetes для ML задач
• Инструменты для работы с моделями
• Airflow + Spark
• Построение процессов применения моделей

• Что такое CI/CD?
• Как устроен процесс внедрения моделей?
• Технологии CI/CD
• Gitlab CI — для автоматизации
• Мониторинг моделей
• Валидация моделей

• Основы маркетинга — и какие задачи маркетинга могут быть решены средствами data science?
• Этапы жизненного цикла клиента
• Какие данные о клиенте доступны на каждом из этих этапов
• Универсальный пайплайн обучения модели
• Подготовка пилота для сбора данных
• Оценка качества модели
• Формирование сегмента клиентов для маркетинговой кампании
• Оценка эффективности модели

• Определение склонности
• Применение моделей склонности в жизненном цикле клиента
• Варианты формулировки целевого события
• Единая модель склонности к нескольким продуктам
• Определение клиентов без истории
• Модели склонности для клиентов без истории
• Новые клиенты
• Модели склонности для естественного трафика
• RL в работе с новыми клиентами и клиентами «серой зоны»
• Модели склонности для целевого трафика
• Гиперсегментация
• Синтетическая конверсия

• Определение отклика
• Применение моделей отклика в жизненном цикле клиента
• Варианты формулировки целевого события
• Модель чувствительности к коммуникации
• Определение UpLift
• Формулировка целевого события
• UpLift-скоринг

• Определение оттока: бинарный, метрический
• Задачи по предотвращению оттока: предиктивный отток, удержание, реактивация
• Применение моделей оттока в жизненном цикле клиента
• Ансамбль моделей по предотвращению оттока клиентов
• Прогноз самостоятельного возвращения клиента
• Методы определения границ оттока: индивидуальные пороги оттока
• Фрод в предиктивных моделях оттока
• Удержание клиентов и их реактивация: варианты формулировки целевого события и скоринг
• Пути развития подходов по предотвращению оттока
• Нравственный аспект моделей удержания

• Дизайн эксперимента для оценки экономического эффекта моделей удержания
• Слагаемые экономического эффекта: упущенная прибыль, отложенный эффект, непосредственный эффект кампании по удержанию клиентов
• Предпочтительные и непригодные метрики
• Оценка непосредственного эффекта кампании по удержанию клиентов
• Оценка упущенной прибыли
• Оценка LTV

• Модель финансового сервиса
• Модель прибыли и ее декомпозиция
• Кредитные риски в банке и других индустриях
• Методы расчета ожидаемых потерь и точки приложения ML
• Методы оценки рисков

• Хранение и сбор данных для моделирования. Дефолт и модельный дефолт: Определение целевого события. Горизонт наблюдения
• Основные поведенческие агрегаты и драйверы
• Макросегмент
• Стоп-факторы
• Примеры ML дизайнов систем

• Рейтинговое моделирование
• Структура фреймворка и пререквизиты для построения PD модели
• Преобразование атрибутов
• Однофакторный анализ. Индекс Джини. Интервальная оценка. Проверка логики. Проверка стабильности
• Многофакторный анализ. Построение модели. Отбор признаков для модели. Требования к итоговому списку атрибутов модели. Построение скоринговой карты

• Бизнес постановка проблемы калибровки
• Математическая постановка. Математическая формулировка. Бизнес интуиция
• Алгоритмы калибровки. Калибровка Платта. Изотоническая регрессия. Калибровка Байеса
• Методы оценки качества калибровки. Диаграммы надежности. Биномиальный тест. Численные оценки на выборке для калибровки
• Реальные задачи. Корректировка среднего уровня спрогнозированного целевого события. Выделение сегмента из выборки для уже построенной модели. Определение уровня целевого события для сегмента без целевого события

• Оценка резервов банка
• Моделирование LGD: необходимые данные и вычисление LGD. Интегральная оценка с помощью треугольников. Индивидуальные оценки
• Моделирование EAD. Консервативные оценки. Индивидуальные оценки

• Применение ИИ и моделей в бизнес-инструментах и процессах
• Создание моделей: экспериментирование и производство
• Как устроен Жизненный Цикл Модели?
• Что такое MLOps? Основные задачи, ключевые преимущества и функциональные роли
• Концепция MLOps и ModelOps
• ModelOps: методологии управления процессами
• Ступени развития использования ML в компании

• Инфраструктура: обеспечение работы ML
• Задачи работы с данными и разработки моделей
• Как оптимизировать процесс подготовки данных для моделей с помощью Feature Platform?
• Поэтапное внедрение моделей в работу компании
• Обеспечение качества и поддержка моделей в промышленном контуре
• Мониторинг моделей: технический и бизнес
• Безопасность модели в течение всего жизненного цикл

• Использование платформ для управления ML моделями
• Уровни развития ML в промышленном применении

• Мотивация
• Приложения причинно-следственного анализа
• Повторение теории вероятностей
• Тест 1: Основы теории вероятностей
• Теория графов для причинно-следственного анализа
• Байесовские сети и d-separation
• Тест 2: Графы и d-separation
• Лабораторная работа 1: Условная независимость и байесовские сети

• Постановка задачи causal discovery
• Разбор constraint-based алгоритмов на примере SGS и PC
• Разбор score-based алгоритмов на примере GES
• Лабораторная работа 2: Построение причинно-следственного графа по данным
• Практикум: постановка задачи для самостоятельного решения и презентации в финале курса

• Что такое конфаундеры и почему они критичны при оценке эффекта
• Оценка эффекта на примере линейной SCM
• Проблема определения переменных для корректной оценки эффекта
• Пайплайн оценки эффекта
• Определение backdoor критерия. Примеры его использования
• Определение frontdoor критерия. Примеры его использования
• Инструменты. Примеры использования
• Правила Do-Calculus
• Тест 3: Критерии поиска регулировочных переменных

• Отличие причинно-следственного анализа от классического ML
• Виды эффектов для бинарного воздействия
• Базовые методы оценки эффекта: Meta-learners, Propensity score, Matching, IPW
• Продвинутые методы оценки эффекта: Domain Adaptation, Doubly Robust, DML
• Методика и подходы по валидации результатов
• Лабораторная работа 3: Использование библиотек EconML и DoWhy для оценки эффекта
• Практикум: уточнения по практической задаче и ответы на технические вопросы

• Презентация решений студентами
• Обсуждение и ответы на вопросы
• Презентация решений преподавателями

• В каких задачах применяется данная методика, в чем ее особенности
• Методы для расчета uplift, начиная с простых и заканчивая продвинутыми (DML, DR)
• Валидация результатов применения методов на исторических данных
• Подходы к валидации на актуальных данных

• Повторение теоретической части
• Применение базовых и продвинутых методов с помощью библиотеки Econml в jupyter notebook на смоделированном датасете
• Подбор гиперпараметров базовых моделей на примере S и T Learner'ов на кросс-валидации
• Валидация и проверка стабильности полученных результатов

• Нахождение экстремальных значений функции в заданных ограничениях
• Обзор ресурсов, подлежащих оптимизации
• Основные бизнес-сценарии: транспортная задача и задача графикования
• Концепция GlowByte: обзор проекта как задачи оптимизации

• Переменные решения, функции цели, ограничения
• Градиентные методы и методы первого и второго порядка
• Линейное программирование: симплекс-метод, алгоритм Кармаркара
• Квадратичное программирование
• Проблема булевой выполнимости (SAT)

• Линейное программирование: от Канторовича до современности
• Симплекс-метод: прямой, двойственный, комбинированный
• Алгоритм Кармаркара
• Метод эллипсоидов
• Основные программные инструменты для решения задач LP

• Основные принципы и задачи MILP
• Примеры решения задач для развития интуиции

• Bin Packing Problem
• Travel Salesman Problem
• Influence Maximization
• Vehicle Routing Problem
• Job Shop Scheduling Problem
• Facility Location Problem
• Quadratic Assignment Problem

• Branch-and-Bound
• Cutting Plane
• Branch-and-Cut

• Алгебраический подход и Constraint Programming. Unit Propagation. CDCL алгоритм
• SAT и связанные задачи: CP, SMT, MAX-SAT
• Солверы: CP-солвер (cp-sat, cplex-cp), SMT-солвер, MAX-SAT-солвер
• Преимущества алгебраических методов
• Функциональность и возможности CP-SAT
• Практика использования CP-SAT

• Определение и примеры задач
• Стационарные точки в контексте NLP

• Метод штрафных функций (внешней точки)
• Метод барьеров (внутренний точки)
• Модифицированная функция Лагранжа

• Линейные функции: COBYLA, Reduced Gradients, Polyhedrtal Outer Approximation и др.
• Квадратичные функции: Trust-constr, SLSQP

• Цель и роль оптимизации процесса
• Обзор методов NLP, применяемых к ценообразованию

• Введение в оптимизацию «черного ящика»
• Открытый софт и общий пайплайн работы

• Стратегии поиска или оптимизации
• Открытый софт
• Стратегии оптимизации
• Способы представления решений
• Моделирование и вероятностные подходы: CMA-ES и Байесовская оптимизация

• Аддитивное производство
• Генеративный дизайн и проектирование
• Оптимизация расписания в кинотеатре
• Улучшение жадных алгоритмов

• Использование обучения с подкреплением (Reinforcement Learning, RL) для оптимизации
• Задача многоруких бандитов: введение в проблемы и стратегии для оптимизации в условиях неопределённости
• Метод Кросс-Энтропии для обучения с подкреплением (CEM)
• Оптимизация с помощью GAN — Generative adversarial network
• Многокритериальные алгоритмы. Оптимальность по Парето
• Островная модель и Мультиагентная оптимизация

• Переход от нелинейных ограничений к линейным
• Оптимизация повсюду
• Технологии и платформы
• What-if анализ и Анализ чувствительности
• Обзор параметров SCIP
• Пайплайн разработки оптимизационной модели
• Способы быстрой визуализации моделей
• Советы по написанию генератора задачи
• Сравнение известных датасетов

• Нейросети в банках: обзор трендов и кейсы
• DNN, функции активации, Batch Normalization, Dropout, CNN
• RNN, LSTM, GRU, GAN
• Transformers, Autoencoders
• Особенности работы с нейросетями

• Нейросетевой подход для обработки последовательных данных
• Нейросетевые модели на карточных транзакциях
• Нейросетевые модели на транзакциях расчетного счета
• Кредитный скоринг
• Задача склонности к отклику и отток
• Противодействие мошенничеству
• Рекомендательные системы
• Второстепенные задачи в банковской сфере