Модели CatBoost в ClickHouse - презентация, доклад, проект скачать

Нажмите для полного просмотра!

Содержание ▲

Вы можете ознакомиться и скачать презентацию на тему Модели CatBoost в ClickHouse. Доклад-сообщение содержит 40 слайдов. Презентации для любого класса можно скачать бесплатно. Если материал и наш сайт презентаций Mypresentation Вам понравились – поделитесь им с друзьями с помощью социальных кнопок и добавьте в закладки в своем браузере.

Слайды и текст этой презентации

Слайд 1

Описание слайда:

Слайд 2

Описание слайда:

Применение моделей CatBoost в ClickHouse Николай Кочетов

Слайд 3

Описание слайда:

Что такое ClickHouse? ClickHouse - distributed analytical column-oriented DBMS

Слайд 4

Описание слайда:

Почему column-oriented? Так работают row-oriented системы:

Слайд 5

Описание слайда:

Почему column-oriented? Так работают column-oriented системы:

Слайд 6

Описание слайда:

Особенности ClickHouse column-oriented линейная масштабируемость отказоустойчивость загрузка данных в реальном времени онлайн (sub-second) запросы поддержка диалекта SQL + расширения (массивы, вложенные структуры данных, domain-specific функции, сэмплирование)

Слайд 7

Описание слайда:

Предсказание вероятности покупки

Слайд 8

Описание слайда:

Предсказание вероятности покупки Задача Узнать больше информации про пользователей Цель По поведению пользователей в прошлом, предсказывать их поведение в будущем. Например, ответить на вопрос — с какой вероятностью пользователь совершит заказ.

Слайд 9

Описание слайда:

Рабочий процесс

Слайд 10

Описание слайда:

Сбор данных Используем данные Яндекс.Метрики из Logs API Сырые данные по хитам и визитам Предыдущие покупки Состояние корзины Посещения страниц с описанием товара Загружаем данные в ClickHouse

Слайд 11

Описание слайда:

Вычисление признаков Можем использовать более 60 характеристик Характеристики пользователя: Устройство, браузер, регион Поведение: Источники трафика, доход, был ли последний визит отказом и т.д.

Слайд 12

Описание слайда:

Вычисление признаков Храним данные в ClickHouse в неагрегированном виде Можем получить (почти) любые признаки Например, средняя длительность сессии:

Слайд 13

Описание слайда:

Обучение моделей Собрали выборку и обучили несколько различных моделей: SVM Logistic Regression Random Forest XGBoost CatBoost

Слайд 14

Описание слайда:

Внедрение обученной модели В результате обучения получили модель и набор скриптов. Как с этим жить?

Слайд 15

Описание слайда:

Способ 1: Используем код из обучения Наводим порядок в куче скриптов: Выгружаем данные раз в неделю (каждый понедельник) Применяем модель также, как и тестировали Загружаем вероятность покупки в таблицу ClickHouse

Слайд 16

Описание слайда:

Способ 1: Используем код из обучения Преимущества Просто, быстро, эффективно. Часть кода уже написана. Полезно. Пригодится при переобучении. Недостатки Загрузка и выгрузка данных. Может тормозить. Заранее готовим ответы. Сложно получить ответ для произвольного периода.

Слайд 17

Описание слайда:

Способ 2: препарируем модель План работ Смотрим, как устроена модель Переносим процесс применения в хранилище данных Избавляемся от загрузки и выгрузки данных Чего сможем добиться? Избавимся от перекладывания данных Будем работать с произвольным множеством данных Применение модели — запрос в базу

Слайд 18

Описание слайда:

Способ 2: препарируем модель Какие алгоритмы можем перенести в СУБД?

Слайд 19

Описание слайда:

Способ 2: препарируем модель Линейные классификаторы Тривиально Логистическая регрессия Результаты на тестовой выборке ROC AUC: 0.917 0.44 sec. 441497 rows/sec. 63.16 MiB/sec.

Слайд 20

Описание слайда:

Способ 2: препарируем модель Дерево принятия решений Вкладываем дерево в цепочку вызовов условных функций

Слайд 21

Описание слайда:

Способ 2: препарируем модель Лес, бустинг — набор деревьев Random Forest, 100 деревьев глубины 3 Результаты на тестовой выборке ROC AUC: 0.917 (0.923 для глубины 6) 2.54 sec. 59450 rows/sec. 1.59 MiB/sec.

Слайд 22

Описание слайда:

Способ 2: препарируем модель Небольшой лес из 100 деревьев

Слайд 23

Описание слайда:

Способ 2: препарируем модель Недостатки Сложность преобразования модели в запрос Ограниченная применимость Не для всех алгоритмов машинного обучения Ограничения со стороны СУБД Проблемы с производительностью

Слайд 24

Описание слайда:

Способ 3: встраиваем применение в базу Используем библиотеку машинного обучения внутри базы Перекладываем на базу работу по преобразованию данных Применяем модель как вызов встроенной функции

Слайд 25

Описание слайда:

Способ 3: встраиваем применение в базу Преимущества Те же, что и у предыдущего способа, но Нет неоправданных проблем с производительностью Основная работа — на базе данных Оптимизация работы внутри библиотеки машинного обучения Недостатки База должна поддерживать работу с конкретным алгоритмом Различия в версиях и форматах хранения

Слайд 26

Описание слайда:

Способ 3: встраиваем применение в базу CatBoost, 100 деревьев глубины 6 Результаты на тестовой выборке ROC AUC: 0.932 3.96 sec. 19467 rows/sec. 2.78 MiB/sec. XGBoost Результаты на тестовой выборке 1000 деревьев глубины 3 — ROC AUC: 0.929

Слайд 27

Описание слайда:

Способ 3: встраиваем применение в базу

Слайд 28

Описание слайда:

Интеграция ClickHouse и CatBoost

Слайд 29

Описание слайда:

Модели CatBoost в ClickHouse Описываем конфигурацию модели

Слайд 30

Описание слайда:

Модели CatBoost в ClickHouse Описываем конфигурацию модели В config.xml добавляем путь к конфигурации и путь к CatBoost

Слайд 31

Описание слайда:

Модели CatBoost в ClickHouse Описываем конфигурацию модели В config.xml добавляем путь к конфигурации и путь к CatBoost Используем функцию modelEvaluate('model_name', feature1, ..., featureN) Сначала перечисляем числовые признаки, затем категориальные.

Слайд 32

Описание слайда:

Чтение из CatBoost Pool Формат входных данных для обучения CatBoost — CatBoost Pool Описание столбцов — TSV файл вида Пример для двух признаков и Target Описание датасета — TSV файл с данными

Слайд 33

Описание слайда:

Чтение из CatBoost Pool Чтобы быстро протестировать работу обученной модели в ClickHouse, добавлена возможность читать данные сразу из пула CatBoost. Табличная функция catBoostPool. Параметры — пути к файлам с описанием столбцов и датасета. catBoostPool('/path/to/column/description', '/path/to/dataset/description') Создает временную таблицу с движком File('TSV'). Файлы должны находиться в директории данных сервера.

Слайд 34

Описание слайда:

Чтение из CatBoost Pool

Слайд 35

Описание слайда:

Чтение из CatBoost Pool

Слайд 36

Описание слайда:

Использование обученной модели Предсказываем вероятность покупки

Слайд 37

Описание слайда:

Использование обученной модели Считаем ошибку на тестовой выборке по метрике Logloss

Слайд 38

Описание слайда:

Использование обученной модели

Слайд 39

Описание слайда:

Итоги Интеграция ClickHouse и CatBoost Применение обученных моделей Чтение данных из пула Дальнейшие планы Другие форматы моделей Встроенное обучение моделей — ?