Машина опорных векторов. Лабораторная работа № 5 - презентация, доклад, проект скачать

Нажмите для полного просмотра!

Машина опорных векторов. Лабораторная работа № 5, слайд №1

Машина опорных векторов. Лабораторная работа № 5, слайд №2

Машина опорных векторов. Лабораторная работа № 5, слайд №3

Машина опорных векторов. Лабораторная работа № 5, слайд №4

Машина опорных векторов. Лабораторная работа № 5, слайд №5

Машина опорных векторов. Лабораторная работа № 5, слайд №6

Машина опорных векторов. Лабораторная работа № 5, слайд №7

Машина опорных векторов. Лабораторная работа № 5, слайд №8

Машина опорных векторов. Лабораторная работа № 5, слайд №9

Машина опорных векторов. Лабораторная работа № 5, слайд №10

Машина опорных векторов. Лабораторная работа № 5, слайд №11

Машина опорных векторов. Лабораторная работа № 5, слайд №12

Машина опорных векторов. Лабораторная работа № 5, слайд №13

Машина опорных векторов. Лабораторная работа № 5, слайд №14

Машина опорных векторов. Лабораторная работа № 5, слайд №15

Машина опорных векторов. Лабораторная работа № 5, слайд №16

Машина опорных векторов. Лабораторная работа № 5, слайд №17

Машина опорных векторов. Лабораторная работа № 5, слайд №18

Машина опорных векторов. Лабораторная работа № 5, слайд №19

Машина опорных векторов. Лабораторная работа № 5, слайд №20

Машина опорных векторов. Лабораторная работа № 5, слайд №21

Машина опорных векторов. Лабораторная работа № 5, слайд №22

Машина опорных векторов. Лабораторная работа № 5, слайд №23

Машина опорных векторов. Лабораторная работа № 5, слайд №24

Машина опорных векторов. Лабораторная работа № 5, слайд №25

Машина опорных векторов. Лабораторная работа № 5, слайд №26

Машина опорных векторов. Лабораторная работа № 5, слайд №27

Машина опорных векторов. Лабораторная работа № 5, слайд №28

Машина опорных векторов. Лабораторная работа № 5, слайд №29

Машина опорных векторов. Лабораторная работа № 5, слайд №30

Машина опорных векторов. Лабораторная работа № 5, слайд №31

Машина опорных векторов. Лабораторная работа № 5, слайд №32

Машина опорных векторов. Лабораторная работа № 5, слайд №33

Машина опорных векторов. Лабораторная работа № 5, слайд №34

Машина опорных векторов. Лабораторная работа № 5, слайд №35

Содержание ▲

Вы можете ознакомиться и скачать презентацию на тему Машина опорных векторов. Лабораторная работа № 5. Доклад-сообщение содержит 35 слайдов. Презентации для любого класса можно скачать бесплатно. Если материал и наш сайт презентаций Mypresentation Вам понравились – поделитесь им с друзьями с помощью социальных кнопок и добавьте в закладки в своем браузере.

Слайды и текст этой презентации

Слайд 1

Описание слайда:

Лабораторная работа № 5 Машина опорных векторов

Слайд 2

Описание слайда:

Бизнес-задача Задача – отличить фальшивые банкноты от настоящих База Banknote authentification: Объекты представляют из себя характеристики изображений банкнот 1372 объекта 4 признака: энтропия изображения коэффициенты дисперсии, ассиметрии и эксцесса вейвлет-преобразования изображения Класс (фальшивые или настоящие)

Слайд 3

Описание слайда:

Бизнес-задача Способ решения – классификация Метод классификации – SVM (Support Vector Machine) Положительные стороны SVM: быстрый метод классификации; метод сводится к решению задачи квадратичного программирования в выпуклой области, которая обычно имеет единственное решение; метод позволяет осуществлять более уверенную классификацию, чем другие линейные методы.

Слайд 4

Описание слайда:

Метод Support Vector Machine Изобретён в 1963 году, авторы – Вапник, Червоненкис Современная постановка в 1995 году Классификатор – разделяющая гиперплоскость Гиперплоскость является наилучшей в смысле ширины «разделяющей полосы» Точки на границах «полосы» называются «опорными» - отсюда название В чём смысл увеличивать ширину полосы?

Слайд 5

Описание слайда:

Слайд 6

Описание слайда:

Математическая постановка Пусть даны два линейно разделимых класса объектов Мы можем описать все точки разделяющей гиперплоскости используя вектор-нормаль к этой гиперплоскости: Данная разделяющая гиперплоскость находится в «разделяющей полосе», которую мы также можем задать уравнениями:

Слайд 7

Описание слайда:

Слайд 8

Описание слайда:

Математическая постановка Можно найти ширину данной полосы как Для машины опорных векторов необходимо найти разделяющую гиперплоскость, которая задает полосу максимальной ширины. Задача оптимизации:

Слайд 9

Описание слайда:

Решение оптимизационной задачи Метод множителей Лагранжа: Производные: Двойственная проблема:

Слайд 10

Описание слайда:

Случай линейно неразделимой выборки

Слайд 11

Описание слайда:

Случай линейно неразделимой выборки Метод множителей Лагранжа: Производные: Двойственная проблема:

Слайд 12

Описание слайда:

Предсказание Для предсказания результата алгоритма, используется функция sign: Для λi=0 точка xi не является «опорной», таким образом, в сумму, которая определяет класс нового объекта, влияние вносят только «опорные» точки.

Слайд 13

Описание слайда:

Использование метода SVM Использован набор данных Banknote Authentification В качестве тестовой выборки взяты 107 последних объектов класса «0» (настоящие банкноты) и 119 объектов класса «1» (фальшивки). Остальные объекты используются в качестве обучающей выборки. Исходные параметры алгоритмов SVM взяты одинаковыми для разных библиотек.

Слайд 14

Описание слайда:

Обучение модели, Intel DAAL

Слайд 15

Описание слайда:

Предсказание, Intel DAAL

Слайд 16

Описание слайда:

Предсказание, Intel DAAL

Слайд 17

Описание слайда:

Алгоритм SVM, Python, R

Слайд 18

Описание слайда:

Результаты вычислений для данных Banknote Authentification Результаты вычислений(суммарное время получения модели + предсказание, количество ошибок) с одинаковыми параметрами: DAAL: ~0.021 секунды, 2 ошибки Python: ~0.007 секунды, 2 ошибки R: ~0.14 секунды, 7 ошибок

Слайд 19

Описание слайда:

Ядра (Kernel Trick) Ядро – функция специального вида: Симметричная Неотрицательно определенная Ядро используется вместо линейного скалярного произведения точек:

Слайд 20

Описание слайда:

Kernel Trick Функция ядра переводит точки в пространство большей размерности. Пример:

Слайд 21

Описание слайда:

Пример использования ядра

Слайд 22

Описание слайда:

Виды ядер

Слайд 23

Описание слайда:

Слайд 24

Описание слайда:

Результаты вычислений для данных Banknote Authentification Результаты вычислений (суммарное время получения модели + предсказание, количество ошибок): DAAL: ~2.5 секунды, 2 ошибки Python: ~0.014 секунды, 0 ошибок R: ~0.065 секунды, 1 ошибка Почему результаты получились разные?

Слайд 25

Описание слайда:

Результаты вычислений для данных Banknote Authentification Результаты вычислений(суммарное время получения модели + предсказание, количество ошибок) с ядром radial и стандартными параметрами(200 MB кэш, большое количество итераций): DAAL: ~0.024 секунды, 0 ошибок Python: ~0.007 секунды, 0 ошибок R: ~0.065 секунды, 1 ошибка

Слайд 26

Описание слайда:

Результаты вычислений для данных Banknote Authentification Результаты вычислений(суммарное время получения модели + предсказание, количество ошибок) с ядром radial и одинаковыми заданными параметрами (gamma = 1,iterations = no_limit): DAAL: ~0.035 секунды, 0 ошибок Python: ~0.061 секунды, 0 ошибок R: ~0.052 секунды, 0 ошибок

Слайд 27

Описание слайда:

Набор данных Adult Income*

Слайд 28

Описание слайда:

Признаки

Слайд 29

Описание слайда:

Набор данных Adult Income*

Слайд 30

Описание слайда:

Результаты вычислений для данных Adult Income Результаты вычислений: DAAL: ~400 секунд, точность 0.63 (линейное ядро, после бинаризации, 200000 итераций, точность 0.001) Python: ~20 секунд, точность 0.75(линейное ядро, после бинаризации, 100000 итераций, точность 0.001, сходимость не достигнута) Python: ~40 секунд, точность 0.56(линейное ядро, после бинаризации, 200000 итераций, точность 0.001, сходимость не достигнута) Python: ~2400 секунд, точность 0.79(линейное ядро, после бинаризации, без ограничения на количество итераций, точность 0.001, сходимость достигнута) Python ~150 секунд, точность 0.75(ядро rbf, после бинаризации, 100000 итераций, точность 0.001, сходимость достигнута) R: ~64 секунды, точность 0.848 (ядро rbf, без бинаризации) R: ~430 секунд, точность 0.839 (ядро rbf, после бинаризации) R: ~80 секунд, точность 0.846 (ядро linear, без бинаризации)

Слайд 31

Описание слайда:

Результаты вычислений для данных Adult Income

Слайд 32

Описание слайда:

Плюсы и минусы SVM Плюсы: это наиболее быстрый метод нахождения решающих функций; метод сводится к решению задачи квадратичного программирования в выпуклой области, которая всегда имеет единственное решение; метод находит разделяющую полосу максимальной ширины (для заданных параметров), что позволяет в дальнейшем осуществлять более уверенную классификацию (и интерпретацию); Минусы метод чувствителен к шумам и стандартизации данных; не существует общего подхода к автоматическому выбору ядра, его параметров и построению спрямляющего подпространства в целом в случае линейной неразделимости классов.

Слайд 33

Описание слайда:

Практическое задание Проанализировать разные результаты для набора данных Banknote Authentification, в чём разница базовых настроек алгоритма в разных инструментах? Найти наилучшие параметры для данных Banknote Authentification, используя технику кросс-валидации. Возможно ли улучшить точность алгоритма для данных Adult Income, используя другие параметры (gamma, C, параметры связанные с SVM)? Подобрать параметры, дающие большую точность или показать, что для большого набора параметров точность улучшить не удаётся.

Слайд 34

Описание слайда:

Ссылки на реализации алгоритма - LIBSVM: A Library for Support Vector Machines, Chih-Chung Chang and Chih-Jen Lin; статья с описанием реализации SVM – модели, алгоритмы(R,Python). - Working Set Selection Using Second Order Information for Training Support Vector Machines, Rong-En Fan, Pai-Hsuen Chen, Chih-Jen Lin; статья с более детальным описанием реализации SVM(R,DAAL).

Слайд 35

Описание слайда:

Литература Charu C. Aggarwal. Data Mining. The Textbook. Springer International Publishing Switzerland, 2015. - К.В. Воронцов. Лекции по методу опорных векторов, 2007