🗊Презентация Методы анализа данных. Примеры задач. Иллюстрации

Методы анализа данных Примеры задач. Иллюстрации Ганелина Наталья Давидовна Кафедра АСУ 12657@211.ru

Структура курса Задачи и методы анализа данных Корреляционный анализ данных Регрессионный анализ данных Поиск ассоциативных взаимосвязей Кластеризация Классификация Снижение размерности многомерного признака. Отбор наиболее информативных показателей. Факторный анализ Исследование и прогнозирование временных рядов

Структура курса Генетические алгоритмы и эволюционное моделирование задач анализа данных Statistica PolyAnalyst SPSS Deductor Excel

БРС Лабораторные работы: 40 баллов РГР: 40 баллов Зачет: 20 баллов «Автомат»: от 77 баллов

Рекомендуемая литература Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности.- М.: Финансы и статистика, 1989. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Основы моделирования и первичная обработка данных. – М.: «Финансы и статистика», 1983. – 471 с. Айвазян С.А., Мхитарян В.С. Прикладная статистика и основы эконометрики. Учебник для вузов. – М.: ЮНИТИ, 1998. – 1022 с. Альсова О.К. Решение задач интеллектуального анализа данных на основе вариативного моделирования./Методические указания к лабораторным работам; составитель Альсова О.К. – Новосибирск: Изд-во НГТУ, 2005. – 75 с. Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И. Методы и модели анализа данных: OLAP и Data Mining. – Спб.: БХВ-Петербург, 2004. – 336 с. Боровиков В.П. Statistica. Искусство анализа данных на компьютере: Для профессионалов. 2-е изд. – СПб.: Питер, 2003. – 688 с. Гладков Л.А., Курейчик В.В., Курейчик В.М. Генетические алгоритмы. – М.: ФИЗМАТЛИТ, 2006. – 320 с.

Рекомендуемая литература

Рекомендуемая литература Бериков В.Б. Анализ статистических данных с использованием деревьев решений: Учебное пособие. – Новосибирск. Изд-во НГТУ, 2002. – 60 с. Бокс Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление. М.: Мир, вып. 1, 1974. – 406 с.; вып. 2 – 197 с. Боровиков В.П., Ивченко Г.И. Прогнозирование в системе Statistica в среде Windows. Основы теории и интенсивная практика на компьютере. Учеб. Пособие. – М.: Финансы и статистика, 1999. – 384 с. Губарев В.В. Интеллектуальный анализ данных и вариативное моделирование в экспериментальных исследованиях.//Информационные системы и технологии. ИСТ, 2001: Сб. научн. статей. – Новосибирск: НГТУ, 2001. – С. 5-25. Губарев В.В. Вероятностные модели / Новосиб. электротехн. ин-т. – Новосибирск, 1992. – Ч.1. – 198 с; Ч.2. – 188 с. Губарев В.В., Альсова О.К. Вариативное моделирование на примере решения прикладной задачи.// ИСТ-2000: Матер. междун. науч.-техн. конф. – Новосибирск, НГТУ, 2000, том 2, С. 285-286. Губарев В.В., Альсова О.К., Швайкова И.Н. Интеллектуальный анализ «данных» и вариативное моделирование с системных позиций.// SCM’2000: International Conference on Soft Computing and Measurements. – Санкт-Петербург, СПб-ГЭТУ, 2000, С. 65-68.

Рекомендуемая литература Дюк В.А., Самойленко А.П. Data Mining: учебный курс. — СПб.: Питер, 2001. – 368 с. Елманова Н. Введение в Data Mining.// Компьютер Пресс 8, 2003, С. 28-39. Кендэл М. Временные ряды. – М.: Финансы и статистика, 1981. – 199 с. Корнеев В.В., Гареев А.Ф., Васютин С.В., Райх В.В. Базы данных. Интеллектуальная обработка информации. – М.: Изд-во Нолидж, 2001. – 496 с. Курейчик В.М., Родзин С.И. Эволюционные алгоритмы: генетическое программирование. Обзор // Известия РАН. ТиСУ. 2002. №1. С. 127-137. Струнков Т. Что такое генетические алгоритмы.//PC Week RE, №19, 1999. Факторный, дискриминантный и кластерный анализ/Пер. с англ. А.М. Хотинского. Под ред. И.С. Енюкова. -М.: Финансы и статистика, 1989. Четыркин Е.М. Статистические методы прогнозирования. – М.: Статистика, 1977. – 199с. Шапот М. Интеллектуальный анализ данных в системах поддержки принятия решений.//Открытые системы, №1, 1998, С. 30-35. Шапот М., Рощупкина В. Интеллектуальный анализ данных и управление процессами.//Открытые системы №4-5, 1998, С. 40-44. Щавелев Л.В. Способы аналитической обработки данных для поддержки принятия решений.// СУБД. - 1998. - № 4-5. Эвоинформатика: Теория и практика эволюционного моделирования./И.Л. Букатова, Ю.И. Михасев, А.М. Шаров. – М.: Наука, 1991. – 206 с.

Рекомендуемая литература Гайдышев И. Анализ и обработка данных: специальных справочник. – Спб.: Питер, 2001. – 752 с. И.Гайдышев. Решение научных и инженерных задач средствами Excel, VBA и C/C++.- СПб.: БХВ-Петербург, 2004. – 504 с.

Иллюстрации Большинство примеров и иллюстраций заимствованы из учебных пособий, представленных в списке рекомендованной литературы. На лекции в обязательном порядке указывается источник.

Признаки

Методы DM

Системы DM

Программное обеспечение анализа данных

Программное обеспечение анализа данных

Пакеты

Дисперсионный анализ Однофакторный дисперсионный анализ для несвязанных выборок Последовательность операций

Дисперсионный анализ Однофакторный дисперсионный анализ для несвязанных выборок Обозначения СК или SS – сумма квадратов SSфакт. – вариативность, обусловленная действием исследуемого фактора SSобщ. – общая вариативность SSсл. – случайная вариативность MS – «средний квадрат» (математическое ожидание суммы квадратов, усредненная величина соответствующих SS) df – число степеней свободы.

Дисперсионный анализ Однофакторный дисперсионный анализ для несвязанных выборок Последовательность операций

Дисперсионный анализ

Дисперсионный анализ

Корреляционный анализ

Корреляционный анализ Коэффициенты корреляции в зависимости от типа переменных

Линия регрессии

Регрессионный анализ

Регрессионный анализ

Регрессионный анализ Пример расчетов

Регрессионный анализ

Регрессионный анализ

Регрессионный анализ

Регрессионный анализ

Регрессионный анализ

Регрессионный анализ

Задание на л/р По результатам статистического исследования физического развития мальчиков 5 лет известно, что их средний рост (х) равен 109 см, а средняя масса тела (у) равна 19 кг. Коэффициент корреляции между ростом и массой тела составляет + 0,9, средние квадратические отклонения представлены в таблице. Требуется: 1) рассчитать коэффициент регрессии; 2) по уравнению регрессии определить, какой будет ожидаемая масса тела мальчиков 5 лет при росте, равном х1 = 100 см, х2 = 110 см, х3= 120 см; 3) рассчитать сигму регрессии, построить шкалу регрессии и предста- вить результаты ее решения в графическом виде; 4) сделать соответствующие выводы.

Задание на л/р

Решение задачи ЭТАПЫ РЕШЕНИЯ ЗАДАЧИ 1. Коэффициент регрессии: Ry/x = rxy х (σy/σx) = +0,9 × (0,8/4,4) = 0,16 кг/см. Таким образом, при увеличении роста мальчиков 5 лет на 1 м масса тела увеличивается на 0,16 кг. 2. Уравнение регрессии: y = My + Ry/x (x – Mx) х1 = 100 см х2 = 110 см х3 = 120 см у1 = 19 + 0,16 (100 – 109) = 17,56 кг у2 = 19 + 0,16 (110 – 109) = 19,16 кг у3 = 19 + 0,16 (120 – 109) = 20,76 кг

Решение

Транзакции

Алгоритм (* [Чубукова])

Алгоритм (* Чубукова)

Алгоритм (* Чубукова)

Алгоритм

Алгоритм

Алгоритм. Свойство антимонотонности

Алгоритм

Примеры

Примеры

Примеры

Деревья решений (decision trees)

Деревья решений Дерево решений (выдача кредита)

Конструирование модели Конструирование модели

Классификация Использование модели

Классификация Пример решения методом линейной регрессии (схематическое решение)

Классификация Пример решения методом деревьев решений

Классификация Пример решения методом нейронный сетей

Классификация Метод находит образцы, находящиеся на границах между двумя классами, т.е. опорные вектора. Опорными векторами называются объекты множества, лежащие на границах областей.

Классификация Классификация считается хорошей, если область между границами пуста.

Классификация

Классификация Метод k-ближайших соседей для решения задач классификации

Классификация

Классификация

Классификация

Классификация

Классификация Y – вектор выходных сигналов, X – вектор входных сигналов, в выходном слое N0 нейронов, в каждом скрытом слое – NH нейронов, входной слой – NI нейронов.

Классификация Результат работы i-го слоя (Yi – вектор выхода i-го слоя многослойного перцептрона):

Классификация Если заданы начальные значения Y: yj,0=xj, то результат работы перцептрона

Классификация Двухслойный перцептрон

Классификация

Классификация

Кластеризация

Кластеризация Кластеры: пересекающиеся и непересекающиеся

Кластеризация Дендрограмма

Кластеризация Необходимость нормировки (разные масштабы  разные классы)

Кластеризация

Кластеризация Расстояние в пространстве трех измерений

Кластеризация

Кластеризация Задание: описать последовательность объединения в классы

Кластеризация

Кластеризация Метод k-средних, k=2

Факторный анализ Жирным выделены значимые нагрузки

Факторный анализ

Факторный анализ

Факторный анализ

Анализ временных рядов График ежедневных данных о среднем числе дефектов на грузовик в конце сборочного конвейера на предприятии по производству грузовиков. Наблюдения осциллируют на некотором постоянном уровне. Стационарный временной ряд (стационарный в среднем, специальный случай стационарных временных рядов). Ряд может быть описан авторегрессионной моделью скользящего среднего (ARMA), предложенной в методологии Бокса–Дженкинса.

Анализ временных рядов Данные о производстве (ежегодном) табака в США. Не варьируются около постоянного значения, выявляют предельный, вверх направленный тренд. Дисперсия увеличивается с увеличением времени. Нестационарный по среднему и по дисперсии временной ряд.

Анализ временных рядов Ежеквартальные данные о производстве пива в США в течение нескольких лет. Сезонный временной ряд, проявляющий ежегодную тенденцию к повторению. Период сезонности, т.е. интервал, через который тенденция повторяется, равен 4. Для анализа данного ряда может быть предложена модификация модели Бокса–Дженкинса. Альтернативным способом моделирования является сезонная декомпозиция.

Анализ временных рядов График реализации вина сладкого сорта на территории Австралии с января 1980 по июнь 1994 года. Нестационарный ряд– изменение в структуре ряда, возникшее из-за некоторого внешнего события. Такой тип нестационарности нельзя учесть, применяя то или иное стандартное преобразование.

Анализ временных рядов Двумерный временной ряд. Ряды коррелированны. Переменные взаимно влияют друг на друга. Необходимо использовать сложные методы анализа, например, векторные авторегрессионные модели скользящего среднего.

Анализ временных рядов

Анализ временных рядов

Анализ временных рядов

Анализ временных рядов

Анализ временных рядов

Анализ временных рядов Обнаружена сезонная составляющая с периодом, равным 12 месяцев (r120.9).

Анализ временных рядов

Анализ временных рядов

Анализ временных рядов

Анализ временных рядов

Анализ временных рядов

Анализ временных рядов Неадекватная модель

Анализ временных рядов

Анализ временных рядов Выделены тренд-циклический, сезонный и случайный компоненты

Анализ временных рядов

Анализ временных рядов

Анализ временных рядов Временной ряд, содержащий тренд: коррелограмма не стремится к 0.

Анализ временных рядов Ряд с сезонной составляющей, после удаления тренда: коррелограмма показывает наличие сезонной составляющей

Анализ временных рядов

Анализ временных рядов 2 =1

Анализ временных рядов

Анализ временных рядов Автокорреляционные функции авторегрессионных рядов экспоненциально затухают или представляют экспоненциально затухающие синусоидальные волны.

Анализ временных рядов

Генетические алгоритмы

Генетические алгоритмы

Генетические алгоритмы

Параллельные ГА Модель миграции

Параллельные ГА

Параллельные ГА

Параллельные ГА

PolyAnalyst

НАЧАЛО // простой генетический алгоритм     Создать начальную совокупность структур(популяцию)     Оценить каждую структуру     останов := FALSE     ПОКА НЕ останов ВЫПОЛНЯТЬ     НАЧАЛО // новая итерация (поколение)         Применить оператор отбора         ПОВТОРИТЬ (размер_популяции/2) РАЗ         НАЧАЛО // цикл воспроизводства             Выбрать две структуры (родители) из множества предыдущей                 итерации             Применить оператор скрещивания с заданной вероятностью к                 выбранным структурам и получить две новые структуры                 (потомки)             Оценить эти новые структуры             Если оператор скрещивания не применяется, то потомки                 становятся копиями своих родителей             Поместить потомков в новое поколение         КОНЕЦ         Применить оператор мутации с заданной верояностью         ЕСЛИ популяция сошлась ТО останов := TRUE     КОНЕЦ КОНЕЦ НАЧАЛО // простой генетический алгоритм     Создать начальную совокупность структур(популяцию)     Оценить каждую структуру     останов := FALSE     ПОКА НЕ останов ВЫПОЛНЯТЬ     НАЧАЛО // новая итерация (поколение)         Применить оператор отбора         ПОВТОРИТЬ (размер_популяции/2) РАЗ         НАЧАЛО // цикл воспроизводства             Выбрать две структуры (родители) из множества предыдущей                 итерации             Применить оператор скрещивания с заданной вероятностью к                 выбранным структурам и получить две новые структуры                 (потомки)             Оценить эти новые структуры             Если оператор скрещивания не применяется, то потомки                 становятся копиями своих родителей             Поместить потомков в новое поколение         КОНЕЦ         Применить оператор мутации с заданной верояностью         ЕСЛИ популяция сошлась ТО останов := TRUE     КОНЕЦ КОНЕЦ