🗊Data Mining

Категория: Информатика
Нажмите для полного просмотра!
Data Mining, слайд №1Data Mining, слайд №2Data Mining, слайд №3Data Mining, слайд №4Data Mining, слайд №5Data Mining, слайд №6Data Mining, слайд №7Data Mining, слайд №8Data Mining, слайд №9Data Mining, слайд №10Data Mining, слайд №11Data Mining, слайд №12Data Mining, слайд №13Data Mining, слайд №14Data Mining, слайд №15Data Mining, слайд №16Data Mining, слайд №17Data Mining, слайд №18Data Mining, слайд №19Data Mining, слайд №20Data Mining, слайд №21Data Mining, слайд №22Data Mining, слайд №23Data Mining, слайд №24Data Mining, слайд №25Data Mining, слайд №26Data Mining, слайд №27Data Mining, слайд №28Data Mining, слайд №29Data Mining, слайд №30Data Mining, слайд №31Data Mining, слайд №32Data Mining, слайд №33Data Mining, слайд №34Data Mining, слайд №35Data Mining, слайд №36

Содержание

Вы можете ознакомиться и скачать Data Mining. Презентация содержит 36 слайдов. Презентации для любого класса можно скачать бесплатно. Если материал и наш сайт презентаций Вам понравились – поделитесь им с друзьями с помощью социальных кнопок и добавьте в закладки в своем браузере.

Слайды и текст этой презентации


Слайд 1





Data Mining
Описание слайда:
Data Mining

Слайд 2





Докладчики
Александра Симонова, Мат-Мех, 5 курс
Описание слайда:
Докладчики Александра Симонова, Мат-Мех, 5 курс

Слайд 3





История Data Mining
1960-е гг. – первая промышленная СУБД система IMS фирмы IBM.
1970-е гг. – Conference on Data System Languages (CODASYL)
1980-е гг. – SQL
1990-е гг. – Data Mining
Описание слайда:
История Data Mining 1960-е гг. – первая промышленная СУБД система IMS фирмы IBM. 1970-е гг. – Conference on Data System Languages (CODASYL) 1980-е гг. – SQL 1990-е гг. – Data Mining

Слайд 4





Возникновение Data Mining. Способствующие факторы
совершенствование аппаратного и программного обеспечения; 
совершенствование технологий хранения и записи данных; 
накопление большого количества ретроспективных данных; 
совершенствование алгоритмов обработки информации.
Описание слайда:
Возникновение Data Mining. Способствующие факторы совершенствование аппаратного и программного обеспечения; совершенствование технологий хранения и записи данных; накопление большого количества ретроспективных данных; совершенствование алгоритмов обработки информации.

Слайд 5





Понятие Data Mining
Data Mining - это процесс обнаружения в сырых данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. 

Gregory Piatetsky-Shapiro 
Это технология, которая предназначена для поиска в больших объемах данных неочевидных, объективных и полезных на практике закономерностей.
Описание слайда:
Понятие Data Mining Data Mining - это процесс обнаружения в сырых данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Gregory Piatetsky-Shapiro Это технология, которая предназначена для поиска в больших объемах данных неочевидных, объективных и полезных на практике закономерностей.

Слайд 6





Мультидисциплинарность
Описание слайда:
Мультидисциплинарность

Слайд 7





Задачи Data Mining
Классификация
Кластеризация
Прогнозирование
Ассоциация
Визуализация
анализ и обнаружение отклонений
Оценивание
Анализ связей
Подведение итогов
Описание слайда:
Задачи Data Mining Классификация Кластеризация Прогнозирование Ассоциация Визуализация анализ и обнаружение отклонений Оценивание Анализ связей Подведение итогов

Слайд 8





Стадии Data Mining
СВОБОДНЫЙ ПОИСК (в том числе ВАЛИДАЦИЯ)


ПРОГНОСТИЧЕСКОЕ МОДЕЛИРОВАНИЕ


АНАЛИЗ ИСКЛЮЧЕНИЙ
Описание слайда:
Стадии Data Mining СВОБОДНЫЙ ПОИСК (в том числе ВАЛИДАЦИЯ) ПРОГНОСТИЧЕСКОЕ МОДЕЛИРОВАНИЕ АНАЛИЗ ИСКЛЮЧЕНИЙ

Слайд 9





Методы Data Mining. Технологические методы.
Непосредственное использование данных, или сохранение данных:
кластерный анализ, метод ближайшего соседа, метод k-ближайшего соседа, рассуждение по аналогии (этот метод будет рассмотрен подробнее)
Выявление и использование формализованных закономерностей, или дистилляция шаблонов:
логические методы; методы визуализации; методы кросс-табуляции; методы, основанные на уравнениях
Описание слайда:
Методы Data Mining. Технологические методы. Непосредственное использование данных, или сохранение данных: кластерный анализ, метод ближайшего соседа, метод k-ближайшего соседа, рассуждение по аналогии (этот метод будет рассмотрен подробнее) Выявление и использование формализованных закономерностей, или дистилляция шаблонов: логические методы; методы визуализации; методы кросс-табуляции; методы, основанные на уравнениях

Слайд 10





Методы Data Mining. Статистические методы.
Дескриптивный анализ и описание исходных данных.
Анализ связей (корреляционный и регрессионный анализ, факторный анализ, дисперсионный анализ).
Многомерный статистический анализ (компонентный анализ, дискриминантный анализ, многомерный регрессионный анализ, канонические корреляции и др.).
Анализ временных рядов (динамические модели и прогнозирование).
Описание слайда:
Методы Data Mining. Статистические методы. Дескриптивный анализ и описание исходных данных. Анализ связей (корреляционный и регрессионный анализ, факторный анализ, дисперсионный анализ). Многомерный статистический анализ (компонентный анализ, дискриминантный анализ, многомерный регрессионный анализ, канонические корреляции и др.). Анализ временных рядов (динамические модели и прогнозирование).

Слайд 11





Методы Data Mining. Кибернетические методы.
Искусственные нейронные сети (распознавание, кластеризация, прогноз);
Эволюционное программирование (в т.ч. алгоритмы метода группового учета аргументов); 
Генетические алгоритмы (оптимизация);
Ассоциативная память (поиск аналогов, прототипов);
Нечеткая логика;
Деревья решений; этот метод будет рассмотрен подробнее.
Системы обработки экспертных знаний.
Описание слайда:
Методы Data Mining. Кибернетические методы. Искусственные нейронные сети (распознавание, кластеризация, прогноз); Эволюционное программирование (в т.ч. алгоритмы метода группового учета аргументов); Генетические алгоритмы (оптимизация); Ассоциативная память (поиск аналогов, прототипов); Нечеткая логика; Деревья решений; этот метод будет рассмотрен подробнее. Системы обработки экспертных знаний.

Слайд 12





Визуализация инструментов Data Mining.
Для деревьев решений - визуализатор дерева решений, список правил, таблица сопряженности. 
Для нейронных сетей - в зависимости от инструмента это может быть топология сети, график изменения величины ошибки, демонстрирующий процесс обучения.
Для карт Кохонена: карты входов, выходов, другие специфические карты.
Для линейной регрессии - линия регрессии.
Для кластеризации: дендрограммы, диаграммы рассеивания.
Описание слайда:
Визуализация инструментов Data Mining. Для деревьев решений - визуализатор дерева решений, список правил, таблица сопряженности. Для нейронных сетей - в зависимости от инструмента это может быть топология сети, график изменения величины ошибки, демонстрирующий процесс обучения. Для карт Кохонена: карты входов, выходов, другие специфические карты. Для линейной регрессии - линия регрессии. Для кластеризации: дендрограммы, диаграммы рассеивания.

Слайд 13





Проблемы и вопросы
Data Mining не может заменить аналитика!
Сложность разработки и эксплуатации приложения Data Mining. Основные аспекты:
Квалификация пользователя
Сложность подготовки данных
Большой процент ложных, недостоверных или бессмысленных результатов
Высокая стоимость
Наличие достаточного количества репрезентативных данных
Описание слайда:
Проблемы и вопросы Data Mining не может заменить аналитика! Сложность разработки и эксплуатации приложения Data Mining. Основные аспекты: Квалификация пользователя Сложность подготовки данных Большой процент ложных, недостоверных или бессмысленных результатов Высокая стоимость Наличие достаточного количества репрезентативных данных

Слайд 14





Области применения Data mining
Database marketers - Рыночная сегментация, идентификация целевых групп, построение профиля клиента
Банковское дело - Анализ кредитных рисков, привлечение и удержание клиентов, управление ресурсами
Кредитные компании - Детекция подлогов, формирование "типичного поведения" обладателя кредитки, анализ достоверности клиентских счетов , cross-selling программы
Страховые компании - Привлечение и удержание клиентов, прогнозирование фингансовых показателей
Розничная торговля - Анализ деятельности торговых точек, построение профиля покупателя, управление ресурсами
Биржевые трейдеры - Выработка оптимальной торговой стратегии, контроль рисков
Описание слайда:
Области применения Data mining Database marketers - Рыночная сегментация, идентификация целевых групп, построение профиля клиента Банковское дело - Анализ кредитных рисков, привлечение и удержание клиентов, управление ресурсами Кредитные компании - Детекция подлогов, формирование "типичного поведения" обладателя кредитки, анализ достоверности клиентских счетов , cross-selling программы Страховые компании - Привлечение и удержание клиентов, прогнозирование фингансовых показателей Розничная торговля - Анализ деятельности торговых точек, построение профиля покупателя, управление ресурсами Биржевые трейдеры - Выработка оптимальной торговой стратегии, контроль рисков

Слайд 15





Области применения Data mining. Продолжение.
Телекоммуникация и энергетика - Привлечение клиентов, ценовая политика, анализ отказов, предсказание пиковых нагрузок, прогнозирование поступления средств
Налоговые службы и аудиторы - Детекция подлогов, прогнозирование поступлений в бюджет
Фармацевтические компании - Предсказание результатов будущего тестирования препаратов, программы испытания
Медицина - Диагностика, выбор лечебных воздействий, прогнозирование исхода хирургического вмешательства
Управление производством - Контроль качества, материально-техническое обеспечение, оптимизация технологического процесса
Ученые и инженеры - Построение эмпирических моделей, основанных на анализе данных, решение научно-технических задач
Описание слайда:
Области применения Data mining. Продолжение. Телекоммуникация и энергетика - Привлечение клиентов, ценовая политика, анализ отказов, предсказание пиковых нагрузок, прогнозирование поступления средств Налоговые службы и аудиторы - Детекция подлогов, прогнозирование поступлений в бюджет Фармацевтические компании - Предсказание результатов будущего тестирования препаратов, программы испытания Медицина - Диагностика, выбор лечебных воздействий, прогнозирование исхода хирургического вмешательства Управление производством - Контроль качества, материально-техническое обеспечение, оптимизация технологического процесса Ученые и инженеры - Построение эмпирических моделей, основанных на анализе данных, решение научно-технических задач

Слайд 16





Перспективы технологии Data Mining.
выделение типов предметных областей с соответствующими им эвристиками
создание формальных языков и логических средств, с помощью которых будет формализованы рассуждения 
создание методов Data Mining, способных не только извлекать из данных закономерности, но и формировать некие теории, опирающиеся на эмпирические данные;
преодоление существенного отставания возможностей инструментальных средств Data Mining от теоретических достижений в этой области.
Описание слайда:
Перспективы технологии Data Mining. выделение типов предметных областей с соответствующими им эвристиками создание формальных языков и логических средств, с помощью которых будет формализованы рассуждения создание методов Data Mining, способных не только извлекать из данных закономерности, но и формировать некие теории, опирающиеся на эмпирические данные; преодоление существенного отставания возможностей инструментальных средств Data Mining от теоретических достижений в этой области.

Слайд 17





Литература по Data Mining
"Wikipedia about Data Mining" (http://en.wikipedia.org/wiki/Data_mining)
"Data Mining Tutorials" (http://www.eruditionhome.com/datamining/tut.html)
"Thearling intro paper" (http://www.thearling.com/text/dmwhite/dmwhite.htm)
"Что такое Data mining?“ (http://www.megaputer.ru/doc.php?classroom/whatis_dm/whatis_dm.html)
"INTUIT.ru: Учебный курс - Data Mining“ (http://www.intuit.ru/department/database/datamining/)
"Data Mining - подготовка исходных данных“ (http://www.basegroup.ru/tasks/datamining_prepare.htm)
Описание слайда:
Литература по Data Mining "Wikipedia about Data Mining" (http://en.wikipedia.org/wiki/Data_mining) "Data Mining Tutorials" (http://www.eruditionhome.com/datamining/tut.html) "Thearling intro paper" (http://www.thearling.com/text/dmwhite/dmwhite.htm) "Что такое Data mining?“ (http://www.megaputer.ru/doc.php?classroom/whatis_dm/whatis_dm.html) "INTUIT.ru: Учебный курс - Data Mining“ (http://www.intuit.ru/department/database/datamining/) "Data Mining - подготовка исходных данных“ (http://www.basegroup.ru/tasks/datamining_prepare.htm)

Слайд 18





Деревья решений. История и основные понятия.
Возникновение - 50-е годы (Ховиленд и Хант (Hoveland, Hunt) )
Метод также называют деревьями решающих правил, деревьями классификации и регрессии 
Это способ представления правил в иерархической, последовательной структуре
Описание слайда:
Деревья решений. История и основные понятия. Возникновение - 50-е годы (Ховиленд и Хант (Hoveland, Hunt) ) Метод также называют деревьями решающих правил, деревьями классификации и регрессии Это способ представления правил в иерархической, последовательной структуре

Слайд 19





Деревья решений. Пример 1.
Описание слайда:
Деревья решений. Пример 1.

Слайд 20





Деревья решений. Пример 2.
Описание слайда:
Деревья решений. Пример 2.

Слайд 21





Деревья решений. Преимущества метода.
Интуитивность деревьев решений 
Возможность извлекать правила из базы данных на естественном языке 
Не требует от пользователя выбора входных атрибутов 
Точность моделей 
Разработан ряд масштабируемых алгоритмов 
Быстрый процесс обучения 
Обработка пропущенных значений 
Работа и с числовыми, и с категориальными типами данных
Описание слайда:
Деревья решений. Преимущества метода. Интуитивность деревьев решений Возможность извлекать правила из базы данных на естественном языке Не требует от пользователя выбора входных атрибутов Точность моделей Разработан ряд масштабируемых алгоритмов Быстрый процесс обучения Обработка пропущенных значений Работа и с числовыми, и с категориальными типами данных

Слайд 22





Деревья решений. Процесс конструирования. 
Основные этапы алгоритмов конструирования деревьев: 
"построение" или "создание" дерева (tree building)
 "сокращение" дерева (tree pruning).
Описание слайда:
Деревья решений. Процесс конструирования. Основные этапы алгоритмов конструирования деревьев: "построение" или "создание" дерева (tree building) "сокращение" дерева (tree pruning).

Слайд 23





Деревья решений. Критерии расщепления.
"мера информационного выигрыша" (information gain measure) 
индекс Gini, т.е. gini(T), определяется по формуле:

Большое дерево не означает, что оно "подходящее"
Описание слайда:
Деревья решений. Критерии расщепления. "мера информационного выигрыша" (information gain measure) индекс Gini, т.е. gini(T), определяется по формуле: Большое дерево не означает, что оно "подходящее"

Слайд 24





Деревья решений. Остановка построения дерева.
Остановка - такой момент в процессе построения дерева, когда следует прекратить дальнейшие ветвления. 
Варианты остановки:
"ранняя остановка" (prepruning) 
ограничение глубины дерева 
задание минимального количества примеров
Описание слайда:
Деревья решений. Остановка построения дерева. Остановка - такой момент в процессе построения дерева, когда следует прекратить дальнейшие ветвления. Варианты остановки: "ранняя остановка" (prepruning) ограничение глубины дерева задание минимального количества примеров

Слайд 25





Деревья решений. Сокращение дерева или отсечение ветвей.
Критерии:
Точность распознавания 
Ошибка
Описание слайда:
Деревья решений. Сокращение дерева или отсечение ветвей. Критерии: Точность распознавания Ошибка

Слайд 26





Деревья решений. Алгоритмы. CART .
CART (Classification and Regression Tree) 
разработан в 1974-1984 годах четырьмя профессорами статистики - Leo Breiman (Berkeley), Jerry Friedman (Stanford), Charles Stone (Berkeley) и Richard Olshen (Stanford) 
CART предназначен для построения бинарного дерева решений. 
Особенности:
функция оценки качества разбиения; 
механизм отсечения дерева; 
алгоритм обработки пропущенных значений; 
построение деревьев регрессии.
Описание слайда:
Деревья решений. Алгоритмы. CART . CART (Classification and Regression Tree) разработан в 1974-1984 годах четырьмя профессорами статистики - Leo Breiman (Berkeley), Jerry Friedman (Stanford), Charles Stone (Berkeley) и Richard Olshen (Stanford) CART предназначен для построения бинарного дерева решений. Особенности: функция оценки качества разбиения; механизм отсечения дерева; алгоритм обработки пропущенных значений; построение деревьев регрессии.

Слайд 27





Деревья решений. Алгоритмы. C4.5 .
Строит дерево решений с неограниченным количеством ветвей у узла 
Дискретные значения => только классификация
Каждая запись набора данных ассоциирована с одним из предопределенных классов => один из атрибутов набора данных должен являться меткой класса. 
Количество классов должно быть значительно меньше количества записей в исследуемом наборе данных.
Описание слайда:
Деревья решений. Алгоритмы. C4.5 . Строит дерево решений с неограниченным количеством ветвей у узла Дискретные значения => только классификация Каждая запись набора данных ассоциирована с одним из предопределенных классов => один из атрибутов набора данных должен являться меткой класса. Количество классов должно быть значительно меньше количества записей в исследуемом наборе данных.

Слайд 28





Деревья решений. Перспективы метода и выводы.
Разработка новых масштабируемых алгоритмов (Sprint, предложенный Джоном Шафером) 
Метод деревьев - иерархическое, гибкое средство предсказания принадлежности объектов к определенному классу или прогнозирования значений числовых переменных. 
Качество работы зависит как от выбора алгоритма, так и от набора исследуемых данных. 
Чтобы построить качественную модель, необходимо понимать природу взаимосвязи между зависимыми и независимыми переменными и подготовить достаточный набор данных .
Описание слайда:
Деревья решений. Перспективы метода и выводы. Разработка новых масштабируемых алгоритмов (Sprint, предложенный Джоном Шафером) Метод деревьев - иерархическое, гибкое средство предсказания принадлежности объектов к определенному классу или прогнозирования значений числовых переменных. Качество работы зависит как от выбора алгоритма, так и от набора исследуемых данных. Чтобы построить качественную модель, необходимо понимать природу взаимосвязи между зависимыми и независимыми переменными и подготовить достаточный набор данных .

Слайд 29





Метод "ближайшего соседа" или системы рассуждений на основе аналогичных случаев.
Прецедент - это описание ситуации в сочетании с подробным указанием действий, предпринимаемых в данной ситуации. 
Этапы: 
сбор подробной информации о поставленной задаче;
сопоставление этой информации с деталями прецедентов, хранящихся в базе, для выявления аналогичных случаев;
выбор прецедента, наиболее близкого к текущей проблеме, из базы прецедентов;
адаптация выбранного решения к текущей проблеме, если это необходимо;
проверка корректности каждого вновь полученного решения;
занесение детальной информации о новом прецеденте в базу прецедентов.
Описание слайда:
Метод "ближайшего соседа" или системы рассуждений на основе аналогичных случаев. Прецедент - это описание ситуации в сочетании с подробным указанием действий, предпринимаемых в данной ситуации. Этапы: сбор подробной информации о поставленной задаче; сопоставление этой информации с деталями прецедентов, хранящихся в базе, для выявления аналогичных случаев; выбор прецедента, наиболее близкого к текущей проблеме, из базы прецедентов; адаптация выбранного решения к текущей проблеме, если это необходимо; проверка корректности каждого вновь полученного решения; занесение детальной информации о новом прецеденте в базу прецедентов.

Слайд 30





Метод "ближайшего соседа". Преимущества.
Простота использования полученных результатов.
Решения не уникальны для конкретной ситуации, возможно их использование для других случаев.
Целью поиска является не гарантированно верное решение, а лучшее из возможных.
Описание слайда:
Метод "ближайшего соседа". Преимущества. Простота использования полученных результатов. Решения не уникальны для конкретной ситуации, возможно их использование для других случаев. Целью поиска является не гарантированно верное решение, а лучшее из возможных.

Слайд 31





Метод "ближайшего соседа". Недостатки.
Данный метод не создает каких-либо моделей или правил, обобщающих предыдущий опыт
Cложность выбора меры "близости" (метрики). 
Высокая зависимость результатов классификации от выбранной метрики.
Необходимость полного перебора обучающей выборки при распознавании, следствие этого - вычислительная трудоемкость. 
Типичные задачи данного метода - это задачи небольшой размерности по количеству классов и переменных.
Описание слайда:
Метод "ближайшего соседа". Недостатки. Данный метод не создает каких-либо моделей или правил, обобщающих предыдущий опыт Cложность выбора меры "близости" (метрики). Высокая зависимость результатов классификации от выбранной метрики. Необходимость полного перебора обучающей выборки при распознавании, следствие этого - вычислительная трудоемкость. Типичные задачи данного метода - это задачи небольшой размерности по количеству классов и переменных.

Слайд 32





Метод "ближайшего соседа". Решение задачи классификации новых объектов.
Описание слайда:
Метод "ближайшего соседа". Решение задачи классификации новых объектов.

Слайд 33





Метод "ближайшего соседа". Решение задачи прогнозирования.
Описание слайда:
Метод "ближайшего соседа". Решение задачи прогнозирования.

Слайд 34





Метод "ближайшего соседа". Оценка параметра k методом кросс-проверки.
Кросс-проверка - известный метод получения оценок неизвестных параметров модели. 
Основная идея - разделение выборки данных на v "складок". V "складки" здесь суть случайным образом выделенные изолированные подвыборки.
Описание слайда:
Метод "ближайшего соседа". Оценка параметра k методом кросс-проверки. Кросс-проверка - известный метод получения оценок неизвестных параметров модели. Основная идея - разделение выборки данных на v "складок". V "складки" здесь суть случайным образом выделенные изолированные подвыборки.

Слайд 35





Метод "ближайшего соседа". Примеры использования и реализации.
Использование - программное обеспечение центра технической поддержки компании Dell, разработанное компанией Inference.
Реализация - CBR Express и Case Point (Inference Corp.), Apriori (Answer Systems), DP Umbrella (VYCOR Corp.), KATE tools (Acknosoft, Франция), Pattern Recognition Workbench (Unica, США), а также некоторые статистические пакеты, например, Statistica.
Описание слайда:
Метод "ближайшего соседа". Примеры использования и реализации. Использование - программное обеспечение центра технической поддержки компании Dell, разработанное компанией Inference. Реализация - CBR Express и Case Point (Inference Corp.), Apriori (Answer Systems), DP Umbrella (VYCOR Corp.), KATE tools (Acknosoft, Франция), Pattern Recognition Workbench (Unica, США), а также некоторые статистические пакеты, например, Statistica.

Слайд 36





?
Вопросы??
Описание слайда:
? Вопросы??



Теги Data Mining
Похожие презентации
Mypresentation.ru
Загрузить презентацию