🗊Презентация Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки

Категория: Математика
Нажмите для полного просмотра!
Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки, слайд №1Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки, слайд №2Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки, слайд №3Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки, слайд №4Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки, слайд №5Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки, слайд №6Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки, слайд №7Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки, слайд №8Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки, слайд №9Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки, слайд №10Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки, слайд №11Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки, слайд №12Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки, слайд №13Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки, слайд №14Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки, слайд №15Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки, слайд №16Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки, слайд №17Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки, слайд №18
Скачать
Вы можете ознакомиться и скачать презентацию на тему Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки. Доклад-сообщение содержит 18 слайдов. Презентации для любого класса можно скачать бесплатно. Если материал и наш сайт презентаций Mypresentation Вам понравились – поделитесь им с друзьями с помощью социальных кнопок и добавьте в закладки в своем браузере.

Слайды и текст этой презентации

Слайд 1


Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки, слайд №1
Описание слайда:

Слайд 2


Цель– представить наблюдаемые данные в компактной и простой форме, позволяющей выявить имеющиеся закономерности и связи Цель– представить наблюдаемые данные в компактной и простой форме, позволяющей выявить имеющиеся закономерности и связи Разведочный анализ данных (РАД) включает: преобразование данных и способы наглядного их представления выявление аномальных значений грубая оценка типа распределения сглаживание
Описание слайда:
Цель– представить наблюдаемые данные в компактной и простой форме, позволяющей выявить имеющиеся закономерности и связи Цель– представить наблюдаемые данные в компактной и простой форме, позволяющей выявить имеющиеся закономерности и связи Разведочный анализ данных (РАД) включает: преобразование данных и способы наглядного их представления выявление аномальных значений грубая оценка типа распределения сглаживание

Слайд 3


Какой обработке подвергнуть наблюдения? Какую модель выбрать? Какие заключения можно сделать?
Описание слайда:
Какой обработке подвергнуть наблюдения? Какую модель выбрать? Какие заключения можно сделать?

Слайд 4


Разведочный анализ (Exploratory data analysis) – средство получения более полной информации об изучаемом явлении Разведочный анализ (Exploratory data analysis) – средство получения более полной информации об изучаемом явлении Наблюдения n пар (x1,Y1), …, (xn,Yn) опишем уравнением (1) Минимальный предварительный анализ - график рассеяния точек (xj,Yj).
Описание слайда:
Разведочный анализ (Exploratory data analysis) – средство получения более полной информации об изучаемом явлении Разведочный анализ (Exploratory data analysis) – средство получения более полной информации об изучаемом явлении Наблюдения n пар (x1,Y1), …, (xn,Yn) опишем уравнением (1) Минимальный предварительный анализ - график рассеяния точек (xj,Yj).

Слайд 5


Оценка - истинного среднего m независимой случайной величины x по выборке объема n Оценка - истинного среднего m независимой случайной величины x по выборке объема n Доверительный интервал: t-распределение Стьюдента: 95%-е доверительные интервалы Для нормального распределения t = 1,96, Для t-распределения при числе степеней свободы v (v = n – 1), равных 1; 3 и 12, величина t, соответственно, равна 12,7; 4,3 и 2,18.
Описание слайда:
Оценка - истинного среднего m независимой случайной величины x по выборке объема n Оценка - истинного среднего m независимой случайной величины x по выборке объема n Доверительный интервал: t-распределение Стьюдента: 95%-е доверительные интервалы Для нормального распределения t = 1,96, Для t-распределения при числе степеней свободы v (v = n – 1), равных 1; 3 и 12, величина t, соответственно, равна 12,7; 4,3 и 2,18.

Слайд 6


Большинство измерений проводится в конкретных единицах Большинство измерений проводится в конкретных единицах Резкая асимметрия некоторых распределений (например,2, F) при малых выборках, обрывистые края у равномерного распределения Поведение на «хвостах» распределения, которое существенно отличается от значений основного количества наблюдений
Описание слайда:
Большинство измерений проводится в конкретных единицах Большинство измерений проводится в конкретных единицах Резкая асимметрия некоторых распределений (например,2, F) при малых выборках, обрывистые края у равномерного распределения Поведение на «хвостах» распределения, которое существенно отличается от значений основного количества наблюдений

Слайд 7


Робастные оценки - robust – крепкий, здоровый, Робастные оценки - robust – крепкий, здоровый, Пример робастной оценки среднего, терпимой к отклонению хвостов распределения от нормального - медиана распределения
Описание слайда:
Робастные оценки - robust – крепкий, здоровый, Робастные оценки - robust – крепкий, здоровый, Пример робастной оценки среднего, терпимой к отклонению хвостов распределения от нормального - медиана распределения

Слайд 8


среднеквадратическое отклонение  среднеквадратическое отклонение  дисперсия 2 размах R Оценки этих величин обозначают, соответственно, S, S2, R Оценка разброса по S – в линейных преобразованиях типа Y =  + X
Описание слайда:
среднеквадратическое отклонение  среднеквадратическое отклонение  дисперсия 2 размах R Оценки этих величин обозначают, соответственно, S, S2, R Оценка разброса по S – в линейных преобразованиях типа Y =  + X

Слайд 9


Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки, слайд №9
Описание слайда:

Слайд 10


Простая перепроверка. Проверка полученной модели на данных, отличных от тех, по которым определены параметры модели Простая перепроверка. Проверка полученной модели на данных, отличных от тех, по которым определены параметры модели Двойная перепроверка. Проверка на данных отличных, как от тех, по которым строилась модель, так и от тех, которые использованы для вычисления параметров модели
Описание слайда:
Простая перепроверка. Проверка полученной модели на данных, отличных от тех, по которым определены параметры модели Простая перепроверка. Проверка полученной модели на данных, отличных от тех, по которым определены параметры модели Двойная перепроверка. Проверка на данных отличных, как от тех, по которым строилась модель, так и от тех, которые использованы для вычисления параметров модели

Слайд 11


Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки, слайд №11
Описание слайда:

Слайд 12


Пусть выборка изучаемой совокупности x1, …, xn, содержит элементы двух независимых случайных величин с плотностями распределений f(x,1) и f(x,2). Пусть выборка изучаемой совокупности x1, …, xn, содержит элементы двух независимых случайных величин с плотностями распределений f(x,1) и f(x,2). Обозначим через А – множество элементов выборки, принадлежащих к первой случайной величине, В – множество элементов выборки из второй совокупности. Требуется найти оценки неизвестных параметров 1, 2 и множества А и В. Для оценки этих четырех неизвестных используем метод максимума правдоподобия
Описание слайда:
Пусть выборка изучаемой совокупности x1, …, xn, содержит элементы двух независимых случайных величин с плотностями распределений f(x,1) и f(x,2). Пусть выборка изучаемой совокупности x1, …, xn, содержит элементы двух независимых случайных величин с плотностями распределений f(x,1) и f(x,2). Обозначим через А – множество элементов выборки, принадлежащих к первой случайной величине, В – множество элементов выборки из второй совокупности. Требуется найти оценки неизвестных параметров 1, 2 и множества А и В. Для оценки этих четырех неизвестных используем метод максимума правдоподобия

Слайд 13


Причины: Причины: грубые ошибки при регистрации измерений, случайные импульсные помехи, сбои оборудования, измерения в ошибочных единицах и др.
Описание слайда:
Причины: Причины: грубые ошибки при регистрации измерений, случайные импульсные помехи, сбои оборудования, измерения в ошибочных единицах и др.

Слайд 14


Пусть наблюдения x1, …, xn являются реализациями независимых случайных величин, подчиняющихся одинаковому нормальному N(,2) распределению Пусть наблюдения x1, …, xn являются реализациями независимых случайных величин, подчиняющихся одинаковому нормальному N(,2) распределению Основная гипотеза H0: Mxi = , Dxi = 2, i = 1, …, n. Альтернативная гипотеза H1 : одна или несколько величин имеют среднее  + d
Описание слайда:
Пусть наблюдения x1, …, xn являются реализациями независимых случайных величин, подчиняющихся одинаковому нормальному N(,2) распределению Пусть наблюдения x1, …, xn являются реализациями независимых случайных величин, подчиняющихся одинаковому нормальному N(,2) распределению Основная гипотеза H0: Mxi = , Dxi = 2, i = 1, …, n. Альтернативная гипотеза H1 : одна или несколько величин имеют среднее  + d

Слайд 15


При построении критерия возможны варианты, зависящие от степени информации о  и . При построении критерия возможны варианты, зависящие от степени информации о  и . Рассмотрим случай, когда значения  и  неизвестны. Критериальная статистика: Распределение величины Dn получены К. Пирсоном и Н.В. Смирновым. Критические значения Dn, вычислены Н.В. Смирновым и Ф. Граббсом H0 - Dn < D - наблюдение не является аномальным H1 - Dn > D - наблюдение является аномальным
Описание слайда:
При построении критерия возможны варианты, зависящие от степени информации о  и . При построении критерия возможны варианты, зависящие от степени информации о  и . Рассмотрим случай, когда значения  и  неизвестны. Критериальная статистика: Распределение величины Dn получены К. Пирсоном и Н.В. Смирновым. Критические значения Dn, вычислены Н.В. Смирновым и Ф. Граббсом H0 - Dn < D - наблюдение не является аномальным H1 - Dn > D - наблюдение является аномальным

Слайд 16


Для данных с неправдоподобными наблюдениями использовать робастные процедуры оценивания Для данных с неправдоподобными наблюдениями использовать робастные процедуры оценивания Существенно выделяющиеся данные обнаруживать, преобразовывать и удалять, при этом интерпретировать, привлекая знания, не относящиеся к статистической природе Процедуры удаления существенно выделяющихся и подозрительно больших наблюдений с последующим оцениванием близких к робастным оценкам
Описание слайда:
Для данных с неправдоподобными наблюдениями использовать робастные процедуры оценивания Для данных с неправдоподобными наблюдениями использовать робастные процедуры оценивания Существенно выделяющиеся данные обнаруживать, преобразовывать и удалять, при этом интерпретировать, привлекая знания, не относящиеся к статистической природе Процедуры удаления существенно выделяющихся и подозрительно больших наблюдений с последующим оцениванием близких к робастным оценкам

Слайд 17


Процедура «стебель с листьями» (Stem-and-Leaf) Процедура «стебель с листьями» (Stem-and-Leaf) 250 688 695 795 795 895 895 895 1099 1166 1333 1499 1693 1699 1775 1895 Три вида записи «стебля с листьями» цен на 17 автомобилей «Шевроле»: а – единица = 100 $; б – единица = 10 $; в – единица = 100 $
Описание слайда:
Процедура «стебель с листьями» (Stem-and-Leaf) Процедура «стебель с листьями» (Stem-and-Leaf) 250 688 695 795 795 895 895 895 1099 1166 1333 1499 1693 1699 1775 1895 Три вида записи «стебля с листьями» цен на 17 автомобилей «Шевроле»: а – единица = 100 $; б – единица = 10 $; в – единица = 100 $

Слайд 18


А.А.Большаков, Р.Н.Каримов «Методы обработки многомерных данных и временных рядов» Москва 2007 г. А.А.Большаков, Р.Н.Каримов «Методы обработки многомерных данных и временных рядов» Москва 2007 г. Электронный учебник StatSoft по анализу данных.
Описание слайда:
А.А.Большаков, Р.Н.Каримов «Методы обработки многомерных данных и временных рядов» Москва 2007 г. А.А.Большаков, Р.Н.Каримов «Методы обработки многомерных данных и временных рядов» Москва 2007 г. Электронный учебник StatSoft по анализу данных.

Скачать

Похожие презентации
Mypresentation.ru
Загрузить презентацию