🗊Презентация Проверка статистических гипотез

Проверка статистических гипотез Лекция №5 для студентов 2 курса, обучающихся по специальности 060609 – Медицинская кибернетика доц. Шапиро Л.А. Красноярск, 2015 г.

План лекции: Актуальность темы. Общие понятия в теории проверки гипотез. Ошибки 1 и 2 рода. Подходы к сравнению критериев. Минимаксный подход. Байесовский подход. Построение оптимальных критериев. Критерий отношения правдоподобия Сравнение эмпирических и теоретических распределений. Заключение

Актуальность темы. Одним из наиболее важных разделов математической статистики является проверка статистических гипотез.

Проверка статистических гипотез Статистической называется гипотеза о виде неизвестного распределения или о параметрах известных распределений, формулируемая на основе выборки. Примеры статистических гипотез: генеральная совокупность распределена по нормальному закону; математические ожидания двух выборок из генеральной совокупности равны. Гипотезы формулируются только для параметров генеральной совокупности

Гипотезы, в основе которых нет никаких допущений о конкретном виде закона распределения, называют непараметрическими, в противном случае – параметрическими. Гипотезы, в основе которых нет никаких допущений о конкретном виде закона распределения, называют непараметрическими, в противном случае – параметрическими. Гипотезу, утверждающую, что различие между сравниваемыми характеристиками отсутствует, а наблюдаемые отклонения объясняются лишь случайными колебаниями в выборках, на основании которых производится сравнение, называют нулевой (основной) гипотезой (Н0). Наряду с основной гипотезой рассматривают и альтернативную (конкурирующую, противоречащую) ей гипотезу Н1. И если нулевая гипотеза будет отвергнута, то будет иметь место альтернативная гипотеза.

Гипотезу называют простой, если она однозначно характеризует параметр распределения случайной величины. Например, если  является параметром экспоненциального распределения, то гипотеза Н0 о равенстве  =10 – простая гипотеза. Гипотезу называют простой, если она однозначно характеризует параметр распределения случайной величины. Например, если  является параметром экспоненциального распределения, то гипотеза Н0 о равенстве  =10 – простая гипотеза. Сложной называют гипотезу, которая состоит из конечного или бесконечного множества простых гипотез. Гипотеза Н0 о том, что математическое ожидание нормального распределения равно двум при неизвестной дисперсии, является сложной.

Проверка гипотезы основывается на вычислении некоторой случайной величины – критерия, точное или приближенное распределение которого известно. Обозначим эту величину через K, ее значение является функцией от элементов выборки Проверка гипотезы основывается на вычислении некоторой случайной величины – критерия, точное или приближенное распределение которого известно. Обозначим эту величину через K, ее значение является функцией от элементов выборки K=K(x1, x2, …, xn). Процедура проверки гипотезы предписывает каждому значению критерия одно из двух решений – принять или отвергнуть гипотезу. Тем самым все выборочное пространство и соответственно множество значений критерия делятся на два непересекающихся подмножества S0 и S1. Если значение критерия K попадает в область S0, то гипотеза принимается, а если в область S1, – гипотеза отклоняется.

Множество S0 называется областью принятия гипотезы или областью допустимых значений, а множество S1 – областью отклонения гипотезы или критической областью. Выбор одной области однозначно определяет и другую область. Множество S0 называется областью принятия гипотезы или областью допустимых значений, а множество S1 – областью отклонения гипотезы или критической областью. Выбор одной области однозначно определяет и другую область.

Двусторонней называют критическую область, определяемую неравенством: Двусторонней называют критическую область, определяемую неравенством: K<k1, K>k2, k2>k1 Правосторонней называют критическую область, определяемую неравенством K>kкр, kкр>0 Левосторонней называют критическую область, определяемую неравенством K<kкр, kкр<0

Принятие или отклонение гипотезы Н0 по случайной выборке соответствует истине с некоторой вероятностью и, соответственно, возможны два рода ошибок. Принятие или отклонение гипотезы Н0 по случайной выборке соответствует истине с некоторой вероятностью и, соответственно, возможны два рода ошибок. Ошибка первого рода возникает с вероятностью  тогда, когда отвергается верная гипотеза Н0 и принимается конкурирующая гипотеза Н1. Ошибка второго рода возникает с вероятностью  в том случае, когда принимается неверная гипотеза Н0, в то время как справедлива конкурирующая гипотеза Н1.

Доверительная вероятность – это вероятность не совершить ошибку первого рода и принять верную гипотезу Н0. Вероятность отвергнуть ложную гипотезу Н0 называется мощностью критерия. Доверительная вероятность – это вероятность не совершить ошибку первого рода и принять верную гипотезу Н0. Вероятность отвергнуть ложную гипотезу Н0 называется мощностью критерия.

Алгоритм проверки статистических гипотез Располагая выборочными данными (x1, x2, …, xn) формулируют нулевую гипотезу (Н0) и конкурирующую гипотезу (Н1). Задают уровень значимости (ошибка 1 рода). Рассматривается выборочная статистика наблюдений (критерий К) На основании выборки (x1, x2, …, xn) определяют эмпирическое значение критерия (Кэмп) В зависимости от вида альтернативной гипотезы по соответствующей таблице выбирают квантили критерия для двусторонней или односторонней критической области (Ккр) Если значения критерия попадают в критическую область (Кэмп> Ккр), то нулевая гипотеза отвергается и принимается альтернативная гипотеза H1. Если значения критерия Кэмп< Ккр, нулевая гипотеза не отвергается.

Подходы к сравнению критериев

C ростом числа b вероятность ошибки первого рода  уменьшается, но вероятность ошибки второго рода  растёт. Общая тенденция: при попытке уменьшить одну из вероятностей ошибок другая, как правило, увеличивается. C ростом числа b вероятность ошибки первого рода  уменьшается, но вероятность ошибки второго рода  растёт. Общая тенденция: при попытке уменьшить одну из вероятностей ошибок другая, как правило, увеличивается. Рис1. Две простые гипотезы.

П р и м е р. Пусть любое изделие некоторого производства оказывается браком с вероятностью p. Контроль продукции допускает ошибки: годное изделие бракует с вероятностью , а бракованное пропускает (признаёт годным) с вероятностью . П р и м е р. Пусть любое изделие некоторого производства оказывается браком с вероятностью p. Контроль продукции допускает ошибки: годное изделие бракует с вероятностью , а бракованное пропускает (признаёт годным) с вероятностью . Если ввести для проверяемого изделия гипотезы H1 = {изделие годное} и H2 = {изделие бракованное}, а критерием выбора одной из них считать контроль продукции, то  -вероятность ошибки первого рода этого критерия, а  -второго рода:  = PH1(K = H2) = P(контроль забраковал годное изделие);  = PH2(K = H1) = P(контроль пропустил бракованное изделие); Упражнение. Вычислить вероятности ошибок первого и второго рода того же критерия, если гипотезы занумеровать иначе: H1 = изделие бракованное, H2 = изделие годное.

Подходы к сравнению критериев Пусть сравниваем две простые гипотезы. Имеется два критерия с вероятностями ошибок 1 и 2 рода: (К1), (К1) и (К2), (К2). Минимаксный подход. Говорят, что критерий К1 не хуже К2 в смысле минимаксного подхода, если: max{ (К1), (К1)} max{ (К2), (К2)} Минимаксный критерий имеет самую маленькую «наибольшую ошибку» max{ (К1), (К1)} среди всех критериев.

Байесовский подход. Байесовский подход. Этот подход применяют в двух случаях: а) если известно априори, что с вероятностью r справедлива гипотеза H1, а с вероятностью s=1- r -гипотеза H2, б) если задана «линейная функция потерь»: потери от ошибочного решения равны r если происходит ошибка 1 рода и s - если второго. r + s не обязательно равно 1, но потери можно свести к 1 нормировкой r'=r/(r+s) s'=s/(r+s). Пусть априорные вероятности или потери заданы. Говорят, что критерий К1 не хуже К2 в смысле байесовского подхода, если: r(К1)+s(К1) r (К2)+s (К2) Байесовский критерий имеет самую маленькую «средневзвешенную ошибку» r(К1)+s(К1) среди всех прочих критериев.

По формуле полной вероятности это есть вероятность ошибки критерия в случае а) или математическое ожидание потерь в случае б). По формуле полной вероятности это есть вероятность ошибки критерия в случае а) или математическое ожидание потерь в случае б). Выбор наиболее мощного критерия (НМК). Ошибки 1 и 2 рода не равноправны. Если зафиксировать ошибку 1 рода, то лучшим будет считаться критерий с наименьшей ошибкой 2 рода. Построение оптимальных критериев. Оптимальные во всех трех смыслах (минимаксные, байесовские и наиболее мощные) критерии могут быть построены в самом общем случае простым выбором различных констант в одном и том же критерии - критерии отношения правдоподобия.

Критерий отношения правдоподобия Пусть имеется выборка X=X1, X2, … , Xn (набор независимых, одинаково распределенных величин), и имеются две гипотезы о распределении Xi: H1- Xi имеют распределение F1 H2- Xi имеют распределение F2. Оба распределения либо дискретны, либо непрерывны Соответствующие функции правдоподобия (ф.п.=плотность распределения выборки)

Сравнение эмпирических и теоретических распределений Нулевая гипотеза (Н0)- эмпирическое распределение студентов по росту не отличается от нормального распределения Выбираем уровень значимости для проверки гипотезы =0,05 (5% ошибки) Гипотезу проверяем по критерию tэмп для коэффициентов асимметрии и эксцесса По таблице вероятностей для нормального распределения выбираем квантиль критерия для двусторонней критической области (tкр=1,96) Если значения критерия попадают в критическую область (tэмп > 1,96), то нулевая гипотеза отвергается и принимается альтернативная гипотеза H1. Если значения критерия tэмп < 1,96, нулевая гипотеза не отвергается. Распределение студентов по росту не отличается от нормального распределения

Коэффициенты асимметрии и эксцесса:

Ошибки коэффициентов асимметрии и эксцесса (n=50): Ошибки коэффициентов асимметрии и эксцесса (n=50):

Вывод: т.к. 0,56<1,96 и 0,24<1,96 Вывод: т.к. 0,56<1,96 и 0,24<1,96 Нулевая гипотеза не отвергается – распределение студентов по росту соответствует нормальному закону с уровнем ошибки 0,05 (5%).

Критерии согласия

Сравнение теоретических и экспериментальных распределений по: Сравнение теоретических и экспериментальных распределений по: а) критерию Колмогорова – Смирнова, б) критерию Пирсона. Пунктирная линия – эмпирическое распределение, сплошная – теоретическое распределение.

Проверка гипотезы о нормальном распределении генеральной совокупности по критерию 2 . Для проверки гипотезы будем сравнивать эмпирические mi (наблюдаемые) и теоретические npi (вычисленные в предположении нормального распределения) частоты. В качестве критерия проверки нулевой гипотезы принимаем случайную величину 2 : Затем по таблице критических точек распределения 2 (таблица Приложения) по заданному уровню значимости  и числу степеней свободы найдем критическое значение 2кр.(,df). Если 2эмп.2кр.(,df), то считаем, что данный критерий оснований для отклонения гипотезы не дает, а в противном случае считаем, что гипотеза не согласуется с экспериментальными данными и ее надо отвергнуть.

Критерий Пирсона где mi – экспериментальные частоты попадания значения случайной величины в интервал, npi – теоретические частоты.

Вероятность попадания значения случайной величины в интервал от а до b:

Критерий 2

Число степеней свободы – это общее число величин, по которым вычисляются соответствующие статистические показатели, минус число тех условий, которые связывают эти величины, то есть уменьшают возможности вариации между ними. Число степеней свободы определяется по следующей формуле: Число степеней свободы – это общее число величин, по которым вычисляются соответствующие статистические показатели, минус число тех условий, которые связывают эти величины, то есть уменьшают возможности вариации между ними. Число степеней свободы определяется по следующей формуле: df=k–r–1, где k – число интервалов, r – число параметров предполагаемого распределения. Для нашего случая r=2, следовательно, df=k–3. По заданному уровню значимости () и числу степеней свободы df, находим критическое значение 2кр (,df).

2кр (=0,05,df=2)=5,99 2кр (=0,05,df=2)=5,99 1,68<5,99 Нулевая гипотеза не отвергается. Распределение студентов по росту подчиняется нормальному закону. Допущения: Число интервалов =5 и более minα, в противном случае интервалы можно объединить с соседними

Заключение Нами рассмотрены: Основные положения проверки статистических гипотез. Принципы построения оптимальных критериев. Примеры проверки гипотезы о законе распределения по критерию асимметрии и эксцесса и критерию 2.

РЕКОМЕНДУЕМАЯ ЛИТЕРАТУРА: Основная литература: Попов А.М. Теория вероятней и математическая статистика /А.М. Попов, В.Н. Сотников. – М.: ЮРАЙТ, 2011. – 440 с. Гмурман В. Е. Теория вероятностей и математическая статистика: учебное пособие / В.Е. Гмурман. – М. : Высш. шк., 2011. – 479 с. Гмурман В. Е. Руководство к решению задач по теории вероятностей и математической статистике / В.Е. Гмурман. – М. : Высш. шк., 2011. – 404 с. Балдин К. В. Основы теории вероятностей и математической статистики : учебник / К. В. Балдин. – М. : Флинта, 2010. – 488с. Учебно–методические пособия: Шапиро Л.А., Шилина Н.Г. Руководство к практическим занятиям по медицинской и биологической статистике Красноярск: ООО «Поликом». – 2003.

БЛАГОДАРЮ ЗА ВНИМАНИЕ