🗊Презентация Закон больших чисел. Предельные теоремы

ЛЕКЦИЯ 5 ЛЕКЦИЯ 5

Повторение пройденного Повторение пройденного

Часть 1 - ГЛАВА 9. ЗАКОН БОЛЬШИХ ЧИСЕЛ. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ

При статистическом определении вероятности она трактуется как некоторое число, к которому стремится относительная частота случайного события. При аксиоматическом определении вероятность – это, по сути, аддитивная мера множества исходов, благоприятствующих случайному событию. В первом случае имеем дело с эмпирическим пределом, во втором – с теоретическим понятием меры. Совсем не очевидно, что они относятся к одному и тому же понятию. Связь разных определений вероятности устанавливает теорема Бернулли, являющаяся частным случаем закона больших чисел. При статистическом определении вероятности она трактуется как некоторое число, к которому стремится относительная частота случайного события. При аксиоматическом определении вероятность – это, по сути, аддитивная мера множества исходов, благоприятствующих случайному событию. В первом случае имеем дело с эмпирическим пределом, во втором – с теоретическим понятием меры. Совсем не очевидно, что они относятся к одному и тому же понятию. Связь разных определений вероятности устанавливает теорема Бернулли, являющаяся частным случаем закона больших чисел.

При увеличении числа испытаний биномиальный закон стремится к нормальному распределению. Это теорема Муавра–Лапласа, которая является частным случаем центральной предельной теоремы. Последняя гласит, что функция распределения суммы независимых случайных величин с ростом числа слагаемых стремится к нормальному закону. При увеличении числа испытаний биномиальный закон стремится к нормальному распределению. Это теорема Муавра–Лапласа, которая является частным случаем центральной предельной теоремы. Последняя гласит, что функция распределения суммы независимых случайных величин с ростом числа слагаемых стремится к нормальному закону. Закон больших чисел и центральная предельная теорема лежат в основании математической статистики.

9.1. Неравенство Чебышева Пусть случайная величина ξ имеет конечные математическое ожидание M[ξ] и дисперсию D[ξ]. Тогда для любого положительного числа ε справедливо неравенство:

Примечания Для противоположного события: Неравенство Чебышева справедливо для любого закона распределения. Положив , получаем нетривиальный факт:

9.2. Закон больших чисел в форме Чебышева Теорема Пусть случайные величины попарно независимы и имеют конечные дисперсии, ограниченные одной и той же постоянной Тогда для любого имеем Таким образом, закон больших чисел говорит о сходимости по вероятности среднего арифметиче-ского случайных величин (т. е. случайной величины) к среднему арифметическому их мат. ожиданий (т. е. к не случайной величине).

9.2. Закон больших чисел в форме Чебышева: дополнение Теорема (Маркова): закон больших чисел выполняется, если дисперсия суммы случайных величин растет не слишком быстро с ростом n:

9.3. Теорема Бернулли Теорема: Рассмотрим схему Бернулли. Пусть μn – число наступлений события А в n независимых испытаниях, р – вероят-ность наступления события А в одном испытании. Тогда для любого Т.е. вероятность того, что отклонение относительной частоты случайного события от его вероятности р будет по модулю сколь угодно мало, оно стремится к единице с ростом числа испытаний n.

Доказательство: Случайная величина μn распределена по биномиальному закону, поэтому имеем Доказательство: Случайная величина μn распределена по биномиальному закону, поэтому имеем

9.4. Характеристические функции Характеристической функцией случайной величины называется функция где exp(x) = ex. Таким образом, представляет собой математическое ожидание некоторой комплексной случайной величины связанной с величиной . В частности, если – дискретная случайная величина, заданная рядом распределения {xi, pi}, где i = 1, 2,..., n, то

Для непрерывной случайной величины с плотностью распределения вероятности Для непрерывной случайной величины с плотностью распределения вероятности

9.5. Центральная предельная теорема (теорема Ляпунова)

Повторили пройденное Повторили пройденное

ОСНОВЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ И МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ ЧАСТЬ II. МАТЕМАТИЧЕСКАЯ СТАТИСТИКА

Эпиграф «Существует три вида лжи: ложь, наглая ложь и статистика» Бенджамин Дизраэли

Введение Две основные задачи математической статистики: сбор и группировка статистических данных; разработка методов анализа полученных данных в зависимости от целей исследования.

Методы статистического анализа данных: оценка неизвестной вероятности события; оценка неизвестной функции распределения; оценка параметров известного распределения; проверка статистических гипотез о виде неизвестного распределения или о значениях параметров известного распределения.

ГЛАВА 1. ОСНОВНЫЕ ПОНЯТИЯ МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ

1.1. Генеральная совокупность и выборка Генеральная совокупность - все множество исследуемых объектов, Выборка – набор объектов, случайно отобранных из генеральной совокупности для исследования. Объем генеральной совокупности и объем выборки - число объектов в гене-ральной совокупности и выборке - будем обозначать соответственно как N и n.

Выборка бывает повторной, когда каждый отобранный объект перед выбором следующего возвращается в генеральную совокупность, и бесповторной, если отобранный объект в генеральную совокупность не возвращается. Выборка бывает повторной, когда каждый отобранный объект перед выбором следующего возвращается в генеральную совокупность, и бесповторной, если отобранный объект в генеральную совокупность не возвращается.

Репрезентативная выборка: правильно представляет особенности генеральной совокупности, т.е. является репрезентативной (представительной). По закону больших чисел, можно утверждать, что это условие выполняется, если: 1) объем выборки n достаточно большой; 2) каждый объект выборки выбран случайно; 3) для каждого объекта вероятность попасть в выборку одинакова.

Генеральная совокупность и выборка могут быть одномерными (однофакторными) Генеральная совокупность и выборка могут быть одномерными (однофакторными) и многомерными (многофакторными)

1.2. Выборочный закон распределения (статистический ряд) Пусть в выборке объемом n интересующая нас случайная величина ξ (какой-либо параметр объектов генеральной совокупности) принимает n1 раз значение x1, n2 раза – значение x2,... и nk раз – значение xk. Тогда наблюдаемые значения x1, x2,..., xk случайной величины ξ называются вариантами, а n1, n2,..., nk – их частотами.

Разность xmax – xmin есть размах выборки, отношение ωi = ni /n – относительная частота варианты xi. Разность xmax – xmin есть размах выборки, отношение ωi = ni /n – относительная частота варианты xi. Очевидно, что

Если мы запишем варианты в возраста-ющем порядке, то получим вариацион-ный ряд. Таблица, состоящая из таких упорядоченных вариант и их частот (и/или относительных частот) называется статистическим рядом или выборочным законом распределения. Если мы запишем варианты в возраста-ющем порядке, то получим вариацион-ный ряд. Таблица, состоящая из таких упорядоченных вариант и их частот (и/или относительных частот) называется статистическим рядом или выборочным законом распределения. -- Аналог закона распределения дискретной случайной величины в теории вероятности

Если вариационный ряд состоит из очень большого количества чисел или исследуется некоторый непрерывный признак, используют группированную выборку. Для ее получения интервал, в котором заключены все наблюдаемые значения признака, разбивают на несколько обычно равных частей (подинтервалов) длиной h. При составлении статистического ряда в качестве xi обычно выбирают середины подинтервалов, а ni приравнивают числу вариант, попавших в i-й подинтервал. Если вариационный ряд состоит из очень большого количества чисел или исследуется некоторый непрерывный признак, используют группированную выборку. Для ее получения интервал, в котором заключены все наблюдаемые значения признака, разбивают на несколько обычно равных частей (подинтервалов) длиной h. При составлении статистического ряда в качестве xi обычно выбирают середины подинтервалов, а ni приравнивают числу вариант, попавших в i-й подинтервал.

1.3. Полигон частот, выборочная функция распределения Отложим значения случайной величины xi по оси абсцисс, а значения ni – по оси ординат. Ломаная линия, отрезки которой соединяют точки с координатами (x1, n1), (x2, n2),..., (xk, nk), называется полигоном частот. Если вместо абсолютных значений ni на оси ординат отложить относительные частоты ωi, то получим полигон относительных частот

По аналогии с функцией распределения дискретной случайной величины по выборочному закону распределения можно построить выборочную (эмпирическую) функцию распределения По аналогии с функцией распределения дискретной случайной величины по выборочному закону распределения можно построить выборочную (эмпирическую) функцию распределения где суммирование выполняется по всем частотам, которым соответствуют значения вариант, меньшие x. Заметим, что эмпирическая функция распределения зависит от объема выборки n.

В отличие от функции ,найденной для случайной величины ξ опытным путем в результате обработки статис-тических данных, истинную функцию распределения ,связанную с генеральной совокупностью, называют теоретической. (Обычно генеральная совокупность настолько велика, что обработать ее всю невозможно, т.е. исследовать ее можно только теоретически). В отличие от функции ,найденной для случайной величины ξ опытным путем в результате обработки статис-тических данных, истинную функцию распределения ,связанную с генеральной совокупностью, называют теоретической. (Обычно генеральная совокупность настолько велика, что обработать ее всю невозможно, т.е. исследовать ее можно только теоретически).

Заметим, что: Заметим, что:

1.4. Свойства эмпирической функции распределения Ступенчатый вид

Еще одним графическим представлением интересующей нас выборки является гистограмма – ступенчатая фигура, состоящая из прямоугольников, основани-ями которых служат подинтервалы шириной h, а высотами – отрезки длиной ni/h (гистограмма частот) или ωi/h (гистограмма относительных частот). Еще одним графическим представлением интересующей нас выборки является гистограмма – ступенчатая фигура, состоящая из прямоугольников, основани-ями которых служат подинтервалы шириной h, а высотами – отрезки длиной ni/h (гистограмма частот) или ωi/h (гистограмма относительных частот). В первом случае площадь гистограм- мы равна объему выборки n, во втором – единице

Пример

ГЛАВА 2. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ ВЫБОРКИ

Задача математической статистики – по имеющейся выборке получить информацию о генеральной совокупности. Числовые характерис-тики репрезентативной выборки -- оценка соответствующих характеристик исследуемой случайной величины, связанной с генеральной совокупностью. Задача математической статистики – по имеющейся выборке получить информацию о генеральной совокупности. Числовые характерис-тики репрезентативной выборки -- оценка соответствующих характеристик исследуемой случайной величины, связанной с генеральной совокупностью.

2.1. Выборочное среднее и выборочная дисперсия, эмпирические моменты Выборочным средним называется среднее арифметическое значений вариант в выборке Выборочное среднее используется для статистической оценки математического ожидания исследуемой случайной величины.

Выборочной дисперсией называется величина, равная Выборочной дисперсией называется величина, равная Выборочным средним квадратическим отклонением –

Легко показать, что выполняется следующее соотношение, удобное для вычисления дисперсии: Легко показать, что выполняется следующее соотношение, удобное для вычисления дисперсии:

Другими характеристиками вариационного ряда являются: мода M0 – варианта, имеющая наибольшую частоту, и медиана me – варианта, которая делит вариационный ряд на две части, равные числу вариант. Другими характеристиками вариационного ряда являются: мода M0 – варианта, имеющая наибольшую частоту, и медиана me – варианта, которая делит вариационный ряд на две части, равные числу вариант. 2, 5, 2, 11, 5, 6, 3, 13, 5 (мода = 5) 2, 2, 3, 5, 5, 5, 6, 11,13 (медиана = 5)

По аналогии с соответствующими теоретическими выражениями можно построить эмпирические моменты, применяемые для статистической оценки начальных и центральных моментов исследуемой случайной величины. По аналогии с соответствующими теоретическими выражениями можно построить эмпирические моменты, применяемые для статистической оценки начальных и центральных моментов исследуемой случайной величины.

По аналогии с моментами теории вероятностей начальным эмпирическим моментом порядка m называется величина По аналогии с моментами теории вероятностей начальным эмпирическим моментом порядка m называется величина центральным эмпирическим моментом порядка m -

2.2. Свойства статистических оценок параметров распределения: несмещен-ность, эффективность, состоятельность После получения статистических оценок параметров распределения случайной величины ξ : выборочного среднего, выбороч-ной дисперсии и т. д., необходимо убедиться, что они являются хорошим приближением для соответствующих параметров теоретического распределения ξ. Найдем условия, которые должны для этого выполняться.

Статистическая оценка A* называется несмещенной, если ее математическое ожидание равно оцениваемому параметру генеральной совокупности A при любом объеме выборки, т.е. Статистическая оценка A* называется несмещенной, если ее математическое ожидание равно оцениваемому параметру генеральной совокупности A при любом объеме выборки, т.е. Если это условие не выполняется, оценка называется смещенной. Несмещенность оценки не является достаточным условием хорошего приближения статистической оценки A* к истинному (теоретическому) значению оцениваемого параметра A.

Разброс отдельных значений относительно среднего значения M[A*] зависит от величины дисперсии D[A*]. Если дисперсия велика, то значение найденное по данным одной выборки, может значительно отличаться от оцениваемого параметра. Следовательно, для надежного оценивания дисперсия D[A*] должна быть мала. Статистическая оценка называется эффективной, если при заданном объеме выборки n она имеет наименьшую возможную дисперсию. Разброс отдельных значений относительно среднего значения M[A*] зависит от величины дисперсии D[A*]. Если дисперсия велика, то значение найденное по данным одной выборки, может значительно отличаться от оцениваемого параметра. Следовательно, для надежного оценивания дисперсия D[A*] должна быть мала. Статистическая оценка называется эффективной, если при заданном объеме выборки n она имеет наименьшую возможную дисперсию.

К статистическим оценкам предъявляется еще требование состоятельности. Оценка называется состоятельной, если при n → она стремится по вероятности к оцениваемому параметру. Заметим, что несмещенная оценка будет состоятельной, если при n → ее дисперсия стремится к 0. К статистическим оценкам предъявляется еще требование состоятельности. Оценка называется состоятельной, если при n → она стремится по вероятности к оцениваемому параметру. Заметим, что несмещенная оценка будет состоятельной, если при n → ее дисперсия стремится к 0.

2.3. Свойства выборочного среднего Будем полагать, что варианты x1, x2,..., xn являются значениями соответствующих независимых одинаково распределен-ных случайных величин , имеющих математическое ожидание и дисперсию . Тогда выборочное среднее можно рассматривать как случайную величину

Несмещенность. Из свойств математического ожидания следует, что Несмещенность. Из свойств математического ожидания следует, что т.е. выборочное среднее является несмещенной оценкой математического ожидания случайной величины. Можно также показать эффективность оценки по выборочному среднему матема-тического ожидания (для нормального распределения)

Состоятельность. Пусть a – оцениваемый параметр, а именно математическое ожидание генеральной совокупности – дисперсия генеральной совокупности . Рассмотрим неравенство Чебышева Состоятельность. Пусть a – оцениваемый параметр, а именно математическое ожидание генеральной совокупности – дисперсия генеральной совокупности . Рассмотрим неравенство Чебышева У нас: тогда . При n → правая часть неравенства стремится к нулю для лю- бого ε > 0, т.е. и, следовательно, величина X, представляющая выборочную оценку, стремится к оцениваемому параметру a по вероятности.

Таким образом, можно сделать вывод, что выборочное среднее является несмещенной, эффективной (по крайней мере, для нормального распределения) и состоятельной оценкой математического ожидания случайной величины, связанной с генеральной совокупностью. Таким образом, можно сделать вывод, что выборочное среднее является несмещенной, эффективной (по крайней мере, для нормального распределения) и состоятельной оценкой математического ожидания случайной величины, связанной с генеральной совокупностью.

ЛЕКЦИЯ 6 ЛЕКЦИЯ 6

2.4. Свойства выборочной дисперсии Исследуем несмещенность выборочной дисперсии D* как оценки дисперсии случайной величины

Пример Найти выборочное среднее, выборочную дисперсию и среднее квадратическое отклонение, моду и исправленную выборочную дисперсию для выборки, имеющей следующий закон распределения: Решение:

ГЛАВА 3. ТОЧЕЧНОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ ИЗВЕСТНОГО РАСПРЕДЕЛЕНИЯ

Будем считать, что общий вид закона распределения нам известен и остается уточнить детали – параметры, определяющие его действительную форму. Существует несколько методов решения этой задачи, два из которых мы рассмотрим: метод моментов и метод наибольшего правдоподобия Будем считать, что общий вид закона распределения нам известен и остается уточнить детали – параметры, определяющие его действительную форму. Существует несколько методов решения этой задачи, два из которых мы рассмотрим: метод моментов и метод наибольшего правдоподобия

3.1. Метод моментов

Метод моментов, развитый Карлом Пирсоном в 1894 г., основан на использовании этих приближенных равенств: моменты рассчитываются теоретически по известному закону распределения с параметрами θ, а выборочные моменты вычисляются по имеющейся выборке. Неизвестные параметры определяются в результате решения системы из r уравнений, связывающих соответствующие теоретический и эмпирический моменты, например, . Метод моментов, развитый Карлом Пирсоном в 1894 г., основан на использовании этих приближенных равенств: моменты рассчитываются теоретически по известному закону распределения с параметрами θ, а выборочные моменты вычисляются по имеющейся выборке. Неизвестные параметры определяются в результате решения системы из r уравнений, связывающих соответствующие теоретический и эмпирический моменты, например, .

Можно показать, что оценки параметров θ, полученные методом моментов, состоятельны, их математические ожидания отличаются от истинных значений параметров на величину порядка n–1, а средние квадратические отклонения являются величинами порядка n–0,5 Можно показать, что оценки параметров θ, полученные методом моментов, состоятельны, их математические ожидания отличаются от истинных значений параметров на величину порядка n–1, а средние квадратические отклонения являются величинами порядка n–0,5

Пример Известно, что характеристика ξ объектов генеральной совокупности, являясь случайной величиной, имеет равномерное распределе-ние, зависящее от параметров a и b: Требуется определить методом моментов параметры a и b по известному выборочному среднему и выборочной дисперсии

Напоминание

3.2. Метод наибольшего правдоподобия В основе метода лежит функция правдоподобия L(x1, x2,..., xn, θ), являющаяся законом распределения вектора , где случайные величины принимают значения вариант выборки, т.е. имеют одинаковое распределение. Поскольку случайные величины независимы, функция правдоподобия имеет вид:

Идея метода наибольшего правдоподобия состоит в том, что мы ищем такие значения параметров θ, при которых вероятность появления в выборке значений вариант x1, x2,..., xn является наибольшей. Иными словами, в качестве оценки параметров θ берется вектор ,при котором функция правдоподобия имеет локальный максимум при заданных x1, x2, …, xn: Идея метода наибольшего правдоподобия состоит в том, что мы ищем такие значения параметров θ, при которых вероятность появления в выборке значений вариант x1, x2,..., xn является наибольшей. Иными словами, в качестве оценки параметров θ берется вектор ,при котором функция правдоподобия имеет локальный максимум при заданных x1, x2, …, xn:

Оценки по методу максимального правдоподобия получаются из необходимого условия экстремума функции L(x1,x2,..., xn,θ) в точке Оценки по методу максимального правдоподобия получаются из необходимого условия экстремума функции L(x1,x2,..., xn,θ) в точке

Примечания: 1. При поиске максимума функции правдоподобия для упрощения расчетов можно выполнить действия, не изменяющие результата: во-первых, использовать вместо L(x1, x2,..., xn,θ) логарифми-ческую функцию правдоподобия l(x1, x2,..., xn,θ) = ln L(x1, x2,..., xn,θ); во-вторых, отбросить в выражении для функции правдоподобия не зависящие от θ слагаемые (для l) или положительные сомножители (для L). 2. Оценки параметров, рассмотренные нами, можно назвать точечными оценками, так как для неизвестного параметра θ определяется одна единственная точка , являющаяся его приближенным значением. Однако такой подход может приводить к грубым ошибкам, и точечная оценка может значительно отличаться от истинного значения оцениваемого параметра (особенно в случае выборки малого объема).

Пример Решение. В данной задаче следует оценить два неизвестных параметра: a и σ2. Логарифмическая функция правдоподобия имеет вид

Отбросив в этой формуле слагаемое, которое не зависит от a и σ2, составим систему уравнений правдоподобия Отбросив в этой формуле слагаемое, которое не зависит от a и σ2, составим систему уравнений правдоподобия Решая, получаем:

ГЛАВА 4. ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ ИЗВЕСТНОГО РАСПРЕДЕЛЕНИЯ

Задачу оценивания параметра известного распределения можно решать путем построения интервала, в который с заданной вероятностью попадает истинное значение параметра. Такой метод оценивания называется интервальной оценкой. Задачу оценивания параметра известного распределения можно решать путем построения интервала, в который с заданной вероятностью попадает истинное значение параметра. Такой метод оценивания называется интервальной оценкой. Обычно в математике для оценки  параметра θ строится неравенство где число δ характеризует точность оценки: чем меньше δ, тем лучше оценка.

4.1. Оценивание математического ожидания нормально распределенной величины при известной дисперсии Пусть исследуемая случайная величина ξ распре-делена по нормальному закону с известным средним квадратическим отклонением σ и неизвестным математическим ожиданием a. Требуется по значению выборочного среднего оценить математическое ожидание ξ. Как и ранее, будем рассматривать получаемое выборочное среднее как значение случайной величины , а значения вариант выборки x1, x2, …, xn – соответственно как значения одинаково распределенных независимых случайных величин , каждая из которых имеет мат. ожи-дание a и среднее квадратическое отклонение σ.

Имеем: Имеем:

4.2. Оценивание математического ожидания нормально распределенной величины при неизвестной дисперсии

Известно, что случайная величина tn, заданная таким образом, имеет распределение Стьюдента с k = n – 1 степенями свободы. Плотность распределения вероятностей такой величины есть Известно, что случайная величина tn, заданная таким образом, имеет распределение Стьюдента с k = n – 1 степенями свободы. Плотность распределения вероятностей такой величины есть

Плотность распределения Стьюдента c n – 1 степенями свободы

Примечание. При большом числе степеней свободы k распределение Стьюдента стремится к нормальному распределению с нулевым математическим ожиданием и единичной дисперсией. Поэтому при k ≥ 30 доверительный интервал можно на практике находить по формулам Примечание. При большом числе степеней свободы k распределение Стьюдента стремится к нормальному распределению с нулевым математическим ожиданием и единичной дисперсией. Поэтому при k ≥ 30 доверительный интервал можно на практике находить по формулам

4.3. Оценивание среднего квадратического отклонения нормально распределенной величины Пусть исследуемая случайная величина ξ распределена по нормальному закону с математическим ожиданием a и неизвестным средним квадратическим отклонением σ. Рассмотрим два случая: с известным и неизвестным математическим ожиданием.

4.3.1. Частный случай известного математического ожидания Пусть известно значение M[ξ] = a и требуется оценить только σ или дисперсию D[ξ] = σ2. Напомним, что при известном мат. ожидании несмещенной оценкой дисперсии является выборочная дисперсия D* = (σ*)2 Используя величины , определенные выше, введем случайную величину Y, принимающую значения выборочной дисперсии D*:

Рассмотрим случайную величину Рассмотрим случайную величину Стоящие под знаком суммы случайные величины имеют нормальное распределение с плотностью fN (x, 0, 1). Тогда Hn имеет распределение χ2 с n степенями свободы как сумма квадратов n независимых стандартных (a = 0, σ = 1) нормальных случайных величин.

Определим доверительный интервал из условия Определим доверительный интервал из условия где – плотность распределения χ2 и γ – надежность (доверительная вероятность). Величина γ численно равна площади заштрихованной фигуры на рис.

4.3.2. Частный случай неизвестного математического ожидания На практике чаще всего встречается ситуация, когда неизвестны оба параметра нормального распределения: математическое ожидание a и среднее квадратическое отклонение σ. В этом случае построение доверительного интервала основывается на теореме Фишера, из кот. следует, что случайная величина (где случайная величина ) принимающая значения несмещенной выборочной дисперсии s2, имеет распределение χ2 с n–1 степенями свободы.

4.4. Оценивание математического ожидания случайной величины для произвольной выборки Интервальные оценки математического ожидания M[ξ], полученные для нормально распределенной случайной величины ξ , являются, вообще говоря, непригодными для случайных величин, имеющих иной вид распределения. Однако есть ситуация, когда для любых случайных величин можно пользоваться подобными интервальными соотношениями, – это имеет место при выборке большого объема (n >> 1).

Как и выше, будем рассматривать варианты x1, x2,..., xn как значения независимых, одинаково распределенных случайных величин , имеющих математическое ожидание M[ξi] = mξ и дисперсию , а полученное выборочное среднее как значение случайной величины Как и выше, будем рассматривать варианты x1, x2,..., xn как значения независимых, одинаково распределенных случайных величин , имеющих математическое ожидание M[ξi] = mξ и дисперсию , а полученное выборочное среднее как значение случайной величины Согласно центральной предельной теореме величина имеет асимптотически нормальный закон распределения c математическим ожиданием mξ и дисперсией .

Поэтому, если известно значение дисперсии случайной величины ξ, то можно пользоваться приближенными формулами Поэтому, если известно значение дисперсии случайной величины ξ, то можно пользоваться приближенными формулами Если же значение дисперсии величины ξ неизвестно, то при больших n можно использовать формулу где s – исправленное ср.-кв. отклонение

Лекция 7 Лекция 7

Повторение пройденного Повторение пройденного

ГЛАВА 4. ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ ИЗВЕСТНОГО РАСПРЕДЕЛЕНИЯ

Задачу оценивания параметра известного распределения можно решать путем построения интервала, в который с заданной вероятностью попадает истинное значение параметра. Такой метод оценивания называется интервальной оценкой. Задачу оценивания параметра известного распределения можно решать путем построения интервала, в который с заданной вероятностью попадает истинное значение параметра. Такой метод оценивания называется интервальной оценкой. Обычно в математике для оценки  параметра θ строится неравенство где число δ характеризует точность оценки: чем меньше δ, тем лучше оценка.

4.1. Оценивание математического ожидания нормально распределенной величины при известной дисперсии Пусть исследуемая случайная величина ξ распре-делена по нормальному закону с известным средним квадратическим отклонением σ и неизвестным математическим ожиданием a. Требуется по значению выборочного среднего оценить математическое ожидание ξ. Как и ранее, будем рассматривать получаемое выборочное среднее как значение случайной величины , а значения вариант выборки x1, x2, …, xn – соответственно как значения одинаково распределенных независимых случайных величин , каждая из которых имеет мат. ожи-дание a и среднее квадратическое отклонение σ.

Имеем: Имеем:

4.2. Оценивание математического ожидания нормально распределенной величины при неизвестной дисперсии

Известно, что случайная величина tn, заданная таким образом, имеет распределение Стьюдента с k = n – 1 степенями свободы. Плотность распределения вероятностей такой величины есть Известно, что случайная величина tn, заданная таким образом, имеет распределение Стьюдента с k = n – 1 степенями свободы. Плотность распределения вероятностей такой величины есть

Плотность распределения Стьюдента c n – 1 степенями свободы

Примечание. При большом числе степеней свободы k распределение Стьюдента стремится к нормальному распределению с нулевым математическим ожиданием и единичной дисперсией. Поэтому при k ≥ 30 доверительный интервал можно на практике находить по формулам Примечание. При большом числе степеней свободы k распределение Стьюдента стремится к нормальному распределению с нулевым математическим ожиданием и единичной дисперсией. Поэтому при k ≥ 30 доверительный интервал можно на практике находить по формулам

4.3. Оценивание среднего квадратического отклонения нормально распределенной величины Пусть исследуемая случайная величина ξ распределена по нормальному закону с математическим ожиданием a и неизвестным средним квадратическим отклонением σ. Рассмотрим два случая: с известным и неизвестным математическим ожиданием.

4.3.1. Частный случай известного математического ожидания Пусть известно значение M[ξ] = a и требуется оценить только σ или дисперсию D[ξ] = σ2. Напомним, что при известном мат. ожидании несмещенной оценкой дисперсии является выборочная дисперсия D* = (σ*)2 Используя величины , определенные выше, введем случайную величину Y, принимающую значения выборочной дисперсии D*:

Рассмотрим случайную величину Рассмотрим случайную величину Стоящие под знаком суммы случайные величины имеют нормальное распределение с плотностью fN (x, 0, 1). Тогда Hn имеет распределение χ2 с n степенями свободы как сумма квадратов n независимых стандартных (a = 0, σ = 1) нормальных случайных величин.

Определим доверительный интервал из условия Определим доверительный интервал из условия где – плотность распределения χ2 и γ – надежность (доверительная вероятность). Величина γ численно равна площади заштрихованной фигуры на рис.

4.3.2. Частный случай неизвестного математического ожидания На практике чаще всего встречается ситуация, когда неизвестны оба параметра нормального распределения: математическое ожидание a и среднее квадратическое отклонение σ. В этом случае построение доверительного интервала основывается на теореме Фишера, из кот. следует, что случайная величина (где случайная величина ) принимающая значения несмещенной выборочной дисперсии s2, имеет распределение χ2 с n–1 степенями свободы.

4.4. Оценивание математического ожидания случайной величины для произвольной выборки Интервальные оценки математического ожидания M[ξ], полученные для нормально распределенной случайной величины ξ , являются, вообще говоря, непригодными для случайных величин, имеющих иной вид распределения. Однако есть ситуация, когда для любых случайных величин можно пользоваться подобными интервальными соотношениями, – это имеет место при выборке большого объема (n >> 1).

Как и выше, будем рассматривать варианты x1, x2,..., xn как значения независимых, одинаково распределенных случайных величин , имеющих математическое ожидание M[ξi] = mξ и дисперсию , а полученное выборочное среднее как значение случайной величины Как и выше, будем рассматривать варианты x1, x2,..., xn как значения независимых, одинаково распределенных случайных величин , имеющих математическое ожидание M[ξi] = mξ и дисперсию , а полученное выборочное среднее как значение случайной величины Согласно центральной предельной теореме величина имеет асимптотически нормальный закон распределения c математическим ожиданием mξ и дисперсией .

Поэтому, если известно значение дисперсии случайной величины ξ, то можно пользоваться приближенными формулами Поэтому, если известно значение дисперсии случайной величины ξ, то можно пользоваться приближенными формулами Если же значение дисперсии величины ξ неизвестно, то при больших n можно использовать формулу где s – исправленное ср.-кв. отклонение

Повторили пройденное Повторили пройденное

ГЛАВА 5. ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ

Статистической гипотезой называют гипотезу о виде неизвестного распределения или о параметрах известного распределения случайной величины. Статистической гипотезой называют гипотезу о виде неизвестного распределения или о параметрах известного распределения случайной величины. Проверяемая гипотеза, обозначаемая обычно как H0, называется нулевой или основной гипотезы. Дополнительно используемая гипотеза H1, противоречащая гипотезе H0, называется конкурирующей или альтернативной. Статистическая проверка выдвинутой нулевой гипотезы H0 состоит в ее сопоставлении с выборочными данными. При такой проверке возможно появление ошибок двух видов: а) ошибки первого рода – случаи, когда отвергается правильная гипотеза H0; б) ошибки второго рода – случаи, когда принимается неверная гипотеза H0.

Вероятность ошибки первого рода будем называть уровнем значимости и обозначать как α. Вероятность ошибки первого рода будем называть уровнем значимости и обозначать как α. Основной прием проверки статистических гипотез заключается в том, что по имеющейся выборке вычисляется значение статистического критерия – некоторой случайной величины T, имеющей известный закон распределения. Область значений T, при которых основная гипотеза H0 должна быть отвергнута, называют критической, а область значений T, при которых эту гипотезу можно принять, – областью принятия гипотезы.

5.1. Проверка гипотез о параметрах известного распределения 5.1.1. Проверка гипотезы о математическом ожидании нормально распределенной случайной величины Пусть случайная величина ξ имеет нормальное распределение. Требуется проверить предположение о том, что ее математическое ожидание равно некоторому числу a0. Рассмотрим отдельно случаи, когда дисперсия ξ известна и когда она неизвестна.

В случае известной дисперсии D[ξ] = σ2, как и в п. 4.1, определим случайную величину , принимающую значения выборочного среднего . Гипотеза H0 изначально формулируется как M[ξ] = a0. Поскольку выборочное среднее является несмещенной оценкой M[ξ], то гипотезу H0 можно представить как В случае известной дисперсии D[ξ] = σ2, как и в п. 4.1, определим случайную величину , принимающую значения выборочного среднего . Гипотеза H0 изначально формулируется как M[ξ] = a0. Поскольку выборочное среднее является несмещенной оценкой M[ξ], то гипотезу H0 можно представить как

5.1.2. Сравнение дисперсий нормально распределенных случайных величин Пусть имеются две нормально распределенные случайные величины Для них по независимым выборкам объемом n1 и n2 соответственно получены исправленные выборочные дисперсии . Будем считать, что . Требуется при заданном уровне значимости  проверить нулевую гипотезу H0 о равенстве дисперсий рассматриваемых случайных величин.

Учитывая несмещенность исправленных выборочных дисперсий, нулевую гипотезу можно записать следующим образом: Учитывая несмещенность исправленных выборочных дисперсий, нулевую гипотезу можно записать следующим образом: где случайная величина принимает значения исправленной выборочной дисперсии величины ξ и аналогична случайной величине Z, рассмотренной в п. 4.2. В качестве статистического критерия выберем случайную величину принимающую значение отношения бóльшей выборочной дисперсии к меньшей.

Случайная величина F имеет распределение Фишера – Снедекора с числом степеней свободы k1 = n1 – 1 и k2 = n2 – 1, где n1 – объем выборки, по которой вычислена бóльшая исправленная дисперсия , а n2 – объем второй выборки, по которой найдена меньшая дисперсия . Случайная величина F имеет распределение Фишера – Снедекора с числом степеней свободы k1 = n1 – 1 и k2 = n2 – 1, где n1 – объем выборки, по которой вычислена бóльшая исправленная дисперсия , а n2 – объем второй выборки, по которой найдена меньшая дисперсия . Рассмотрим два вида конкурирующих гипотез

5.1.3. Сравнение математических ожиданий независимых случайных величин Сначала рассмотрим случай нормального распределения случайных величин с известными дисперсиями, а затем на его основе – более общий случай произвольного распределения величин при достаточно больших независимых выборках. Пусть случайные величины ξ1 и ξ2 независимы и распределены нормально, и пусть их дисперсии D[ξ1] и D[ξ2] известны. (Например, они могут быть найдены из какого-то другого опыта или рассчитаны теоретически). Извлечены выборки объемом n1 и n2 соответственно. Пусть – выборочные средние для этих выборок. Требуется по выборочным средним при заданном уровне значимости α проверить гипотезу о равенстве математических ожиданий рассматриваемых случайных величин

Введем случайные величины , принимающие значения выборочных средних соответственно. Поскольку выборочные средние – это несмещенные оценки математических ожиданий, нулевую гипотезу H0 можно записать в следующем виде: Введем случайные величины , принимающие значения выборочных средних соответственно. Поскольку выборочные средние – это несмещенные оценки математических ожиданий, нулевую гипотезу H0 можно записать в следующем виде: В качестве статистического критерия для проверки H0 возьмем случайную величину

5.2. Проверка гипотез о виде закона распределения случайной величины. Критерий Пирсона Надежное предположение о распределении случайной величины, связанной с генеральной совокупностью, можно иногда сделать из априорных соображений, основываясь на условиях эксперимента, и тогда предположения о параметрах распределения исследуются, как показано ранее. Однако весьма часто возникает необходимость проверить выдвинутую гипотезу о законе распределения. Статистические критерии, предназначенные для таких проверок, обычно называются критериями согласия.

Известно несколько критериев согласия. Достоинством критерия Пирсона является его универсальность. С его помощью можно проверять гипотезы о различных законах распределения. Известно несколько критериев согласия. Достоинством критерия Пирсона является его универсальность. С его помощью можно проверять гипотезы о различных законах распределения. Критерий Пирсона основан на сравнении частот, найденных по выборке (эмпирических частот), с частотами, рассчитанными с помощью проверяемого закона распределения (теоретическими частотами). Обычно эмпирические и теоретические частоты различаются. Следует выяснить, случайно ли расхождение частот или оно значимо и объясняется тем, что теоретические частоты вычислены исходя из неверной гипотезы о распределении генеральной совокупности. Критерий Пирсона, как и любой другой, отвечает на вопрос, есть ли согласие выдвинутой гипотезы с эмпирическими данными при заданном уровне значимости.

5.2.1. Проверка гипотезы о нормальном распределении Пусть имеется случайная величина ξ и сделана выборка достаточно большого объема n с большим количеством различных значений вариант. Требуется при уровне значимости α проверить нулевую гипотезу H0 о том, что случайная величина ξ распределена нормально. Для удобства обработки выборки возьмем два числа α и β: и разделим интервал [α, β] на s подинтервалов. Будем считать, что значения вариант, попавших в каждый подинтервал,приближенно равны числу, задающему середину подинтервала. Подсчитав число вариант, попавших в каждый интервал, составим группированную выборку с вариантами: x1, x2, …, xs и их частотами n1, n2, …, ns, где xj = (bj + aj)/2 – середина j-го подинтервала (aj, bj]; nj – количество вариант, попавших в этот подинтервал, т.е. эмпирическая частота.

ГЛАВА 6. ВАЖНЕЙШИЕ РАСПРЕДЕЛЕНИЯ И ИХ КВАНТИЛИ ГЛАВА 6. ВАЖНЕЙШИЕ РАСПРЕДЕЛЕНИЯ И ИХ КВАНТИЛИ

6.1. Нормальное распределение По определению нормально распределенная случайная величина ξ имеет плотность распределения вероятностей где a и σ являются параметрами.

Квантилью порядка α (0 < α < 1) непрерывной случайной величины ξ называется такое число xα, для которого выполняется равенство . Квантилью порядка α (0 < α < 1) непрерывной случайной величины ξ называется такое число xα, для которого выполняется равенство . Квантиль x½ называется медианой случайной величины ξ, квантили x¼ и x¾ – ее квартилями, a x0,1, x0,2,..., x0,9 – децилями. Для стандартного нормального распределения (a = 0, σ = 1) и, следовательно, где FN (x, a, σ) – функция распределения нормально распределенной случайной величины, а Φ(x) – функция Лапласа. Квантиль стандартного нормального распределения xα для заданного α можно найти из соотношения

6.2. Распределение Стьюдента Если – независимые случайные величины, имеющие нормальное распределение с нулевым математическим ожиданием и единичной дисперсией, то распределение случайной величины называют распределением Стьюдента с n степенями свободы (W.S. Gosset).

6.3. Распределение χ2 Если ξ1, ξ2, …, ξn – независимые случайные величины, имеющие нормальное распределение с нулевым математическим ожиданием и единичной дисперсией, то распределение случайной величины называют распределением χ2 с n степенями свободы. Обычно и для самой случайной величины Hn используется тот же символ, т.е. вместо Hn пишут χ2.

ГЛАВА 7. ПРИМЕР СТАТИСТИЧЕСКОЙ ОБРАБОТКИ ВЫБОРКИ ГЛАВА 7. ПРИМЕР СТАТИСТИЧЕСКОЙ ОБРАБОТКИ ВЫБОРКИ

Будем считать максимальную дневную температуру в Санкт-Петербурге 1 сентября случайной величиной ξ. Генеральная совокупность – это данные Гидрометеослужбы о такой температуре в разные годы. Сделана следующая выборка из генеральной совокупности (ºС): Будем считать максимальную дневную температуру в Санкт-Петербурге 1 сентября случайной величиной ξ. Генеральная совокупность – это данные Гидрометеослужбы о такой температуре в разные годы. Сделана следующая выборка из генеральной совокупности (ºС): Рассмотрим некоторые задачи, на которые разбивается статистическая обработка выборки, направленная на определение свойств данной случайной величины