Точечное оценивание параметров распределений случайных величин

Нажмите для полного просмотра!

Точечное оценивание параметров распределений случайных величин, слайд №2

Точечное оценивание параметров распределений случайных величин, слайд №3

Точечное оценивание параметров распределений случайных величин, слайд №4

Точечное оценивание параметров распределений случайных величин, слайд №5

Точечное оценивание параметров распределений случайных величин, слайд №6

Точечное оценивание параметров распределений случайных величин, слайд №7

Точечное оценивание параметров распределений случайных величин, слайд №8

Точечное оценивание параметров распределений случайных величин, слайд №9

Точечное оценивание параметров распределений случайных величин, слайд №10

Точечное оценивание параметров распределений случайных величин, слайд №11

Точечное оценивание параметров распределений случайных величин, слайд №12

Точечное оценивание параметров распределений случайных величин, слайд №13

Точечное оценивание параметров распределений случайных величин, слайд №14

Точечное оценивание параметров распределений случайных величин, слайд №15

Точечное оценивание параметров распределений случайных величин, слайд №16

Точечное оценивание параметров распределений случайных величин, слайд №17

Точечное оценивание параметров распределений случайных величин, слайд №18

Точечное оценивание параметров распределений случайных величин, слайд №19

Точечное оценивание параметров распределений случайных величин, слайд №20

Точечное оценивание параметров распределений случайных величин, слайд №21

Точечное оценивание параметров распределений случайных величин, слайд №22

Точечное оценивание параметров распределений случайных величин, слайд №23

Точечное оценивание параметров распределений случайных величин, слайд №24

Точечное оценивание параметров распределений случайных величин, слайд №25

Точечное оценивание параметров распределений случайных величин, слайд №26

Точечное оценивание параметров распределений случайных величин, слайд №27

Точечное оценивание параметров распределений случайных величин, слайд №28

Точечное оценивание параметров распределений случайных величин, слайд №29

Точечное оценивание параметров распределений случайных величин, слайд №30

Точечное оценивание параметров распределений случайных величин, слайд №31

Точечное оценивание параметров распределений случайных величин, слайд №32

Точечное оценивание параметров распределений случайных величин, слайд №33

Точечное оценивание параметров распределений случайных величин, слайд №34

Точечное оценивание параметров распределений случайных величин, слайд №35

Точечное оценивание параметров распределений случайных величин, слайд №36

Точечное оценивание параметров распределений случайных величин, слайд №37

Точечное оценивание параметров распределений случайных величин, слайд №38

Точечное оценивание параметров распределений случайных величин, слайд №39

Точечное оценивание параметров распределений случайных величин, слайд №40

Точечное оценивание параметров распределений случайных величин, слайд №41

Точечное оценивание параметров распределений случайных величин, слайд №42

Содержание ▲

Вы можете ознакомиться и скачать презентацию на тему Точечное оценивание параметров распределений случайных величин. Доклад-сообщение содержит 42 слайдов. Презентации для любого класса можно скачать бесплатно. Если материал и наш сайт презентаций Mypresentation Вам понравились – поделитесь им с друзьями с помощью социальных кнопок и добавьте в закладки в своем браузере.

Слайды и текст этой презентации

Слайд 1

Описание слайда:

Глава 7. Точечное оценивание параметров распределений случайных величин

Слайд 2

Описание слайда:

7.1. Основные понятия, определения и критерии точечного оценивания Пусть наблюдается СВ Х с функцией распределения F(x) и плотностью распределения f(х). Случайная выборка измерения представлена вектором Xn=(X1, …, Xn) с реализацией хn=(х1, …, хn).

Слайд 3

Описание слайда:

Будем предполагать, что законы распределения элементов выборки Хi совпадают с законом распределения наблюдаемой случайной величины, а закон распределения случайного вектора Xn=(X1, …, Xn) может быть найден по формулам теории вероятностей.

Слайд 4

Описание слайда:

Параметром распределения случайной величины назовем ее числовую характеристику (математическое ожидание, дисперсию, момент и т.п.) либо неизвестную константу, которая явно содержится в выражении функции распределения. Параметром распределения случайной величины назовем ее числовую характеристику (математическое ожидание, дисперсию, момент и т.п.) либо неизвестную константу, которая явно содержится в выражении функции распределения. Параметр распределения будем обозначать , имея в виду, что в общем случае это векторная величина с компонентами .

Слайд 5

Описание слайда:

Введем случайную величину = g(Xn) с реализацией Введем случайную величину = g(Xn) с реализацией = g(хn), где g – борелевская функция. Эту функцию назовем статистикой. В общем случае статистика - векторная случайная величина с компонентами = gi(Xn) и их реализацией =gi(хn) . Статистику , реализация которой принимается в качестве приближенного экспериментального значения параметра , будем называть точечной оценкой этого параметра.

Слайд 6

Описание слайда:

Ясно, что не всякая зависимость gi(Xn) может давать удовлетворительную оценку неизвестного параметра ; чтобы быть подходящей, gi(Xn) должна обладать определенными свойствами. Именно, в соответствии с принципом оптимальности добиваются, чтобы оценка Ясно, что не всякая зависимость gi(Xn) может давать удовлетворительную оценку неизвестного параметра ; чтобы быть подходящей, gi(Xn) должна обладать определенными свойствами. Именно, в соответствии с принципом оптимальности добиваются, чтобы оценка = g(Xn) удовлетворяла следующим критериям точечного оценивания:

Слайд 7

Описание слайда:

состоятельность, несмещенность, эффективность, достаточность и робастность. состоятельность, несмещенность, эффективность, достаточность и робастность. Если все эти свойства обеспечить не удается, то ограничиваются удовлетворением хотя бы какой-то их части. Состоятельность оценки – это сходимость ее по вероятности к оцениваемому параметру при n .

Слайд 8

Описание слайда:

В случае состоятельной оценки вероятность сколь-нибудь существенного отличия от мала при достаточно большом объеме выборки измерений Х. Поскольку сходимость по вероятности следует из сходимости почти наверное и в среднем квадратическом, то сходимости последнего вида также следует считать признаком состоятельности оценки . В этом случае говорят о сильной состоятельности. В случае состоятельной оценки вероятность сколь-нибудь существенного отличия от мала при достаточно большом объеме выборки измерений Х. Поскольку сходимость по вероятности следует из сходимости почти наверное и в среднем квадратическом, то сходимости последнего вида также следует считать признаком состоятельности оценки . В этом случае говорят о сильной состоятельности.

Слайд 9

Описание слайда:

Несмещенность оценки – это свойство вида: М( )=. Несмещенность оценки – это свойство вида: М( )=. Несмещенность гарантирует совпадение центра рассеяния возможных реализаций с оцениваемым параметром . Если это свойство не выполняется, т.е. М( ) - = b()  0, то оценку называют смещенной, при этом величину b() называют систематической ошибкой (смещением) оценки .

Слайд 10

Описание слайда:

Очевидно, что зависит от n . Если  0 при n , то оценку называют асимптотически несмещенной. Не следует абсолютизировать это свойство. Во-первых, несмещенной оценки может не быть; во-вторых, требование несмещенности может прийти в противоречие с требованием минимума рассеяния относительно . Очевидно, что зависит от n . Если  0 при n , то оценку называют асимптотически несмещенной. Не следует абсолютизировать это свойство. Во-первых, несмещенной оценки может не быть; во-вторых, требование несмещенности может прийти в противоречие с требованием минимума рассеяния относительно .

Слайд 11

Описание слайда:

Оценку называют эффективной, если ей соответствует минимальное значение ошибки. Оценку называют эффективной, если ей соответствует минимальное значение ошибки. В классе несмещенных оценок этот критерий означает минимальность дисперсии . Оценку называют асимптотически эффективной, если свойство минималь-ности относительно достигается в пределе n .

Слайд 12

Описание слайда:

Оценку называют достаточной, если она содержит в себе столько же информации о параметре , сколько её в выборке Оценку называют достаточной, если она содержит в себе столько же информации о параметре , сколько её в выборке Xn=(X1, …, Xn). Оценку называют робастной, если она в каком-то смысле слабо зависит от изменения выборки Xn=(X1, …, Xn). Введенные признаки оптимизации оценок относятся к фиксированному состоянию параметра .

Слайд 13

Описание слайда:

Если эти признаки имеют место для всякого из области его возможных реализаций, то говорят о равномерной состоятельности, несмещенности, эффективности, доста-точности и робастности оценки . Если эти признаки имеют место для всякого из области его возможных реализаций, то говорят о равномерной состоятельности, несмещенности, эффективности, доста-точности и робастности оценки . Оценки параметров распределений, удовлетворяющих хотя бы одному из перечисленных критериев оптимальности, могут строиться по разному. Основная задача теории точечного оценивания состоит в разработке методов построения оценок, обладающих всеми или какими-то из перечисленных оптимальных свойств.

Слайд 14

Описание слайда:

7.2. Точечные оценки математического ожидания и дисперсии Пусть имеется случайная величина X с математическим ожиданием m и дисперсией D; оба параметра неизвестны.

Слайд 15

Описание слайда:

Над величиной X произведено n независимых опытов, давших результаты Над величиной X произведено n независимых опытов, давших результаты X1, …, Xn. Требуется найти состоятельные и несмещенные оценки для параметров m и D. В качестве оценки для математического ожидания естественно предложить среднее арифметическое наблюденных значений m*: m* (1)

Слайд 16

Описание слайда:

Нетрудно убедиться, что эта оценка является состоятельной: согласно закону больших чисел, при увеличении n величина сходится по вероятности к m. Оценка является также и несмещенной, так как Нетрудно убедиться, что эта оценка является состоятельной: согласно закону больших чисел, при увеличении n величина сходится по вероятности к m. Оценка является также и несмещенной, так как . (2) Дисперсия этой оценки равна: . (3)

Слайд 17

Описание слайда:

Эффективность или неэффектив-ность оценки зависит от вида закона распределения величины X. Можно доказать, что если величина X распределена по нормальному закону, дисперсия будет минимально возможной, т. е. оценка является эффективной. Для других законов распределения это может быть и не так. Эффективность или неэффектив-ность оценки зависит от вида закона распределения величины X. Можно доказать, что если величина X распределена по нормальному закону, дисперсия будет минимально возможной, т. е. оценка является эффективной. Для других законов распределения это может быть и не так.

Слайд 18

Описание слайда:

Перейдем к оценке дисперсии D. На первый взгляд наиболее естественной оценкой представляется статистическая дисперсия: Перейдем к оценке дисперсии D. На первый взгляд наиболее естественной оценкой представляется статистическая дисперсия: , (4) где (5)

Слайд 19

Описание слайда:

Проверим, является ли эта оценка состоятельной. Выразим ее через второй начальный момент Проверим, является ли эта оценка состоятельной. Выразим ее через второй начальный момент (6) Первый член в правой части есть среднее арифметическое n наблюденных значений случайной величины ; он сходится по вероятности к M[X2]=α2[X].

Слайд 20

Описание слайда:

Второй член сходится по вероятности к m2; вся величина сходится по вероятности к величине Второй член сходится по вероятности к m2; вся величина сходится по вероятности к величине α2[X] – m2 = D. (7) Это означает, что оценка D* состоятельна. Проверим, является ли оценка D* также и несмещенной. Подставим в формулу (6) вместо его выражение (5) и произведем указанные действия:

Слайд 21

Описание слайда:

(7) (7) Найдем математическое ожидание величины (7): (8) Так как дисперсия D* не зависит от того, в какой точке выбрано начало координат, выберем его в точке m. (9)

Слайд 22

Описание слайда:

(10) (10) Последнее равенство следует из того, что опыты независимы. Подставляя (9) и (10) в (8), получим: (11) Отсюда видно, что величина D* не является несмещенной оценкой для D: ее математическое ожидание не равно D, а несколько меньше.

Слайд 23

Описание слайда:

Пользуясь оценкой D* вместо дисперсии D, мы будем совершать некоторую систематическую ошибку в меньшую сторону. Чтобы ликвидировать это смещение, достаточно ввести поправку, умножив величину D* на . Получим: Пользуясь оценкой D* вместо дисперсии D, мы будем совершать некоторую систематическую ошибку в меньшую сторону. Чтобы ликвидировать это смещение, достаточно ввести поправку, умножив величину D* на . Получим:

Слайд 24

Описание слайда:

Такую «исправленную» статистическую дисперсию мы и выберем в качестве оценки для D: Такую «исправленную» статистическую дисперсию мы и выберем в качестве оценки для D: (12) Так как множитель стремится к единице при n, а оценка D* состоятельна, то оценка также будет состоятельной.

Слайд 25

Описание слайда:

На практике часто вместо формулы (12) бывает удобнее применять другую, равносильную ей, в которой статистическая дисперсия выражена через второй начальный момент: На практике часто вместо формулы (12) бывает удобнее применять другую, равносильную ей, в которой статистическая дисперсия выражена через второй начальный момент: (13)

Слайд 26

Описание слайда:

При больших значениях n, естественно, обе оценки - смещенная D* и несмещенная - будут различаться очень мало и введение поправочного множителя теряет смысл. При больших значениях n, естественно, обе оценки - смещенная D* и несмещенная - будут различаться очень мало и введение поправочного множителя теряет смысл. Таким образом, мы пришли к следующим правилам обработки ограниченного по объему статистического материала.

Слайд 27

Описание слайда:

Если даны значения x1,x2,…xn, принятые в n независимых опытах случайной величиной X с неизвестными математическим ожиданием m и дисперсией D, то для определения этих параметров следует пользоваться приближенными значениями (оценками): Если даны значения x1,x2,…xn, принятые в n независимых опытах случайной величиной X с неизвестными математическим ожиданием m и дисперсией D, то для определения этих параметров следует пользоваться приближенными значениями (оценками):

Слайд 28

Описание слайда:

или или

Слайд 29

Описание слайда:

7.3. Методы получения оценок параметров распределения

Слайд 30

Описание слайда:

Часто на практике на основании анализа физического механизма, порождающего случайную величину X, можно сделать вывод о законе распределения этой случайной величины. Однако параметры этого распределения неизвестны, и их необходимо оценить по результатам эксперимента, обычно представленных в виде конечной выборки x1, x2,…xn. Для решения такой задачи чаще всего применяются два метода: метод моментов и метод максимального правдоподобия. Часто на практике на основании анализа физического механизма, порождающего случайную величину X, можно сделать вывод о законе распределения этой случайной величины. Однако параметры этого распределения неизвестны, и их необходимо оценить по результатам эксперимента, обычно представленных в виде конечной выборки x1, x2,…xn. Для решения такой задачи чаще всего применяются два метода: метод моментов и метод максимального правдоподобия.

Слайд 31

Описание слайда:

7.3.1. Метод моментов Метод моментов состоит в приравнивании теоретических моментов соответствующим эмпирическим моментам того же порядка. Эмпирические начальные моменты k-го порядка определяются формулами: ,

Слайд 32

Описание слайда:

а соответствующие им теоретические начальные моменты k-го порядка – формулами: а соответствующие им теоретические начальные моменты k-го порядка – формулами: для дискретных случайных величин, для непрерывных случайных величин,

Слайд 33

Описание слайда:

где – оцениваемый параметр распределения. где – оцениваемый параметр распределения. Для получения оценок параметров распределения, содержащего два неизвестных параметра и , составляется система из двух уравнений где и – теоретический и эмпирический центральные моменты второго порядка.

Слайд 34

Описание слайда:

Решением системы уравнений являются оценки и неизвестных параметров распределения и . Решением системы уравнений являются оценки и неизвестных параметров распределения и . Приравняв теоретический эмпирический начальные моменты первого порядка, получаем, что оценкой математического ожидания случайной величины X, имеющей произвольное распределение, будет выборочное среднее, т. е. .

Слайд 35

Описание слайда:

Затем, приравняв теоретический и эмпирический центральные моменты второго порядка, получим, что оценка дисперсии случайной величины X, имеющей произвольное распределение, определяется формулой Затем, приравняв теоретический и эмпирический центральные моменты второго порядка, получим, что оценка дисперсии случайной величины X, имеющей произвольное распределение, определяется формулой . Подобным образом можно найти оценки теоретических моментов любого порядка.

Слайд 36

Описание слайда:

Метод моментов отличается простотой и не требует сложных вычислений, но полученные этим методом оценки часто являются неэффективными.

Слайд 37

Описание слайда:

7.3.2. Метод максимума правдоподобия Метод максимального правдоподобия точечной оценки неизвестных параметров распределения сводится к отысканию максимума функции одного или нескольких оцениваемых параметров. Пусть X– непрерывная случайная величина, которая в результате n испытаний приняла значения x1, x2, … xn.

Слайд 38

Описание слайда:

Для получения оценки неизвестного параметра необходимо найти такое значение , при котором вероятность реализации полученной выборки была бы максимальной. Так как x1, x2, … xn представляют собой взаимно независимые величины с одинаковой плотностью вероятности f(x), то функцией правдоподобия называют функцию аргумента : Для получения оценки неизвестного параметра необходимо найти такое значение , при котором вероятность реализации полученной выборки была бы максимальной. Так как x1, x2, … xn представляют собой взаимно независимые величины с одинаковой плотностью вероятности f(x), то функцией правдоподобия называют функцию аргумента : .

Слайд 39

Описание слайда:

Оценкой максимального правдоподобия параметра называется такое значение , при котором функция правдоподобия достигает максимума, т. е. является решением уравнения Оценкой максимального правдоподобия параметра называется такое значение , при котором функция правдоподобия достигает максимума, т. е. является решением уравнения , которое явно зависит от результатов испытаний x1, x2, … xn .

Слайд 40

Описание слайда:

Поскольку функции и достигают максимума при одних и тех же значениях , то часто для упрощения расчетов используют логарифмическую функцию правдоподобия и ищут корень соответствующего уравнения Поскольку функции и достигают максимума при одних и тех же значениях , то часто для упрощения расчетов используют логарифмическую функцию правдоподобия и ищут корень соответствующего уравнения , которое называется уравнением правдоподобия.

Слайд 41

Описание слайда:

Если необходимо оценить несколько параметров распределения , то функция правдоподобия будет зависеть от этих параметров. Для нахождения оценок параметров распределения необходимо решить систему k уравнений правдоподобия Если необходимо оценить несколько параметров распределения , то функция правдоподобия будет зависеть от этих параметров. Для нахождения оценок параметров распределения необходимо решить систему k уравнений правдоподобия .

Слайд 42

Описание слайда:

Метод максимального правдоподобия дает состоятельные и асимптотически эффективные оценки. Однако получаемые методом максимального правдоподобия оценки бывают смещенными, и, кроме того, для нахождения оценок часто приходится решать достаточно сложные системы уравнений. Метод максимального правдоподобия дает состоятельные и асимптотически эффективные оценки. Однако получаемые методом максимального правдоподобия оценки бывают смещенными, и, кроме того, для нахождения оценок часто приходится решать достаточно сложные системы уравнений.