🗊Презентация Многомерный регрессионный анализ. Алгоритмов бейесовского оценивания. Теорема о многомерном условном распределении вероятносте

1. Многомерный регрессионный анализ Основа алгоритмов бейесовского оценивания -Теорема о многомерном условном распределении вероятностей: Процесс в k векторов с НЗР, разделен на 2 части k1 (фактор, объясняющая часть) и k2 (отклик, результирующая часть) (k1 + k2 = k) → описывается многомерным условным законом распределении вероятностей с оценками характеристик известного вида для условного математического ожидания МО(Y|X) и условной ковариационной матрицы K(Y|X).

1. Многомерный регрессионный анализ Основные шаги: 1. Расширенная матрица плана Х0 совместная для k1 объясняющих переменных Х и k2 результирующих переменных Y – они обязательно на последнем месте

1. Многомерный регрессионный анализ 2. Из матрицы плана Х0 : а) вектор средних по столбцам для X → и Y → б) оценка совместной ковариационной матрицы К0, которая состоит из блоков где Хц, Yц – вектора, центрированные средним, для получения ковариационной матрицы. Использование девиаций Sij (не нормированные величиной п отклонения от среднего как S вместо К0 ).

1. Многомерный регрессионный анализ 3. Характеристики многомерного условного распределения вероятностей: – условное математическое ожидание (линейное уравнение регрессии с многомерным откликом) с соответствующими размерностями, т.к. Очевидно что вектора средних – столбцы!

1. Многомерный регрессионный анализ Обычно условное математическое ожидание (линейное уравнение регрессии с многомерным откликом) приводят к нормальному виду где Тогда окончательно его нормальный вид с размерами с вектором свободных членов

1. Многомерный регрессионный анализ – условная ковариационная матрица К(Y|X) отклика (результирующей матрицы переменных Y модели) с размерностями Здесь - матрица оценок точности смоделированных рядов откликов – по диагонали – дисперсии, недиагональные – ковариации. Формулы позволяют решить задачу определения оптимальных коэффициентов линейного преобразования одной части в другую с оценкой точности модели преобразования.

1. Многомерный регрессионный анализ Вариант когда известна обратная ковариационная матрица . 2 основных подхода: 1. Обратить обратную матрицу и использовать полученные ранее формулы; 2. Воспользоваться теоремой Фробениуса об обращении блочных матриц Здесь

1. Многомерный регрессионный анализ Вспоминаем, что матрица коэффициентов А и матрица оценок KY|X имеют вид Рассматривая структуру обратной матрицы С0 не сложно заметить, что для коэффициентов в виде «строки» имеем а в виде «столбца» соответственно

1. Многомерный регрессионный анализ Матрица оценок KY|X из структуры обратной матрицы С0 есть Нюанс нормировки (n и n - k). Целесообразность девиационной матрицы S. Формулы этого вида используются часто.

1. Многомерный регрессионный анализ Формулы получают исходя из следующих соображений: - Для всего процесса с k рядами получают многомерный закон распределения f(Y, X) (совместный для набора X из k1 рядов и Y из k2 рядов) -Получаем многомерный закон распределения f(Х) для набора X из k1 факторных переменных. По теореме Байеса условный закон распределения f(Y|X) для Y при фиксированных (измеренных) рядах X получаем как Новый закон распределения f(Y|X) имеет главные характеристики: условное математическое ожидание МО(Y|X) и условную ковариационную матрицу KY|X.

1. Многомерный регрессионный анализ Основные частные случаи теоремы: 1. 1 факторная переменная (ряд), 1 результирующая – парный линейный регрессионный анализ 2. Много факторных переменных, 1 результирующая – многомерный (многофакторный) линейный регрессионный анализ с одномерным откликом (1-откликом) 3. Много факторных переменных, много результирующих – многомерный (многофакторный) линейный регрессионный анализ с многомерным откликом (n-откликом) Известная и важная в геодезии задача трансформации систем координат имеет: 2 факторные, 2 результирующие переменные – 2-факторный линейный регрессионный анализ с 2-откликом. Расчет по девиатам. Девиационная матрица. Коэффициенты – по условному математическому ожиданию, целевую функцию vTv – по условной ковариационной матрице

1. Многомерный регрессионный анализ 1 вариант: – 1 фактор, 1 отклик: Характеристики одномерного условного закона распределения для 1-отклика MO(y|x) = f(x) для процесса с факторной переменной х и результирующей переменной у на последнем месте (х у): имеется выборочная ковариационная матрица - элементы числа, Понадобится обратная ковариационная матрица С0

1. Многомерный регрессионный анализ – условное математическое ожидание ( и она же линейная форма парной регрессии) или в нормальном виде с

1. Многомерный регрессионный анализ – условная дисперсия (ковариационная матрица для 1 ряда, дисперсия модели) Проблема нормировки: что получим умножают на т.к. два определяемых коэффициента. Если матрица девиат S, то что получат (это [v2]) делят на (n - 2).

1. Многомерный регрессионный анализ Вычисления через прямую К0 и обратную С0 ковариационные матрицы: - прямая коэффициенты регрессии дисперсия модели Не забыть нормировку t.

1. Многомерный регрессионный анализ - обратная коэффициенты регрессии дисперсия модели Не забыть нормировку t. Трудоемка точность коэффициентов.

1. Многомерный регрессионный анализ 2 вариант: 1 отклик, n факторов Теорема о характеристиках многомерного условного закона распределения для 1-отклика: имеется выборочная ковариационная матрица для процесса с факторными переменными Х = (х1, х2, …, хk) и результирующей переменной у на последнем месте (Х у). Закон распределения процесса описывается условным многомерным нормальным законом распределения вероятностей характеристиками:

1. Многомерный регрессионный анализ – условным математическим ожиданием (линейной формой множественной регрессии) или в нормальном виде Здесь а' – вектор-строка, x и y – столбцы. – условной дисперсией (дисперсией модели) или

1. Многомерный регрессионный анализ Через обратную матрицу С0 имеем вектор коэффициентов в виде строки и столбца и дисперсию модели

1. Многомерный регрессионный анализ 3 случай общий: n факторов, n откликов уже рассмотрен Нюанс для оценки модели: Результат – матрица, где по диагонали дисперсии смоделированных k2 рядов Y. Общая дисперсия – их сумма, т.е. след матрицы KY|X. Тогда погрешность модели в общем (среднем) есть Соблюдать нормировку, извлекать корень.