🗊Презентация Регрессионный анализ

Лекция 2. Регрессионный анализ

Эстонский исследователь Я. Микк, изучая трудности понимания текста, установил «формулу читаемости», которая представляет собой множественную линейную регрессию: Эстонский исследователь Я. Микк, изучая трудности понимания текста, установил «формулу читаемости», которая представляет собой множественную линейную регрессию:   — оценка трудности понимания текста, где х1 - длина самостоятельных предложений в количестве печат­ных знаков, х2 - процент различных незнакомых слов, х3  - абстрактность повторяющихся понятий, выраженных существительными.

Линейную регрессию можно отразить уравнением прямой линии: Линейную регрессию можно отразить уравнением прямой линии: Y = b1 · X + с, где: Y – значения признака по линии регрессии, т. е. теоретические значения, b1 – угловой коэффициент регрессии, X – значения признака-фактора (предиктора), с – свободный член, константа. Если независимая переменная одна, то регрессия называется парной. Простейшая парная регрессионная модель – линейная.

H – это коэффициент корреляции между зависимой и независимой переменными (r = 0,418), H – это коэффициент корреляции между зависимой и независимой переменными (r = 0,418), R-квадрат - коэффициент детерминации (R² = 0,174). R² определяет долю вариации одной из переменных, которая объясняется вариацией другой переменной. В данном случае R² =0,174, т.е. доля вариации агрессивности объясняется вариацией фрустрации на 17%, или 17% изменчивости в агрессивности могут быть объяснены различиями во фрустрации среди спортсменов. Остальные 83% объясняются воздействиями других факторов.

Общее назначение множественной регрессии (Pearson, 1908) - анализ связи между несколькими независимыми переменными (регрессорами или предикторами) и зависимой переменной (откликом).  Общее назначение множественной регрессии (Pearson, 1908) - анализ связи между несколькими независимыми переменными (регрессорами или предикторами) и зависимой переменной (откликом).  Множественная регрессия позволяет исследователю задать вопрос: "что является лучшим предиктором для...". Например, какие индивидуальные качества позволяют лучше предсказать степень социальной адаптации индивида. Термин "множественная" указывает на наличие нескольких предикторов или регрессоров, которые используются в модели: Y = b1·X1 + b2·X2 + b3·X3 +…+ bk·Xk + с

При расчетах оценок параметров регрессионной модели применяется метод наименьших квадратов. При расчетах оценок параметров регрессионной модели применяется метод наименьших квадратов. В условиях нормального распределения ошибок оценки параметров модели, построенные методом наименьших квадратов, являются оптимальными. Если распределение отличается от нормального, то свойство оптимальности может быть утрачено.

Пример: зависимость агрессивности у спортсменов от фрустрации и тревожности Пример: зависимость агрессивности у спортсменов от фрустрации и тревожности «Агрессивность» = b1 ·«Фрустрация» + b2 · «Тревожность» + c, где: b1 – угловой коэффициент регрессии, b2 – угловой коэффициент регрессии, c – свободный член (константа).

Multiple R – коэффициент множественной корреляции. Может принимать значения от 0 до 1 и характеризует тесноту линейной связи между зависимой и всеми независимыми переменными. Multiple R – коэффициент множественной корреляции. Может принимать значения от 0 до 1 и характеризует тесноту линейной связи между зависимой и всеми независимыми переменными.

Коэффициент детерминации R² измеряет долю разброса относительно среднего значения, которую «объясняет» построенная регрессия. Коэффициент детерминации R² измеряет долю разброса относительно среднего значения, которую «объясняет» построенная регрессия. Значение R² является индикатором степени подгонки модели к данным. Чем ближе коэффициент детерминации к 1, тем лучше регрессия «объясняет» зависимость в данных. Значение коэффициента детерминации R² возрастает с ростом числа переменных в регрессии, что не означает улучшения качества предсказания. Поэтому для оценки качества подгонки регрессионной модели к наблюдаемым значениям вводится скорректированный (adjusted) коэффициент детерминации. Различные регрессии (с различным набором переменных) можно сравнивать по этому коэффициенту и принять тот вариант регрессии, для которого он максимален.

Значение критерия F-Фишера равно 12,735, Значение критерия F-Фишера равно 12,735, его p-уровень значимости – 0,000. Это означает, что коэффициент множественной корреляции между зависимой и двумя независимыми переменными статистически значим и модель регрессии может быть содержательно интерпретирована.

Бета-коэффициенты β - это коэффициенты, которые получатся, если предварительно стандартизовать все переменные к среднему 0 и стандартному отклонению 1. Таким образом, величина этих Бета-коэффициентов позволяет сравнивать относительный вклад каждой независимой переменной в предсказание зависимой переменной. Бета-коэффициенты β - это коэффициенты, которые получатся, если предварительно стандартизовать все переменные к среднему 0 и стандартному отклонению 1. Таким образом, величина этих Бета-коэффициентов позволяет сравнивать относительный вклад каждой независимой переменной в предсказание зависимой переменной.

Частная корреляция Частная корреляция Частная корреляция - анализ взаимосвязи между двумя величинами при фиксированных значениях остальных величин. Частная корреляция – корреляция между двумя переменными, когда одна или больше из оставшихся переменных удерживаются на постоянном уровне. Частная корреляция представляет самостоятельный вклад соответствующей независимой переменной в предсказание зависимой переменной. В идеальной регрессионной модели независимые переменные вообще не коррелируют друг с другом. Если две независимые переменные сильно коррелированы с откликом и друг с другом, то достаточно включить в уравнение только одну из них. Обычно включают ту переменную, значения которой легче и дешевле измерять.

Пример: у группы спортсменов измерили результат в прыжках в длину (Х), массу тела (Y) и силу мышц нижних конечностей (Z). Рассчитали коэффициенты линейной корреляции: XY=0,78, XZ=0,89, YZ=0,95. Пример: у группы спортсменов измерили результат в прыжках в длину (Х), массу тела (Y) и силу мышц нижних конечностей (Z). Рассчитали коэффициенты линейной корреляции: XY=0,78, XZ=0,89, YZ=0,95.

Представим, что исследователя интересует "чистая" корреляция между результатами в прыжках в длину и массой тела, исключая влияние на эту взаимосвязь силы мышц нижних конечностей испытуемых. Представим, что исследователя интересует "чистая" корреляция между результатами в прыжках в длину и массой тела, исключая влияние на эту взаимосвязь силы мышц нижних конечностей испытуемых. Отрицательное значение частного коэффициента корреляции свидетельствует о том, что при прочих равных условиях (одинаковой силе мышц нижних конечностей) спортсмены с большей массой тела прыгали бы хуже. Частные коэффициенты на основе стандартизированных коэффициентов регрессии (бета-коэффициентов) дают меру тесноты связи каждого предиктора с показателем (результатом) в чистом виде.

Формула счастья котиков Формула счастья котиков Очевидно, что каждый подранный диван делает котиков гораздо счастливее, чем очередное увеличение пайков. Эта разница математически описывается с помощью коэффициента b1.

Коэффициент b1 определяется как тангенс угла между линией котиков и оси x. Чем больше этот коэффициент, тем сильнее растет уровень счастья от каждой новой порции. Коэффициент b1 определяется как тангенс угла между линией котиков и оси x. Чем больше этот коэффициент, тем сильнее растет уровень счастья от каждой новой порции. Вторая величина, которая может описывать прямую, называется b0. Она показывает насколько счастливы котики, если их совсем не кормить.

Реальные взаимосвязи мало похожи на прямую линию. Чаще они напоминают собой огурец, а в запущенных случаях – авокадо. Но описывать такие вещи довольно сложно, поэтому статистиками был разработан специальный метод, который позволяет подобрать такую прямую, которая смогла бы заменить этот овощ с минимальными потерями данных. Этот метод называется регрессионным анализом Реальные взаимосвязи мало похожи на прямую линию. Чаще они напоминают собой огурец, а в запущенных случаях – авокадо. Но описывать такие вещи довольно сложно, поэтому статистиками был разработан специальный метод, который позволяет подобрать такую прямую, которая смогла бы заменить этот овощ с минимальными потерями данных. Этот метод называется регрессионным анализом

Предположения, ограничения и обсуждение практических вопросов Предположения, ограничения и обсуждение практических вопросов www.statsoft.ru/home/textbook/modules/stmulreg.html Предположение линейности. Предполагается, что связь между переменными является линейной. На практике это предположение, в сущности, никогда не может быть подтверждено; к счастью, процедуры множественного регрессионного анализы в незначительной степени подвержены воздействию малых отклонений от этого предположения. Однако всегда имеет смысл посмотреть на двумерные диаграммы рассеяния переменных, представляющих интерес. Если нелинейность связи очевидна, то можно рассмотреть или преобразования переменных или явно допустить включение нелинейных членов.

Ограничения. Основное концептуальное ограничение всех методов регрессионного анализа состоит в том, что они позволяют обнаружить только числовые зависимости, а не лежащие в их основе причинные (causal) связи. Ограничения. Основное концептуальное ограничение всех методов регрессионного анализа состоит в том, что они позволяют обнаружить только числовые зависимости, а не лежащие в их основе причинные (causal) связи. Например, можно обнаружить сильную положительную связь (корреляцию) между разрушениями, вызванными пожаром, и числом пожарных, участвующих в борьбе с огнем. Следует ли заключить, что пожарные вызывают разрушения? Конечно, наиболее вероятное объяснение этой корреляции состоит в том, что размер пожара (внешняя переменная, которую забыли включить в исследование) оказывает влияние, как на масштаб разрушений, так и на привлечение определенного числа пожарных (т.е. чем больше пожар, тем большее количество пожарных вызывается на его тушение). Хотя этот пример довольно прозрачен, в реальности при исследовании корреляций альтернативные причинные объяснения часто даже не рассматриваются.

Выбор числа переменных. Множественная регрессия предоставляет пользователю "соблазн" включить в качестве предикторов все переменные, какие только можно, в надежде, что некоторые из них окажутся значимыми. Выбор числа переменных. Множественная регрессия предоставляет пользователю "соблазн" включить в качестве предикторов все переменные, какие только можно, в надежде, что некоторые из них окажутся значимыми. Проблема также возникает, когда и число наблюдений относительно мало. Интуитивно ясно, что едва ли можно делать выводы из анализа вопросника со 100 пунктами на основе ответов 10 респондентов. Большинство авторов советуют использовать, по крайней мере, от 10 до 20 наблюдений (респондентов) на одну переменную, в противном случае оценки регрессионной линии будут, вероятно, очень ненадежными и, скорее всего, невоспроизводимыми для желающих повторить это исследование. Принцип парсимонии: по отношению к регрессорам - чем меньше, тем лучше. Другой регрессор будет позволять объяснить немножко больше, но очень часто это приводит к тому, что наше понимание затуманивается.

Принцип здравого смысла: Принцип здравого смысла: регрессор должен иметь логические взаимоотношения с зависимой переменной, кроме статистических взаимоотношений

Наилучшие регрессионные модели Наилучшие регрессионные модели Поиск наилучшей регрессионной модели – искусство, у которого нет рецептов. С одной стороны, для получения надёжных прогнозов значений отклика y в модель нужно включать как можно больше независимых переменных. С другой стороны, с увеличением их числа возрастает дисперсия прогноза и увеличивается затратность исследования. Некоторые общие требования к регрессионным моделям: Регрессионная модель должна объяснять не менее 80 % вариации зависимой переменной, т.е. R2>0,8 (что в психологических исследованиях достигается крайне редко) Чем меньше сумма квадратов остатков, чем меньше стандартная ошибка оценки и чем больше R2, тем лучше уравнение регрессии. Коэффициенты уравнения регрессии и его свободный член должны быть значимы по уровню 0,05. Остатки от регрессии должны быть без заметной автокорреляции (r<0,3), нормально распределены и без систематической составляющей. Понятие «наилучшая регрессионная модель» является субъективным, так как нет никакой единой статистической процедуры для выбора соответствующего подмножества независимых переменных.

Дополнительные ресурсы http://www.statcats.ru/2016/05/blog-post_10.html http://www.statsoft.ru/home/textbook/modules/stmulreg.html Обзорная презентация http://www.myshared.ru/slide/764056/ http://www.myshared.ru/slide/616696/ http://pubhealth.spb.ru/SASDIST/MLR.htm Для продвинутых : http://forum.disser.ru/index.php?showtopic=2439