Рассмотрим геометрическую интерпретацию регрессии. Предположим, что мы имеем и=3 наблюдения уь у2, уз — зависимой переменной У и х, х2,х — объясняющей переменной X. Рассматривая трехмерное пространство с осями координат 1, 2, 3, можно построить векторы Y=(y, у2, уз), Х=(х, х2, х ), а также вектор S O ) (рис. 3.7). Тогда значения у, у2,у3, получаемые по уравнению регрессии у = Ь0 + Ь х, можно рассматривать как [c.76]
Геометрическая интерпретация регрессии, проведенная нами при и=3 наблюдениях, в принципе сохраняется и при >3, однако при этом она теряет свою наглядность. [c.78]
Напомним, что в 3.7 мы рассматривали геометрическую интерпретацию регрессии и, в частности, проекцию вектора К на пространство регрессоров. [c.198]
В соответствии с геометрической интерпретацией регрессии из (3.10), (3.11) вытекает, что матрица N является матрицей оператора ортогонального проектирования на подпространство тг, порожденное векторами Xi а М — матрицей оператора ортогонального проектирования на тг-1- — ортогональное дополнение к подпространству тг в Rn. Поэтому [c.72]
Таким образом, ft = ft, т. е. МНК-оценки вектора (3, полученные в длинной и короткой регрессиях, совпадают. (Если пользоваться геометрической интерпретацией, то содержательно полученный результат выражает хорошо известную теорему о трех перпендикулярах.) [c.126]
Эв-оценки. Введённое в п. 7.2.4 понятие экспоненциально-взвешенной регрессий (А,- регрессии) допускает естественное обобщение ни случай многомерной регрессии. При этом сохраняется геометрическая интерпретация эв-регрессии с бчевид-ным перенесением на многомерный отлик определений 7. 1 — 7.4. Приведем только основные расчетные формулы, взяв за основу итерационный процесс, описанный в предыдущем пункте, и модифицировав его согласно (7.39), (7.40) [c.233]
Вернемся к геометрической интерпретации регрессии из раздела 2.2. Вектор Уг является ортогональной проекцией вектора у на вектор г. Вектор у есть ортогональная проекция вектора у на плоскость (г, ж) (см. рис. 2.6). По теореме о трех перпендикулярах ортогональная проекция вектора у на вектор г совпадает с Уг. Равенство (2.26) является теоремой Пифагора для прямоугольного треугольника со сторонами у — Уг, у — Уг, е, т.е. у Гг 2 = е 2 + у - Уг 2. Поэтому Л2 = RSS/TSS - os2
На практике полная коллинеарность встречается исключительно редко. Гораздо чаще приходится сталкиваться с ситуацией, когда матрица X имеет полный ранг, но между регрес-сорами имеется высокая степень корреляции, т. е. когда матрица Х Х, говоря нестрого, близка к вырожденной. Тогда говорят о наличии мультиколлинеарности. В этом случае МНК-оценка формально существует, но обладает плохими свойствами. Это нетрудно объяснить, используя геометрическую интерпретацию метода наименьших квадратов. Как уже отмечалось, регрессию можно рассматривать как проекцию в пространстве Rn вектора у на подпространство, порожденное столбцами матрицы X. Если между этими векторами существует приблизительная линейная зависимость, то операция проектирования становится неустойчивой небольшое изменение в исходных данных может привести к существенному изменению оценок. Рисунок 4.1 наглядно это демонстрирует. Векторы у к у мало отличаются друг от друга, но в [c.110]