Полагая выполнение предпосылки 5 (с. 61) регрессионного анализа, т. е. нормальную классическую регрессионную модель (3.22), будем рассматривать значения у/ как независимые нормально распределенные случайные величины с математическим ожиданием М(у,-)=р0+Р,, -, являющимся функцией от х и постоянной дисперсией ст2. [c.63]
При функциональной форме мультиколлинеарности по крайней мере одна из парных связей между объясняющими переменными является линейной функциональной зависимостью. В этом случае матрица Х Х особенная, так как содержит линейно зависимые векторы-столбцы и ее определитель равен нулю, т. е. нарушается предпосылка 6 регрессионного анализа. Это приводит к невозможности решения соответствующей системы нормальных уравнений и получения оценок параметров регрессионной модели. [c.108]
В данной главе мы полагаем, что возмущения Е, (t= 1,..., л) удовлетворяют предпосылкам регрессионного анализа, т. е. условиям нормальной классической регрессионной модели ( 3.4). [c.145]
Регрессионный анализ - один из наиболее разработанных методов математической статистики. Строго говоря, для реализации регрессионного анализа необходимо выполнение ряда специальных требований (в частности, х[,х2,...,хп у должны быть независимыми, нормально распределенными случайными величинами с постоянными дисперсиями). В реальной жизни строгое соответствие требованиям регрессионного и корреляционного анализа встречается очень редко, однако оба эти метода весьма распространены в экономических исследованиях. Зависимости в экономике могут быть не только прямыми, но и обратными и нелинейными. Регрессионная модель может быть построена при наличии любой зависимости, однако в многофакторном анализе используют только линейные модели вида [c.101]
Наряду с предпосылками МНК как метода оценивания параметров регрессии при построении регрессионных моделей должны соблюдаться определенные требования относительно переменных, включаемых в модель. Они были рассмотрены ранее при решении проблемы отбора факторов. Это прежде всего требование относительно числа факторов модели по заданному объему наблюдений (отношение 1 к 6—7). Иначе параметры регрессии оказываются статистически незначимыми. В общем виде применение МНК возможно, если число наблюдений я превышает число оцениваемых параметров т, т. е. система нормальных уравнений имеет решение только тогда, когда п > т. [c.169]
В следующих двух параграфах будет выведена наилучшая квадратичная несмещенная оценка сг2 для нормальной линейной регрессионной модели, где [c.362]
Наилучшей квадратичной положительной несмещенной оценкой сг2 в нормальной линейной регрессионной модели (т/, Х/3, сг2/п) будет [c.363]
Наилучшая квадратичная несмещенная оценка для сг2 в нормальной регрессионной модели (т/, -Х/3, сг2/п) равна [c.365]
Наилучшая квадратичная положительная инвариантная оценка а2 для нормальной регрессионной модели (т/, Х/3, сг2/п) имеет вид [c.369]
Наилучшая квадратичная инвариантная оценка сг в нормальной линейной регрессионной модели (т/, Х/3, сг2/п) имеет вид [c.371]
Пусть (y,X/3,V) — нормальная линейная регрессионная модель с положительно определенной матрицей V. Предположим, что существует априорная информация о /3 [c.386]
Рассмотрим нормальную линейную регрессионную модель (у,Х(3, V), V положительно определена с априорной информацией (3 Л/"(6, Я "1). Тогда локальные чувствительности апостериорного среднего 6, заданного в (3), по отношению к V"1, X и априорным 6, Я "1 равны соответственно [c.386]
НЕЛИНЕЙНАЯ РЕГРЕССИОННАЯ МОДЕЛЬ С НОРМАЛЬНЫМИ ОШИБКАМИ [c.406]
Решение основных задач по оценке точности нелинейной регрессионной модели. Подчеркнем два главных отличия данного случая от линейного, рассмотренного в 11.1. Во-первых, используемые для построения доверительных интервалов свойства состоятельных мнк-оценок 0 — несмещенность, оптимальность, нормальность, а также свойства б), в) и г) из п. 11.1.1 справедливы лишь в асимптотическом (по п-+- оо) смысле. Во-вторых, следует учитывать приближенный характер базовых соотношений (11.24) и соответственно (11.25) и (11.26). Следует признать, что возможны различные уточнения описываемого здесь приближенного подхода [1611. Однако вряд ли они существенно усовершенствуют предлагаемые в данном параграфе практические рекомендации ведь даже так называемые точные критерии и доверительные интервалы на практике оказываются всего лишь приближенными (они точны лишь в той мере, в какой соблюдаются в реальной ситуации те идеализированные допущения, на которых строятся соответствующие статистические выводы). Поэтому, говоря о том, что интересующая нас погрешность не превзойдет определенной величины с доверительной вероятностью, например, равной 0,95, мы должны всегда отдавать себе отчет в приближенном характере подобных заключений. [c.355]
Замечание. В случае нормальной линейной регрессионной модели условие ЗЬ эквивалентно условию статистической независимости ошибок t) s при t s (см. приложение МС, п. 4, N4). [c.39]
Пусть выполняется условие нормальной линейной регрессионной модели ЛГ(0,<72/П), т.е. е — многомерная нормально распределенная случайная величина, или, что то же самое, Yt имеют совместное нормальное распределение. Тогда МНК-оценки коэффициентов регрессии a, b также имеют совместное нормальное распределение, так как они являются линейными функциями (2.4а), (2.46) от Yt [c.46]
Покажем, что в случае нормальной линейной регрессионной модели, т. е. когда е — многомерная нормально распределенная случайная величина, выполняется [c.47]
По условиям классической нормальной регрессионной модели /а JV(0,/ i), таким образом, в силу свойства N8 (приложение МС, п. 4) [c.48]
Снова предположим, что мы находимся в рамках нормальной линейной регрессионной модели. Из (2.17), (2.21) получаем [c.54]
Предположим, что мы ищем параметры нормальной линейной регрессионной модели [c.55]
Зс. JV(0, r2/n), т.е. — нормально распределенный случайный вектор со средним 0 и матрицей ковариаций <т2/п (нормальная линейная регрессионная модель). [c.68]
В предположении нормальной линейной множественной регрессионной модели удается доказать независимость оценок /3 и s2. В самом деле, из (3.4) получаем [c.73]
Ранее мы рассмотрели модели, в которых какие-либо независимые переменные принимают дискретные значения, например, 0 или 1, выражая некоторые качественные признаки (фиктивные переменные). Относительно зависимой переменной явно или неявно предполагалось, что она выражает количественный признак, принимая непрерывное множество значений. В частности, в нормальной линейной регрессионной модели (п. 2.3) предполагается, что ошибка имеет гауссовское распределение, откуда следует, что зависимая переменная у может принимать любые значения. В то же время довольно часто интересующая нас величина по своей природе является дискретной. Выделим несколько типичных ситуаций. [c.318]
Предположим, что имеется нормальная линейная регрессионная модель (см. п. 3.1) [c.338]
Если проверка остатков выявит, что лежащие в основе регрессионной модели допущения не выполняются, то исследователь может преобразовать переменные таким образом, чтобы эти предположения выполнялись. Такие преобразования, как логарифмирование, извлечение квадратного корня или вычисление обратных величин, могут стабилизировать дисперсию, сделать распределение нормальным и зависимость линейной. В дальнейшем мы проиллюстрируем применение множественной регрессии на примере. [c.666]
Построение адекватных регрессионных моделей для целей прогнозирования с помощью метода наименьших квадратов предъявляет к исходной информации весьма жесткие требования. В ряде случаев эти требования для реальных наблюдений оказываются невыполненными, поэтому получаемые оценки оказываются неэффективными, а прогноз — недостоверным. Действительно, требование нормальности распределения ошибок, предъявляемое к исходной информации процедурой метода наименьших квадратов, в большом числе случаев оказывается невыполненным. Так, говорится Нормальность - это миф. В реальном мире никогда не было и никогда не будет нормального распределения . Поэтому в последнее время интенсивно разрабатывается новое направление в статистике - так называемая робастная статистика, задача которой в том и состоит, [c.39]
Основные оценки моделей. При выполнении регрессионного анализа нужно получить оценки, позволяющие оценить точность модели и вероятность ее существования. При нормальном законе распределения эти условия будут удовлетворены, если оценить [c.89]
Рассмотрим статистика, который строит модель прогнозирования фондового рынка. Один из самых распространенных и эффективных методов решения этой задачи — строить модель с помощью регрессионного анализа. В рамках этого метода статистик настраивает прямую линию на данные фондового рынка. После того как это сделано, для получения прогноза вычисляется следующая точка на линии регрессии. Такая модель будет давать прямолинейную проекцию. Хотя эта проекция может не быть очень точной с точки зрения трейдинга, это нормальная статистическая процедура. [c.162]
Чаще всего для прогнозов применяются многофакторные математические модели на основе корреляционно-регрессионного анализа-исследования взаимозависимости признаков в генеральной совокупности, являющихся случайными величинами, имеющими нормальное многомерное распределение, и статистических выводов относительно полученных уравнений и коэффициентов регрессии. [c.146]
Сравнивая два способа решения систем (8.60) (непосредственно с матрицей X и с переходом к системе нормальных уравнений), можно сделать вывод, что несогласованные системы (8.60), как правило, лучше решать, используя переход к нормальной системе уравнений. В статистической практике несогласованные системы возникают, когда матрица данных X переопределена, т. е. число объектов (столбцов) в ней больше числа переменных (строк), и при этом линейные уравнения, входящие в систему (8.60), не могут выполняться точно. Но превышение числа объектов над числом переменных — типичная ситуация в регрессионном анализе. Второе условие несогласованности также часто выполняется, так как обычно системы линейных уравнений используются для оценки параметров линейных моделей типа (8.1), являющихся лишь приближением действительных соотношений между переменными (мерой этого приближения как раз и является дисперсия случайной компоненты е). Для обоснования перехода к нормальной системе уравнений существенно и то, что матрица Х Х тесно связана с ковариационной матрицей, которая является исходным объектом для различных видов многомерного анализа (главных компонент, факторного анализа и т. д.). [c.275]
Простейшим примером стационарного временного ряда, у которого математическое ожидание равно нулю, а ошибки е/ некорре-лированы, является белый шум . Следовательно, можно сказать, что возмущения (ошибки) е, в классической линейной регрессионной модели образуют белый шум, а в случае их нормального распределения — нормальный (гауссовский) белый шум. [c.136]
Шестая часть посвящена оценкам максимального правдоподобия, которые, конечно, являются идеальным объектом для демонстрации мощи развиваемой техники. В первых трех главах исследуется несколько моделей, среди которых есть многомерное нормальное распределение, модель с ошибками в переменных и нелинейная регрессионная модель. Рассматриваются методы работы с симметрией и положительной определенностью, специальное внимание уделено информационной матрице. Вторая глава этой части содержит обсуждение одновременных уравнений при условии нормальности ошибок. В ней рассматриваются проблемы оценивания и идентифицируемости параметров при различных (не)линейных ограничениях на параметры. В этой части рассматривается также метод максимального правдоподобия с полной информацией (FIML) и метод максимального правдоподобия с ограниченной информацией (LIML), особое внимание уделено выводу асимптотических ковариационных матриц. Последняя глава посвящена различным проблемам и методам психометрики, в том числе методу главных компонент, мультимодальному компо- [c.16]
Регрессионная модель должна быть построена в форме Yt = OQ + a. Xa + a.jXii + eh где е, — независимые и нормально распределенные переменные, все имеющие одинаковую дисперсию. [c.299]
Одним из условий классической регрессионной модели является предположение о линейной независимости объясняющих переменных, что означает линейную независимость столбцов матрицы регрессоров X или (эквивалентно) что матрица (Х Х) 1 имеет полный ранг k. При нарушении этого условия, т. е. когда один из столбцов матрицы X есть линейная комбинация остальных столбцов, говорят, что имеет место полная коллинеарность. В этой ситуации нельзя построить МНК-оценку параметра (3, что формально следует из сингулярности матрицы X X и невозможности решить нормальные уравнения. Нетрудно также понять и содержательный смысл этого явления. Рассмотрим следующий простой пример регрессии (Greene, 1997) С = fa + faS + foN + /34Т + е, где С — потребление, S — зарплата, N — доход, получаемый вне работы, Т — полный доход. Поскольку выполнено равенство Т = S + N, то для произвольного числа h исходную регрессию можно переписать в следующем виде С = (3i+/3 2S+/3 3iN+/3 4T-1r , где / 2 = 02 + h, /% = Рз + h, /3 4 = 04 — h. Таким образом, одни и те же наблюдения могут быть объяснены различными наборами коэффициентов /3. Эта ситуация тесно связана с проблемой идентифицируемости системы, о чем более подробно будет говориться позднее. Кроме того, если с учетом равенства Т — S + N переписать исходную систему в виде С = fa + (/% + 0 )S + (/Зз + /3 )N + е, то становится ясно, что оценить можно лишь три параметра fa, (Дз + Д ) и (/ 3 + /3
Рассматривая реализацию (12.4), (12.5) модели (12.3) с помощью ненаблюдаемой переменной у, мы предполагали, что ошибки t одинаково распределены, в частности, гомоскедастичны. Известно (п. 6.1), что при нарушении этого условия, т.е. при наличии гетероскедастичности, оценки метода наименьших квадратов в линейных регрессионных моделях перестают быть эффективными, но остаются несмещенными и состоятельными. В нашем случае гетероскедастичность, вообще говоря, приводит к нарушению состоятельности и асимптотической несмещенности. На содержательном уровне это нетрудно понять, исходя из следующих соображений. Пусть ошибки t, t — 1,. . . , п распределены нормально с нулевым средним и дисперсиями at, t — 1,. .., п (гетероскедастичность) и предположим, что выполнено (12.5). Тогда, повторяя выкладки (12.6), получим [c.328]
Для описания многомерного распределения предлагается распределение части координат (Х(1)) аппроксимировать стандартной нормальной моделью или считать таким, как оно получилось в выборке, а распределение остальных координат (Х<2)) заменить на надлежащим образом подобранный (р—5)-мерный нормальный закон со средним, линейно зависящим от Х(1), и ковариационной матрицей V условного распределения Х(2> при фиксированном значении Х(1), от Х(1) не зависящей. Но это и есть модель линейной многомерной регрессии, в которой Х(1)играет роль предикторной точки-наблю-дений (X), Х(2> — роль многомерного результирующего показателя (У), Е (Х(2) Х(1>) — многомерная регрессия Х(2> на Х(1), а Х(2) — Е(Х(2) Х >) — регрессионные остатки с ковариационной матрицей V. [c.234]
Модель, определяемую соотношениями и условиями (11.1), (11.2), (11.4) и (11.5), будем называть линейным (относительно оцениваемых параметров) нормальным вариантом идеализированной схемы регрессионной зависимости (идеализация, к к было отмечено, заключается в постулировании редко выполняющихся в статистической практике допущений (11.7) и (11.2)). [c.337]
Робастная регрессия. Уравнение регрессии, по лучаемое методом наименьших квадратов, имеет существенный дефект, заключающийся в том, что при наличии грубых ошибок в данных оценки его коэффициентов сильно искажаются, то есть являются неустойчивыми к отклонениям от обычного предположения в регрессионном анализе, что ошибки , в модели регрессии у= a + b x +... + bpxp+ , имеют нормальное распределение. [c.186]