В силу того, что оценки bj, полученные методом наименьших квадратов, являются несмещенными оценками параметров Р7, [c.92]
Выше ( 4.2) мы уже показали, что оценка метода наименьших квадратов b = (X X) l X Y есть несмещенная оценка для вектора параметров р, т. е. М(Ь) = р. Любую другую оценку Ь вектора р без ограничения общности можно представить в виде [c.94]
При несоблюдении основных предпосылок МНК приходится корректировать модель, изменяя ее спецификацию, добавлять (исключать) некоторые факторы, преобразовывать исходные данные для того, чтобы получить оценки коэффициентов регрессии, которые обладают свойством несмещенности, имеют меньшее значение дисперсии остатков и обеспечивают в связи с этим более эффективную статистическую проверку значимости параметров регрессии. Этой цели, как уже указывалось, служит и применение обобщенного метода наименьших квадратов, к рассмотрению которого мы и переходим в п. 3.11. [c.169]
Обобщенный метод наименьших квадратов применяется к преобразованным данным и позволяет получать оценки, которые обладают не только свойством несмещенности, но и имеют мень- [c.169]
Рассмотрим схему Гаусса-Маркова (у, Xf3, <т2/), где r(X) = k. В 3 мы получили наилучшую аффинную несмещенную оценку для /3, /3 = (Х Х) 1Х у (оценка Гаусса-Маркова), минимизируя квадратичную форму (след ковариационной матрицы оценки) при линейном ограничении (несмещенность). В 4 мы показали, что оценка Гаусса— Маркова может быть также получена минимизацией (у — Х(3) (у — Х/3) по всем /3 из R. Тот факт, что метод наименьших квадратов (который является методом аппроксимации, а не оценивания) приводит к наилучшим аффинным оценкам, является довольно неожиданным и, конечно, не тривиальным. [c.355]
Теоремы 15, 16 и следствия из них доказывают поразительный и нетривиальный факт, что метод наименьших квадратов (при наличии ограничений) приводит к наилучшей аффинной несмещенной оценке. [c.358]
Метод, используемый чаще других для нахождения параметров уравнения регрессии и известный как метод наименьших квадратов, дает наилучшие линейные несмещенные оценки. Он называется так потому, что при расчете параметров прямой линии, которая наиболее соответствует фактическим данным, с помощью этого метода стараются найти линию, минимизирующую сумму квадратов значений ошибок или расхождений между величинами Y, которые рассчитаны по уравнению прямой и обозначаются Y, и фактическими наблюдениями. Это показано на рис. 6.2. [c.265]
Несмещенность оценок параметров регрессии. Оценка параметров регрессии называется несмещенной, если для любого фиксированного числа наблюдений выполняется равенство математического ожидания параметра и значения параметра регрессии. Надо отметить, что оценки, полученные методом наименьших квадратов, обладают свойством несмещенности. [c.149]
Обобщенный метод наименьших квадратов. Ответ на вопрос об эффективной линейной несмещенной оценке вектора (3 для модели (5.3) дает следующая теорема. [c.156]
Далее мы установим, что оценки, полученные методом наименьших квадратов, представляют собой наилучшие линейные несмещенные оценки, т. е. что в классе всех линейных несмещенных операторов оценивания оценки наименьших квадратов обладают наименьшей дисперсией. Определим произвольную линейную оценку параметра (5 как [c.29]
При условии, что значения л известны, предпочтительнее оценивать b по формуле (7.26), нежели пользоваться оценкой, найденной обыкновенным методом наименьших квадратов р из (7.30), поскольку первая формула дает наилучшую линейную несмещенную оценку. По- [c.214]
Предложенный метод требует ответа на ряд вопросов. Необходимо установить, что формальная оценка b из (7.44) представляет собой наилучшую линейную несмещенную оценку вектора р из (7.42), где наилучшая относится к выборочной и предварительной информации одновременно. На первый взгляд эта задача кажется тупиковой, поскольку модель (7.42) объединяет два качественно различных типа данных, а именно выборочные наблюдения для у и X и несколько априорных значений статистических оценок, указанных в г и R. В ряде обычных прикладных ситуаций переменная Y, а следовательно, и возмущение и, измеряются в постоянных долларах, приходящихся на душу населения в год, в то время как ошибка и относится к эластичности от дохода, и следовательно, является безразмерной величиной. Однако применение обобщенного метода наименьших квадратов означает, что минимизируется взвешенная сумма квадратов [c.221]
Простой метод наименьших квадратов для одного уравнения регрессии, т. е. мы пренебрегаем неоднородностью дисперсий и существованием более чем одного уравнения регрессии. Тогда наилучшей линейной несмещенной оценкой (НЛНО) будет простая, или обычная, оценка по методу наименьших квадратов (МНК-оценка). Регрессионные уравнения (76) в матричной записи имеют вид [c.311]
Другой метод устранения или уменьшения мультиколлинеар-ности заключается в переходе от несмещенных оценок, определенных по методу наименьших квадратов, к смещенным оценкам, обладающим, однако, меньшим рассеянием относительно оцениваемого параметра, т. е. меньшим математическим ожиданием квадрата отклонения оценки fy от параметра ру или М (bj— p/)2. [c.110]
Как и в случае любой обобщенной модели множественной регрессии, метод наименьших квадратов при наличии коррели-рованности ошибок регрессии дает несмещенные и состоятельные (хотя, разумеется, неэффективные) оценки коэффициентов [c.169]
Если удастся построить АКМ4-модель для ряда остатков, то можно получить эффективные оценки параметра р, а также несмещенные и состоятельные оценки дисперсий р с помощью обобщенного метода наименьших квадратов. Мы рассмотрим эту процедуру на простейшей (и в то же время наиболее часто встречающейся) авторегрессионной модели первого порядка. [c.181]
Замечание. Фактически теорема 2 обобщает теорему 1 в двух направлениях. Во-первых, рассматривается более общий вид ковариационной матрицы для у, а именно
При выполнении предпосылок 1)-4) относительно ошибок е( оценки параметров множественной линейной регрессии являются несмещенными, состоятельными и эффективными. Отклонение зависимой переменной у ву-м наблюдении от линии регрессии, ер записывается следующим образом е = у - а0 - atx - a fl -. .. - amxjm. Обозначим сумму квадратов этих величин, которую нужно минимизировать в соответствии с методом наименьших квадратов, через Q. [c.308]
Отметим, что оценки максимального правдоподобия параметров а, 6 совпадают с оценками метода наименьших квадратов OML = SOLS, ML OLS- Это легко видеть из того, что уравнения (2.37а) и (2.376) совпадают с соответствующими уравнениями метода наименьших квадратов (2.2). Оценка максимального правдоподобия для <т2 не совпадает с
Состоятельное оценивание дисперсий. Предположим теперь, что в модели (6.1) с гетероскедастичностью для оценки вектора параметра ft используется обычный метод наименьших квадратов. Как установлено в главе 5, эта оценка является состоятельной и несмещенной, однако стандартная оценка ее матрицы ко-вариаций ((3.8), (ЗД9)) V"(/3OLs) — ff2(X X) l смещена и несостоятельна. Отметим, что компьютерные пакеты при оценивании коэффициентов регрессии вычисляют стандартные ошибки коэффициентов регрессии именно по этой формуле. Можно ли сделать поправку на гетероскедастичность и улучшить оценку матрицы ковариаций Положительный ответ дают приводимые ниже два способа оценивания. [c.173]
При анализе временных рядов часто приходится учитывать статистическую зависимость наблюдений в разные моменты времени. Иными словами, для многих временных рядов предположение о некоррелированности ошибок не выполняется. В этом разделе мы рассмотрим наиболее простую модель, в которой ошибки образуют так называемый авторегрессионный процесс первого порядка (точное определение будет дано ниже). Как было показано ранее (глава 5), применение обычного метода наименьших квадратов к этой системе дает несмещенные и состоятельные оценки параметров, однако можно показать (см., например, Johnston and DiNar-do, 1997), что получаемая при этом оценка дисперсии оказывается смещенной вниз, что может отрицательно сказаться при проверке гипотез о значимости коэффициентов. Образно говоря, МНК рисует более оптимистичную картину регрессии, чем есть на самом деле. [c.184]
Рассматривая реализацию (12.4), (12.5) модели (12.3) с помощью ненаблюдаемой переменной у, мы предполагали, что ошибки t одинаково распределены, в частности, гомоскедастичны. Известно (п. 6.1), что при нарушении этого условия, т.е. при наличии гетероскедастичности, оценки метода наименьших квадратов в линейных регрессионных моделях перестают быть эффективными, но остаются несмещенными и состоятельными. В нашем случае гетероскедастичность, вообще говоря, приводит к нарушению состоятельности и асимптотической несмещенности. На содержательном уровне это нетрудно понять, исходя из следующих соображений. Пусть ошибки t, t — 1,. . . , п распределены нормально с нулевым средним и дисперсиями at, t — 1,. .., п (гетероскедастичность) и предположим, что выполнено (12.5). Тогда, повторяя выкладки (12.6), получим [c.328]
Для получения оценок параметров ц, (3 можно к модели (13.16) применить обычный метод наименьших квадратов. Условия 1)-3) гарантируют несмещенность и состоятельность этих оценок. Однако ошибки в (13.16) не являются гомоскедастичными, поэтому для построения эффективных оценок можно воспользоваться обобщенным методом наименьших квадратов (см. п. 5.2). [c.368]
Оценки, которые получаются применением к уравнению (13.21) обычного метода наименьших квадратов, называются межгрупповыми оценками (between estimator) ft — /3g. Эти оценки, как нетрудно проверить, являются несмещенными и состоятельными [c.369]
Введение в эмпирический анализ основные характеристики случайных величин, средние, распределение частот (вероятностей), группировки статистических данных, центр распределения, разброс, ассиметрия, эксцесс закон больших чисел качественная однородность совокупности основные типы распределения вероятности в эконометрии показатели измерения связи регрессионный анализ модель регрессии в эконометрии и математической статистике метод наименьших квадратов вероятностные гипотезы несмещенность, состоятельность и эффективность оценок следствия нормальности распределения ошибок критерий Стьюдента критерий Фишера мультиколлинеарность шаговая [c.130]
Следовательно, наилучшая линейная несмещенная оценка вектора р если мы ограничены данными у и X, будет найдена применением обоб щенното метода наименьших квадратов к уравнению (7.54), так чт< [c.227]