Метод максимального правдоподобия. Для его применения должен быть известен вид закона распределения вероятностей имеющихся выборочных данных. [c.63]
В соответствии со свойствами оценок максимального правдоподобия оценки (bo, b ) и с2 (а значит, и s2) являются состоятельными оценками. Можно показать, что при выполнении предпосылки 5 о нормальном законе распределения возмущения е, (/= ,..., л) эти оценки являются независимыми. [c.64]
При выполнении предпосылки 5 о нормальном законе распределения вектора возмущений е можно убедиться в том, что оценка Ь обобщенного метода наименьших квадратов для параметра р при известной матрице Q совпадает с его оценкой, полученной методом максимального правдоподобия. [c.154]
Если случайные величины Е, имеют нормальное распределение, то уравнение (8.34) может быть оценено методом максимального правдоподобия (см. 2.7). Так как в случае нормального распределения ошибок регрессии оценки максимального правдоподобия совпадают с оценками метода наименьших квадратов, на практике применение этого метода к модели (8.15) сводится к нелинейной задаче минимизации по а, р, у и Р функции [c.205]
Как известно, оценки, получаемые методом максимального правдоподобия, оказываются наиболее эффективными, однако применение этого метода требует знания вида распределения ошибок регрессии. Так, минимизируя функцию (8.35), мы получим наиболее точные оценки параметров, но лишь в том случае, если эта функция действительно является логарифмом функции правдоподобия, т. е. ошибки , действительно имеют нормальное распределение. [c.205]
В некоторых случаях нормальное распределение ошибок регрессии может следовать из некоторых теоретических соображений, — например, может использоваться центральная предельная теорема. Однако чаще всего нормальное распределение ошибок является модельным допущением, которое принимается в силу того лишь, что ему нет явных противоречий. В этом случае использование метода максимального правдоподобия требует определенной осторожности, и лучше использовать его в сочетании с другими методами. [c.205]
Отметим также следующее обстоятельство. Если остатки ряда модели подчинены процессу скользящей средней, уравнение с нормально распределенными ошибками будет содержать бесконечное число лагов переменной Y. Коэффициенты при них убывают в геометрической прогрессии, и можно ограничиться несколькими первыми членами. В этом случае метод максимального правдоподобия практически равносилен нелинейному методу наименьших квадратов. [c.205]
В настоящем примере известно, что случайные величины , имеют нормальное распределение, так что наиболее точные оценки дает метод максимального правдоподобия. Применяя его, получим [c.215]
Перейдем к разработке прогноза х . Найдем оценку максимального правдоподобия (ОМП) вектора (А., м) = ( ь-.., -m. PI.---F Мп) в распределении (4.37). Для этого в соответствии с методом максимального правдоподобия необходимо решить задачу максимизации логарифма функции f(x, A, ju) при условии (4.37). [c.128]
Оценка максимального правдоподобия (ОМП) распределения вероятностей выборки 128, 129 [c.228]
В тех случаях, когда все пять предпосылок выполняются, оценки, полученные по МНК и по методу максимального правдоподобия, совпадают между собой. Если распределение случайных остатков е, не соответствует некоторым предпосылкам МНК, то следует корректировать модель. [c.157]
Метод максимального правдоподобия имеет большое преимущество по сравнению с другими методами точечной оценки. Он дает состоятельные, распределенные асимптотически нормально, эффективные оценки. Хотя эти оценки могут быть несколько смещенными. [c.48]
Оценка максимального правдоподобия многомерного нормального распределения [c.393]
Обычно выборочную дисперсию определяют как S = (п/ (п — 1)) , поскольку S несмещенная оценка 1. Однако мы будем пользоваться (3) потому что если х распределен нормально, то (3) есть оценка максимального правдоподобия для 1. [c.447]
Если х имеет р-мерное нормальное распределение, тогда S является оценкой максимального правдоподобия для матрицы 7. Если к тому же все собственные значения 1 различны, то ML-оценки для Л и ti равны / и q соответственно [c.448]
Универсальный метод отыскания эффективных оценок числовых характеристик любых законов распределения вероятности случайных чисел или величин разработан Р. А. Фишером. Он называется методом максимального правдоподобия. Сущность этого метода заключается в следующем. [c.101]
Пример 25. Определить методом максимального правдоподобия эффективные оценки среднего значения и дисперсии результата измерения, независимые равноточные значения которого подчиняются нормальному закону распределения вероятности. [c.102]
После определения с той или иной вероятностью закона распределения вероятности результата измерения, методом максимального правдоподобия (см. разд. 3.6.1) устанавливаются оценки его числовых характеристик и на основе их использования разрабатывается вся последующая процедура обработки экспериментальных данных. Такая обработка называется оптимальной и обеспечивает наивысшую точность при выбранных критериях. [c.113]
В классических предположениях мнк-оценки совпадают с оценками максимального правдоподобия и являются наилучшими среди всех несмещенных оценок в. Однако при отклонении распределения г от нормального в сторону увеличения вероятности больших отклонений мнк-оценки быстро теряют свои оптимальные свойства. В связи с этим в практической работе широко используются функции потерь р(и) Ф и2. Среди них выделяется функция ря, (и) = А,-1 (1 — ехр — А,м2/2 ), при К -> 0 стремящаяся к и2/2, а при и - оо (X > 0) имеющая горизонтальную асимптоту. Она приводит к так называемым эв-оценкам параметров регрессионной зависимости (эв-регрессия или Х-регрессия). Эти оценки устойчивы к нарушению предположения нормаль- [c.249]
Вторую группу составляют методы, использующие полную информацию о системе, т. е. о строении ее уравнений и о степени их стохастической зависимости. Наиболее известными представителями этой группы являются трехшаговый метод наименьших квадратов, рассмотренный в 14.4.3, и метод максимального правдоподобия. Между оценками, получаемыми при помощи этих методов, существует тесная взаимосвязь 3 мнк-оценки можно рассматривать в качестве первого приближения оценок метода максимума правдоподобия, по определению минимизирующих функцию плотности распределения наблюдений (в предположении, что они распределены по нормальному закону). Более того, указанные оценки асимптотически эквивалентны. [c.423]
Наконец, использование наряду со случайной нормировкой последовательных оценок максимального правдоподобия приводит к единственному предельному (нормальному) распределению. [c.168]
Рассмотрим модель Yt a+f X + t, где ошибки являются независимыми одинаково распределенными нормальными случайными величинами. Почему для оценивания параметров нельзя применять метод наименьших квадратов Выведите уравнение для оценок максимального правдоподобия. [c.59]
Выведите оценки максимального правдоподобия для параметров ц и П многомерного нормального распределения по выборке размера п. [c.260]
Как и раньше, для построения состоятельных оценок можно воспользоваться методом максимального правдоподобия. Согласно (12.19) плотность распределения случайной величины yt в урезанной выборке есть [c.338]
Для получения состоятельных и асимптотически несмещенных оценок параметров (3 можно вновь, кале и в предыдущем разделе, воспользоваться методом максимального правдоподобия. Поскольку в данном случае наблюдения (12.30) имеют смешанное распределение, то функция правдоподобия имеет следующий вид [c.341]
Рассмотрим теперь модели со случайным эффектом. Если в уравнении (13.47) обозначить иц = г + ц, то внешне модель (13.47), (13.48) будет выглядеть так же, как модель бинарного выбора для пространственных данных (12.4), (12.5). Однако есть существенное отличие в данном случае ошибки иц, t = 1,..., Т, а следовательно, и наблюдения уи, t = 1,..., Т, уже не являются независимыми по t для каждого объекта г (между объектами эти ошибки, конечно же, независимы). Это означает, что распределение /(г/гъ УгТ хц,..., Xtf, /3) не распадается в произведение одномерных распределений, а следовательно, и функция правдоподобия для этой модели не представима в виде произведения одномерных распределений, как это было для моделей бинарного выбора с пространственными данными. В общем случае построение функции правдоподобия требует вычисления многомерных интегралов, что делает практически нереализуемым метод максимального правдоподобия. [c.388]
Для широкого класса задач оценки максимального правдоподобия являются состоятельными и асимптотически эффективными. В то же время они могут быть смещенными. Например, с помощью непосредственных вычислений можно показать, что для нормальной генеральной совокупности оценки максимального правдоподобия среднего значения и дисперсии есть соответствен-но mML = и ogn, = ЕГ=1( - )2 = , и E( L) = а2. Недостатком метода является необходимость знать распределение вектора х. [c.536]
Параметрические семейства распределений. Точечные оценки. Несмещенность, состоятельность оценок. Методы нахождения оценок метод моментов, метод максимального правдоподобия. Состоятельность оценок метода моментов. [c.31]
Иногда как условие корреляционного анализа выдвигают необходимость подчинения распределения совокупности по результативному и факторным признакам нормальному закону распределения вероятностей. Это условие связано с применением метода наименьших квадратов при расчете параметров корреляции только при нормальном распределении метод наименьших квадратов дает оценку параметров, отвечающую принципам максимального правдоподобия. На практике эта предпосылка чаще всего выполняется приближенно, но и тогда метод наименьших квадратов дает неплохие результаты1. [c.231]
Модели AR H и GAR H удовлетворяют всем условиям классической модели, и метод наименьших квадратов позволяет получить оптимальные линейные оценки. В то же время можно получить более эффективные нелинейные оценки методом максимального правдоподобия. В отличие от модели с независимыми нормально распределенными ошибками регрессии в AR H-модели оценки максимального правдоподобия отличаются от оценок, полученных методом наименьших квадратов. [c.217]
Метод максимального правдоподобия рассматривается как наиболее общий метод оценивания, результаты которого при нормальном распределении признаков совпадают с МНК Однако при большом числе уравнений системы этот метод приводит к достаточно сложным вычислительным процедурам. Поэтому в качестве модификации используется метод максимального правдоподобия при ограниченной информации (метод наименьшего дисперсионного отношения), разработанный в 1949 г. Т.Андер-соном и Н.Рубиным. Математическое описание метода дано, например, в работе Дж.Джонстона1. [c.194]
МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ [maximum likelihood te hnique] в математической статистике — метод оценивания параметров распределения, основанный на максимизации т.н. функции правдоподобия (совместной плотности вероятности наблюдений при значениях, составляющих выборку). Применяется при оценивании параметров эконометрических моделей. [c.195]
Шестая часть посвящена оценкам максимального правдоподобия, которые, конечно, являются идеальным объектом для демонстрации мощи развиваемой техники. В первых трех главах исследуется несколько моделей, среди которых есть многомерное нормальное распределение, модель с ошибками в переменных и нелинейная регрессионная модель. Рассматриваются методы работы с симметрией и положительной определенностью, специальное внимание уделено информационной матрице. Вторая глава этой части содержит обсуждение одновременных уравнений при условии нормальности ошибок. В ней рассматриваются проблемы оценивания и идентифицируемости параметров при различных (не)линейных ограничениях на параметры. В этой части рассматривается также метод максимального правдоподобия с полной информацией (FIML) и метод максимального правдоподобия с ограниченной информацией (LIML), особое внимание уделено выводу асимптотических ковариационных матриц. Последняя глава посвящена различным проблемам и методам психометрики, в том числе методу главных компонент, мультимодальному компо- [c.16]
Более обший подход к оценке параметров обеспечивается использованием метода максимального правдоподобия (maximum likelihood). Согласно этому подходу данные рассматриваются как свидетельство, относящееся к параметрам распределения. Свидетельство выражается как функция неизвестных параметров — функция правдоподобия [c.366]
Оценки максимального правдоподобия для параметров получаются из формул (3.6)—(3.9) путем замены в них ц на тц = In Xtj. Если все xtj Ф О, то оценки максимального правдоподобия всегда существуют. Для того чтобы снять проблему существования оценок в общем случае, когда есть xtj = О, положим для всех i, / m = In (хц + с), где 0 <.с < 1. Асимптотические (при п -> оо) свойства новых оценок будут такие же, как и у оценок максимального правдоподобия. 3.1.3. Проверка гипотез Я0 , Н Т/ 1. В [14, п. 11.2.21 описано применение критерия х2 Для проверки однородности нескольких рядоа распределений (гипотеза Н в схеме I). В обозначениях настоящего параграфа использованная для этой цели статистика имеет вид [c.128]
Первое из сформулированных выше требований не является безусловным. Метод наименьших квадратов, который лежит в основе корреляционно-регрессивного анализа, можно применять для определения коэффициентов регрессии, когда отсутствует нормальное распределение для величины у . При этом, однако, нельзя определить, насколько эффективным окажется в данном случае применение метода наименьших квадратов, особенно при выборках малого объема. При нормальном распределении случайной величины у метод наименьших квадратов можно рассматривать как частный случай метода максимального правдоподобия. В этом случае можно говорить о достаточных статистиках, т.е. таких функций от результатов наблюдений для определения интересующих нас параметров, с помощью которых извлекается вся информация об этих параметрах. В практической работе часто приходится иметь дело со случайной величиной у , не подчиняющейся нормальному распределению. При этом можно подобрать такую функцию преобразования, чтобы перейти от у к новой случайной величине q = f (у), распределенной приближенно нормально. Например, многие ассиметричные распределения часто можно аппроксимировать нормальным законом, перейти от случайной величины у к случайной величине q = log q. [c.520]
Если вектор ошибок е имеет многомерное нормальное распределение, то можно проверить, что оценка вектора /9, получаемая с помощью обобщенного метода наименьших квадратов, совпадает с оценкой максимального правдоподобия (естественно, при известной матрице fi) /SQLS ftwL- [c.158]
Принцип максимального правдоподобия (maximum likelihood, ML) уже использовался в нашей книге в главе 2 (п. 2.7) для случая парной регрессии и в главе 5 (п. 5.3) для случая множественной регрессии с нормальным распределением вектора ошибок. Краткое описание метода также можно найти в приложении (см. МС, п. 7). В данной главе мы дадим более подробное описание метода максимального правдоподобия. Начнем с простого примера. [c.245]
Это выражение рассматривается обычно как функция х при заданных значениях параметров п, р и называется распределением (distribution). В отличие от этого, в методе максимального правдоподобия мы рассматриваем (10.3) как функцию р (предполагаем сейчас, что п известно), при данном х (из наблюденной выборки), и называем (10.3) функцией правдоподобия (likelihood fun tion). [c.245]
Пусть У ,...,уп выборка из распределения с плотностью h(y, в) — 1/0, если 0 < х в, и h(y, в) = 0 — в остальных случаях (О < в < оо). Покажите, что в = maxj/j является оценкой максимального правдоподобия, и найдите ее смещение. [c.260]
В модели времени жизни нетрудно ввести экзогенные переменные. Пусть время жизни имеет распределение Вейбулла, и есть набор х = (xi,...,xk) объясняющих переменных. Предполагая некоторую функциональную зависимость параметра А от х, например, AJ = е х (г — номер наблюдения), и подставляя эти значения в уравнение (12.50), можно построить оценки максимального правдоподобия параметров (3. Подробнее о проблеме интерпретации коэффициентов см. (Greene, 1997). [c.350]
Эта формула позволяет эффективно вычислять функцию правдоподобия и строить оценки максимального правдоподобия параметров /3. Заметим, что этот метод может быть реализован для произвольных распределений ошибок оц, ц. Но на практике обычно считают, что эти ошибки имеют нормальное распределение, т. е. рассматривают probit-иоделъ со случайным эффектом. [c.389]