Модели парной регрессии. Парная линейная регрессия. Методы оценки коэффициентов регрессии. Метод наименьших квадратов (МНК). Свойства оценок МНК. Оценка статистической значимости коэффициентов регрессии. Элементы корреляционного анализа. Измерители тесноты связи (коэффициенты ковариации, корреляции и детерминации). Оценка значимости коэффициента корреляции. Дисперсионный анализ результатов регрессии. Оценка статистической значимости уравнения регрессии. Анализ ряда остатков условия Гаусса-Маркова. Нелинейные модели регрессии и их линеаризация. Выбор функции регрессии тесты Бокса-Кокса. Корреляция в случае нелинейной регрессии. Средняя ошибка аппроксимации. [c.3]
Решение задачи оценки точности нелинейной модели регрессии в рамках идеализированной схемы опирается на те же [c.360]
Заметим, что функция G(x) = ф(а + /3 х) нелинейна по параметрам, так что мы имеем здесь дело с нелинейной моделью регрессии. Следуя принципу наименьших квадратов, для получения [c.17]
В практических задачах обычно строится линейная и несколько нелинейных моделей регрессии, а затем по максимальному коэффициенту детерминации R2 выбирается одна из них. [c.74]
Метод пошаговой регрессии, включенный во многие статистические пакеты, позволяет из множества исходных переменных производить отбор тех переменных, которые наиболее значимы для адекватного представления исходных данных. Этот метод позволяет, во-первых, построить более простую, сокращенную модель, а, во-вторых, при последующем сборе данных не регистрировать несущественные переменные. Он может быть использован в качестве предварительного этапа перед построением нелинейной модели. [c.92]
Иначе обстоит дело с регрессией, нелинейной по оцениваемым параметрам. Данный класс нелинейных моделей подразделяется на два типа нелинейные модели внутренне линейные и нелинейные модели внутренне нелинейные. Если нелинейная модель внутренне линейна, то она с помощью соответствующих преобразований может быть приведена к линейному виду. Если же нелинейная модель внутренне нелинейна, то она не может быть сведена к линейной функции. Например, в эконометрических исследованиях при изучении эластичности спроса от цен широко используется степенная функция [c.70]
Приведенные выше рассуждения и примеры дают основания более детально рассмотреть возможные нелинейные модели. В рамках вводного курса мы ограничимся рассмотрением нелинейных моделей, допускающих их сведение к линейным. Обычно это так называемые линейные относительно параметров модели. Для простоты изложения и графической иллюстрации будем рассматривать модели парной регрессии с последующим естественным переходом к моделям множественной регрессии. [c.180]
С учетом уже построенных линейных моделей выбираем наиболее значимые факторы xj,X2,x4, и, конечно, у. Нажимаем кнопку ОК. Появится следующее диалоговое окно Нелинейные компоненты регрессии , где можно выбрать порядок факторов, что определит порядок уравнения регрессии. Вначале построим уравнение регрессии второго порядка, для этого ставим соответствующий флажок. [c.112]
Выбор математической формы связи при моделировании себестоимости добычи нефти, как показывает практика, целесообразно проводить методом перебора известных уравнений регрессий с переходом от менее сложных форм к более сложным. Часто случается так, что одна часть факторов связана с себестоимостью добычи нефти линейной зависимостью, другая — нелинейной. Поэтому удобнее поиск искомой формы связи начинать с линейной зависимости, затем проверить нелинейную зависимость, а потом перейти к более сложным формам связи (приложение 1). При выборе формы связи необходимо стремиться к получению достаточно простой по решению и удобной для экономической интерпретации модели. Модель себестоимости добычи нефти должна также отвечать условиям адекватности при включении в нее возможно меньшего числа факторов. Последнее обстоятельство указывает на то, что оценка значимости факторов с последующим отсевом менее существенных из них не утрачивает своей актуальности и на этом этапе исследования. [c.18]
Коэффициенты регрессии, как и коэффициенты корреляции, — случайные величины, зависящие от объема выборки. Поэтому для проверки надежности коэффициента регрессии выдвигается гипотеза о том, что коэффициент регрессии в генеральной совокупности равен нулю (нулевая гипотеза), т. е. связь, установленная по данным выборки, в генеральной совокупности отсутствует. Простейшая схема проверки этой гипотезы при линейной форме связи сводится к построению доверительного интервала для каждого коэффициента регрессии. Если граничные значения данного коэффициента регрессии в этом интервале имеют противоположные знаки, то принятая гипотеза подтверждается и тогда соответствующий этому параметру уравнения фактор исключается из модели. Для нелинейной формы связи имеются другие методы оценки значимости факторов [c.18]
Модели простой линейной и нелинейной регрессии [c.88]
Модели нелинейной регрессии. Повысить точность оценок может позволить применение моделей нелинейной регрессии. Часто используют полиномиальные модели [c.90]
Анализ тренда предназначен для исследования изменений среднего значения временного ряда с построением математической модели тренда и с прогнозированием на этой основе будущих значений ряда. Анализ тренда выполняют путем построения моделей простой линейной или нелинейной регрессии. [c.102]
Если случайные величины Е, имеют нормальное распределение, то уравнение (8.34) может быть оценено методом максимального правдоподобия (см. 2.7). Так как в случае нормального распределения ошибок регрессии оценки максимального правдоподобия совпадают с оценками метода наименьших квадратов, на практике применение этого метода к модели (8.15) сводится к нелинейной задаче минимизации по а, р, у и Р функции [c.205]
Удельные затраты 3ip и Kip представляют собой нелинейные функции от грузооборота Qp и величины емкости МСХ хр и задаются в модели либо в табличной форме, либо в виде уравнений множественной регрессии, полученных на основе стандартного алгоритма регрессионного и корреляционного анализов. [c.97]
Многослойный персептрон Нелинейная (в т.ч. логистическая) регрессия, Дискриминантные модели [c.202]
В этой главе мы рассмотрим следующий вопрос обладают ли финансовые рынки внутренним механизмом нелинейной обратной связи. Если такой механизм, внешне проявляющийся в якобы случайном, хаотическом поведении цен, действительно, существует, то это бросает серьезный вызов таким известным и широко принятым теориям, как теория случайного блуждания и гипотеза эффективного рынка. Мы возьмем несколько простых и хорошо известных моделей, основанных на предположении о хаотическом поведении, сгенерируем с их помощью временные ряды и внимательно изучим каждый из них. Затем на этих временных рядах мы проведем ряд экспериментов с использованием нейронных сетей. Это позволит нам выяснить, насколько нейронные сети способны обнаруживать (и предсказывать) детерминированные закономерности, на основе которых ряды были получены. Там, где это возможно, мы будем сравнивать качество прогноза, выдаваемого нейронной сетью, с тем, что дает модель линейной регрессии. [c.72]
Как было показано выше, ранжирование факторов, участвующих в множественной линейной регрессии, может быть проведено через стандартизованные коэффициенты регрессии (/ -коэффициенты). Эта же цель может быть достигнута с помощью частных коэффициентов корреляции — для линейных связей. При нелинейной взаимосвязи исследуемых признаков эту функцию выполняют частные индексы детерминации. Кроме того, частные показатели корреляции широко используются при решении проблемы отбора факторов целесообразность включения того или иного фактора в модель доказывается величиной показателя частной корреляции. [c.121]
Нелинейная регрессия. Применение модели в экономике. Тесты Бокса- [c.7]
При построении регрессивной модели для целевой функции Y на начальном этапе следует учитывать как можно большее число факторов, влияющих на изменение Y. В этом случае получаются достаточно сложные модели, особенно при использовании нелинейных форм. Часто эти модели можно значительно упростить, если в них выявить те факторы, которые незначительно влияют на функцию отклика или один из двух, имеющих сильную корреляцию между собой, и эти факторы не включать в уравнение регрессии. [c.121]
При изучении вопроса статистической оценки взаимосвязанных источников доказательств обычно используют три статистические модели [78] линейную множественную регрессию нелинейную регрессию условные вероятности. [c.80]
Предположим, что для некоторой модели линейная спецификация не дала приемлемых результатов, и из анализа различных статистик и графиков мы установили, что связь переменных нелинейна. Это означает, что нужно оценить уравнение нелинейной регрессии. Для оценки нелинейной регрессии существуют различные пути. Во-первых, существуют методы и алгоритмы оценивания нелинейных зависимостей предложенная из априорных соображений формула оценивается, например, методом наименьших квадратов. Здесь, так как речь идет о линейной регрессии, мы эти методы рассматривать не будем. [c.350]
В предыдущих главах были рассмотрены модели парной и множественной линейной регрессии, а также задачи экономического анализа, решаемые с помощью этих моделей. Однако далеко не все задачи исследования взаимосвязей экономических переменных описываются обычной линейной регрессионной моделью. Во-первых, исходные данные могут не соответствовать тем или иным предпосылкам линейной регрессионной модели и требовать либо дополнительной обработки, либо иного модельного инструментария Во-вторых, исследуемый процесс во многих случаях описывается не одним уравнением, а системой, где одни и те же переменные могут быть в одних случаях объясняющими, а в других - зависимыми. В-третьих, исследуемые взаимосвязи могут быть (и обычно являются) нелинейными, а процедура линеаризации не всегда легко осуществима и может приводить к искажениям. В-четвертых, структура описываемого процесса может обусловливать наличие различного рода связей между оцениваемыми коэффициентами регрессии, что также предполагает необходимость использования специальных методов. Настоящая глава посвящена обзору ситуаций, требующих выхода за рамки стандартной модели линейной регрессии, и подходов к их исследованию. [c.353]
На практике часто встречается ситуация, когда априорно известен нелинейный характер зависимости между объясняемыми и объясняющими переменными. В этом случае функция/в уравнении y=f(a,x) нелинейна (а - вектор параметров функции, которые нам нужно оценить). Например, вид зависимости между ценой и количеством товара в той же модели спроса и предложения она не всегда предполагается линейной, как в нашем примере. Нелинейную функцию можно преобразовать в линейную, как это было сделано, например, логарифмированием с функцией Кобба-Дугласа. Однако не все функции поддаются такой непосредственной линеаризации. Любую дифференцируемую нужное число раз функцию можно разложить в функциональный ряд и затем оценить регрессию объясняемой переменной с членами этого ряда. Тем не менее такое разложение всегда осуществляется в окрестности определенной точки, и лишь в этой окрестности достаточно точно аппроксимирует оцениваемую функцию. В то же время оценить зависимость требуется обычно на более или менее значительном интервале, а не только в окрестности некоторой точки. При линеаризации функции или разложении её в ряд с целью оценки регрессии возникают и другие проблемы искажение отклонений е и нарушение их первоначальных свойств, статистическая зависимость членов ряда между собой. Например, если оценивается формула [c.359]
При построении нелинейных уравнений более остро, чем в линейном случае, стоит проблема правильной оценки формы зависимости между переменными. Неточности при выборе формы оцениваемой функции существенно сказываются на качестве отдельных параметров уравнений регрессии и, соответственно, на адекватности всей модели в целом. [c.361]
Линейная регрессия, как это следует из названия, решает задачи регрессии. Но она предназначена для поиска линейных зависимостей в данных. Если же зависимости нелинейные, то модель с использованием линейной регрессии может быть не построена вообще. Для этого лучше воспользоваться более универсальным методом нахождения зависимостей, например, искусственной нейронной сетью. [c.18]
Эти формулы справедливы только для линейной регрессии. Тем не менее их можно использовать для оценки качества генерализации, проводимой полностью обученной нейронной сетью (т.е. частным случаем нелинейной регрессии). При работе с нейронными сетями Сбудет означать общее количество весов связей в модели. Кроме того, убедитесь, что этими формулами используются простые корреляции если нейронная сеть или регрессионная программа возвращает квадраты корреляций, следует извлечь квадратный корень. [c.61]
При использовании технологии нейронных сетей двумерная плоскость или n-мерная гиперплоскость множественной линейной регрессии заменяется гладкой n-мерной изогнутой поверхностью с пиками и провалами, хребтами и оврагами. Например, нам требуется найти оптимальное решение для набора переменных, и задача будет сводиться к построению многомерной карты. В нейронной сети решение достигается при помощи нейронов — взаимосвязанных нелинейных элементов, связи которых сбалансированы так, чтобы подгонять поверхность подданные. Алгоритм обучения производит регулировку весов связей для получения максимально вписывающейся в исходные данные конфигурации поверхности. Как и в случае со стандартной множественной регрессией, где коэффициенты регрессии необходимы для определения наклона гиперповерхности, для нейронной модели требуются параметры (в виде весов связей), чтобы обеспечить наилучшее совпадение построенной поверхности, всех ее возвышений и впадин, с входными данными. [c.254]
В заключение этой главы мы сравним качество прогноза, выдаваемого нелинейной нейронной сетью, с тем, что получается по методу линейной регрессии, с помощью другой меры отклонения — 9 . Эта мера была предложена Вигендом [275] и определяется как отношение остаточной дисперсии нелинейной модели к остаточной дис- [c.93]
Изучение новейшего инструментария эконометрики показало, что более совершенными методами построения кризис-прогнозных моделей являются нелинейные модели бинарного выбора (логит-регрессия, пробит-регрессия и др.), которые учитывают качественное различие явлений. Качество может быть выражено специальными показателями, например, финансово устойчивые предприятия можно обозначить числом 0, а несостоятельные или обанкротившиеся предприятия — 1. [c.631]
Программа REG является общей для выполнения регрессионного анализа, которая подходит для парных и множественных регрессионных моделей при использовании метода наименьших квадратов. Она позволяет вычислить все соответствующие статистики и построить график расположения остаточных членов. Могут быть реализованы ступенчатые методы. Метод рекомендуют для регрессии в случае некорректных данных, Программа использует метод наименьших квадратов для подгонки общих линейных моделей, ее также можно использовать для регрессионного анализа. С помощью программы NLIN вычисляют параметры нелинейных моделей, используя методы наименьших тов или взвешенных наименьших квадратов. [c.675]
Важно отметить, что при увеличении порядка уравнения регрессии значения параметров становятся хуже. Тем не менее, рассмотрим нелинейные модели третьего порядка, которые стоятся аналогично (см. рисунки 3.26 и 3.27). [c.116]
Модели AR H и GAR H удовлетворяют всем условиям классической модели, и метод наименьших квадратов позволяет получить оптимальные линейные оценки. В то же время можно получить более эффективные нелинейные оценки методом максимального правдоподобия. В отличие от модели с независимыми нормально распределенными ошибками регрессии в AR H-модели оценки максимального правдоподобия отличаются от оценок, полученных методом наименьших квадратов. [c.217]
Логистическая регрессия является методом бинарной классификации, широко применяемом при принятии решений в финансовой сфере. Она позволяет оценивать вероятность реализации (или нереализации) некоторого события в зависимости от значений некоторых независимых переменных - предикторов xb...,xN. В модели логистической регресии такая вероятность имеет аналитическую форму Pr(x) =(l+exp(-z ))", где z = ao+ aiXi+...+ aNxN. Нейросетевым аналогом ее очевидно является однослойный персептрон с нелинейным выходным нейроном. В финансовых приложениях логистическую регрессию по ряду причин предпочитают многопараметрической линейной регрессии и дискриминантному анализу. В частности, она автоматически обеспечивает принадлежность вероятности интервалу [0,1], накладывает меньше ограничений на распределение значений предикторов. Последнее очень существенно, поскольку распределение значений финансовых показателей, имеющих форму отношений, обычно не [c.202]
Ясно, что информационные критерии дают информацию об адекватности модели и помогают выбрать модель подходящего уровня сложности. Другие методы диагностики позволяют, если такая задача стоит, избежать подхода к системе как к черному ящику . Поскольку основное отличие сети от линейной регрессии — это возможность применять нелинейные преобразователи, имеет смысл посмотреть, насколько глубоко модель использует свои нелинейные возможности. Проще всего это сделать с помощью введенного Ви-гендом [275] отношения [c.64]
И регрессия, и сеть имеют лучшие характеристики, чем ARIMA. Причина этого в том, что ARIMA является одномерной моделью, где в принципе не могут учитываться календарные эффекты или число рабочих дней. Совокупное действие Этих эффектов, начиная с сентября 1991 г., вызывает колебания уровня поступлений налогов от месяца к месяцу и внутри месяцев. Далее, сеть дает более точную оценку, чем регрессия. Причина может быть связана с присутствующей в данных нелинейностью. Значения 51-отношения Вигенда1 0.705 и 0.743, соответственно, для обучающего и тестового множеств также свидетельствуют о наличии (возможно, слабых) нелинейных связей. [c.104]
Ее значение всегда лежит в интервале от 0 до 1, поскольку от того, что сеть при обучении улавливает содержащиеся в данных нелинейности, погрешность может только уменьшиться. Значения этого отношения для обучающего и проверочного множеств оказались равны, соответственно, 0.94 и 0.92, и это говорит о том, что либо сеть плохо использует свои нелинейные возможности, либо нелинейно-стей в данных просто нет. Мы подозреваем второе, потому что база данных строилась с помощью линейных моделей, для того чтобы выделить взаимно не коррелирующие экономические факторы. Большим значением данного отношения объясняется то обстоятельство, что обученная сеть лишь незначительно превосходит OLS-per-рессию по критерию RMSE. Однако остается фактом то, что нейронные сети превосходят OLS-регрессию даже при работе с такими данными, в которых нелинейные связи между входами и целевой переменной выражены слабо. [c.144]
Рассматривая экспериментальные точки (xt у) в прямоугольной системе координат, мы видим, что в случае (рис. 3.1, а) часть точек лежит на прямой Y = Ь +Ь Х, часть ниже и выше ее. В этом случае для построения модели зависимости Уот Xможно использовать линейное уравнение регрессии. В случае (рис. 3.1, б) — нелинейное уравнение, а в случае (рис. 3.1, в) применение регрессионного анализа проблематично. [c.78]
В большей части этой книги я подчеркивал возможность крушения многих стандартных статистических критериев. Существует возможность отбросить или принять негодную информацию по той причине, что мы приспосабливаем нелинейные данные к линейной модели. Теория хаоса и фрактальная статистика задают некий каркас для оценки наших моделей, позволяя нам увидеть пределы линейного подхода. Мало получить хорошие i-статистики, корреляции или информационные отношения. Такие модели должны пробуждать интуицию и быть устойчивы к различным экономическим условиям. Можно придать значение факторам, которые имеют слабое влияние, если они дают осмысленные результаты в течение длительного времени. Можно отвергнуть статистически значимый результат, потому что его значимость зависит от верного предсказания одного большого нелинейного события. Д/5-анализ применяется к остаточной регрессии с целью выяснения, не остается ли нераскрытой в модели персистентная нелинейная структура. [c.254]
И, наконец, некоторые специалисты используют кривую кумулятивных затрат на проект для прогнозирования окончательных затрат на проект и потоков наличности Этот подход использует сложные статистические расчеты (например, нелинейной регрессии), которые поэволяют сравнить смету и фактические затраты Ё определенный момент с целью узнать затраты при завершении работ над проектом Из-за своей сложности этот метод широко не применяется. Метод кривой иногда используется в крупных проектах как один из вводимых параметров наряду с другими Риски прогнозов затрат с использованием этой модели выше, чем с ранее предложение моделью, использующей более надежный индекс стоимости производства (см главу 12, более подробно рассказывающую о методах прогноза затрат) [c.177]