Когда переменных немного или имеются некоторые априорные теоретические данные, выбор таких комбинаций может быть осуществлен из содержательных соображений в более общей ситуации один из возможных подходов основывается на использовании так называемых главных компонент (см. [14, п. 10.5.2]), что приводит к регрессии на главные компоненты [195, 201, 219]. [c.255]
Вернемся к регрессии на главные компоненты Z = (2<г>,..., [c.267]
Оценивание параметров уравнения регрессии в случае сильной мультиколлинеарности основано на различных методах регуляризации задачи — модификациях регрессии на главные компоненты, гребневых и редуцированных оценках. Со статистической точки зрения получаемые оценки являются, в отличие от мнк-оценок, смещенными. Однако они обладают рядом оптимальных свойств, в частности обеспечивают лучшие прогностические свойства оцененного уравнения регрессии на объектах, не вошедших в обучающую выборку. [c.297]
Свободный член уравнения, построенного на главных компонентах, характеризует среднее значение прибыли в анализируемой совокупности. В силу этого решение уравнения регрессии, построенного на главных компонентах, позволяет определить величину прибыли только за счет выделения главных компонент. Наличие в уравнении значения прибыли дает возможность проводить сравнительный анализ работы предприятия за несколько лет, установить динамику его рентабельности. [c.152]
Снова возникает задача оценки параметров уравнения множественной регрессии. Действительно, исходя из экономического смысла значения (/ = 1 >..., 14) представляют собой агрегированные экономические показатели, которые находятся в тесной взаимосвязи и взаимозависимости. Изменение одного из них ведет к изменению всех остальных. Это выводит на проблему мультиколлинеарности, вызванную экономическим содержанием задачи. Для разрешения этой проблемы используется метод главных компонент. Суть метода — сократить число объясняющих переменных до наиболее существенно влияющих факторов. [c.314]
Другой метод выбора числа компонент основан на общепринятой методологии использования главных компонент. Задаемся некоторой величиной доли следа а, близкой к 1, и включаем в уравнение регрессии компоненты до тех пор, пока [c.258]
Однако процедуры отбора главных компонент, основанные на /-и F-статистиках, правильнее нацелены на решение сущности задачи, хотя при их использовании могут быть отброшены и некоторые главные компоненты, соответствующие большим значениям Kt (если они слабо коррелированы с переменной у). Правда, как правило, компоненты с малыми значениями собственных чисел оказываются одновременно и слабо коррелированными с у и также отбрасываются, так что отбор существенных главных компонент по этим критериям автоматически приводит и к регуляризации задачи. Зная включенные в уравнение компоненты и соответствующие им коэффициенты регрессии, легко найти коэффициенты регрессии относительно исходных переменных [c.258]
Отбор существенных переменных в пространстве главных компонент рассмотрен в п. 8.3. Как там показано, он приводит к следующим результатам с одной стороны, к некоторому увеличению наблюдаемого значения нормированной суммы квадратов отклонений Д , но одновременно к уменьшению средне-квадратического отклонения от соответствующих истинных значений параметров и к уменьшению средней ошибки прогноза для векторов X, не входящих в матрицу плана X (т. е. в обучающую выборку, см. п. 11.3). Последнего можно достичь и при отборе существенных переменных в исходном пространстве (опять-таки за счет увеличения нормированной суммы квадратов отклонений на обучающей выборке). Фактически отбор переменных означает, что исходное множество из р переменных делится на два подмножества X (р—q) и X (q), состоящих из таких р — q и q переменных, что коэффициенты регрессии при р — q переменных, входящих в первое подмножество, полагаются равными нулю, а коэффициенты при q переменных из второго подмножества оцениваются по мнк (по окончании процедуры отбора для оценки можно использовать и методы, изложенные в 8.2—8.5). [c.280]
Для устранения мультиколлинеарности может быть использован переход от исходных объясняющих переменных Х, А ,..., Х , связанных между собой достаточно тесной корреляционной зависимостью, к новым переменным, представляющим линейные комбинации исходных. При этом новые переменные должны быть слабокоррелированными либо вообще некоррелированными. В качестве таких переменных берут, например, так называемые главные компоненты вектора исходных объясняющих переменных, изучаемые в компонентном анализе, и рассматривают регрессию на главных компонентах,. в которой последние выступают в качестве обобщенных объясняющих переменных, подлежащих в дальнейшем содержательной (экономической) интерпретации. [c.111]
Анализ долученных регрессионных моделей на основе фактсров-пре-юндентов до ка дой компоненте доказал, что их статистические оценки хуже, нежели исходных уравнений регрессии на главных компонентах (в статье не приводятся). В силу вышеизложенного мы исключили эти модели из дальнейшего анализа с альтернативными вариантами, [c.12]
VrikjvW (у = 9 р Тогда согласно формуле (8.30) оценка Джеймса — Стейна для параметров уравнения регрессии на главные компоненты будет иметь в точности вид (8.36). т. е. [c.264]
Регрессия на главные компоненты. Веса щ могут принимать одно из двух значений щ — 1, если выполняется какое-либо из условий информативности данной главной компоненты (см. п. 8.2), либо a,i = 0, если данная компонента удаляется. Заметим, что редуцированные оценки Джеймса — Стейна И [c.269]
Второй путь, позволяющий использовать главные компоненты, вну-дает меньше доверия и требует усилий, превосходящих ожидаемый эффект2. Он относится к случаю, когда проблема заключена не в чрезмерном количестве переменных X, а в наличии мультиколлинеарно-сти. Как хорошо известно, оценки наименьших квадратов для коэффициентов при переменных X выглядят очень убедительно. Кендалл предлагает вычислить главные компоненты на основе переменных X, от-эросить те из них, которые соответствуют низким значениям характеристических корней, найти регрессию Y на оставшиеся главные компоненты, а затем с помощью обратного преобразования вернуться от коэффициентов регрессии на главные компоненты к оценкам коэффициентов при переменных X. Предположим, например, что имеются пять переменных X, что мы вычислили главные компоненты и ограничи-пись только двумя из них [c.329]
Для регрессии у на главные компоненты и на исходные переменные оценки типа (8.40) лучше оценки Джеймса — Стейна и мнк-оценки по соответственно взвешенным критериям L и [c.265]
Оценка влияния кавдого из перечисленных факторов имеет ванное значение в процессе (экономического анализа формирования уровня производительности труда в буровых организациях объединения. С точки зреняя исследуемой обобщенной характеристики высокая степень концентрации производства достигается при дальнейшем (перспективном) росте фондовооруженности и производительного времени. Сопоставительный анализ приведенных зависимостей, полученных в результате исследования, показывает, что выражение ( I ) может рассматриваться в качестве экономико-математической модели процесса формирования производительности труда в условиях АСУ. Она характеризуется удовлетворительными коэффициентами регрессии при исследуемых факторах все направленные воздействия этих факторов соответствуют логике их влияния на процесс формирования производительности труда. С точка зрения количественных характеристик, оценки уровня дисперсии (95%) модель является удовлетворительной. Средняя относительная ошибка аппроксимации уравнения, полученного методом главных компонент, составляет [c.11]
Вопрос о выборе способа численного решения имеет смысл лишь в том случае, когда погрешность вычисления оценок коэффициентов регрессии на ЭВМ сравнима по величине с их статистическим разбросом, который определяется формулой (8.8). Необходимым для этого условием, как мы увидим далее, является наличие мультиколлинеарности. Но при выраженной мультиколлинеарности с точки зрения статистической устойчивости оценок лучше переходить к решению регуляризован-ных (тем или иным способом) систем уравнений (8.60), (8.60 ), (8.60"), (8.60" ). Для систем нормальных уравнений методами регуляризации будут уже рассмотренные метод главных компонент (см. 8.2) и гребневая регрессия (см. 8.5). 8.6.2. Оценки величин возмущений для решений центрированной и соответствующей ей нормальной системы уравнений. Пусть А в = С некоторая система линейных уравнений, матрица А которой имеет размерность q X k (k не обязательно равно q), 6 — вектор размерности fe, правая часть С — вектор размерности q. [c.273]
Смотреть страницы где упоминается термин Регрессия на главные компоненты
: [c.426] [c.329]Смотреть главы в:
Прикладная статистика Исследование зависимостей -> Регрессия на главные компоненты