Многомерная стохастическая аппроксимация [c.351]
Естественно, что стохастическая аппроксимация как итеративный метод решения задач стохастического программирования представляет интерес только в многомерном случае. Это, однако, не единственный аргумент в пользу многомерных модификаций процедур стохастической аппроксимации. Различные причины заставляют конструктора в процессе проектирования и создания экспериментального образца сложной системы довольствоваться не наилучшими решениями. Однако при испытаниях системы возникает возможность совершенствовать ее качество, подбирая экспериментальным образом . значения регулируемых параметров и оценивая при этом величину показателя эффективности системы. Ошибки измерений и отсутствие информации о виде функциональной зависимости показателя качества системы от измеряемых параметров усложняют истолкование и использование экспериментальных данных для доводки образца. Опытные инженеры интуитивно используют для совершенствования систем по результатам испытаний схемы типа многомерной стохастической аппроксимации. Задача теории — оценить допустимый диапазон применения этих методов, модифицировать их, упростить вычисления и ускорить сходимость. [c.351]
В. Фабиан [278] указал достаточно общие условия, при которых многомерный процесс стохастической аппроксимации асимптотически нормален, и сформировал корреляционную матрицу соответствующего гауссовского случайного процесса. [c.363]
В многомерном случае решалась также задача стохастической аппроксимации неподвижной точки функции регрессии f(x), т. е. решения уравнения f(x) =x. [c.377]
Т. Блум [31], Ж. Сакс [244] и другие обобщили схемы стохастической аппроксимации на многомерный случай. Кратко опишем не только многомерный аналог процедуры Кифера — Вольфовица оптимизации одноэкстремальной функции регрессии, но и многомерный аналог схемы Роббинса — Монро. Оба эти процесса могут быть использованы для построения итеративных методов решения задач стохастического программирования (см. 7). [c.351]
В 2 рассматриваются классические схемы одномерной стохастической аппроксимации и некоторые их модификации. Основное внимание здесь уделяется итеративным процедурам решения безусловной экстремальной задачи вида (1.2). Параграф 3 посвящен условиям сходимости многомерных процессов стохастической аппроксимации. Помимо классических схем здесь излагаются и результаты, полученные в последние годы.. В 4 приводится обзор обобщений схем стохастической аппроксимации на случай решения условных экстремальных задач. Только в этом случае стохастическая аппроксимация может рассматриваться как итеративный метод стохастического программирования. В 5 исследуется важный для приложений вопрос о скорости сходимости и возможных путях ускорения сходимости процессов стохастической аппроксимации. Процедуры, рассмотренные в 6 и 7, позволяют в ряде случаев отказаться от основных допущений, на которых основаны классические схемы стохастической аппроксимации, — от одноэкстремальности целевого функционала задачи и несмещенности оценок наблюдаемых случайных величин. [c.343]
Общие результаты по многомерной (конечно-мерной или бесконечно-мерной) дискретной стохастической аппроксимации получены Э. М. Браверманом и Л. И. Розонозром [36]. Рассматривается процесс, определяемый рекуррентными соотношениями вида [c.355]
Другая схема ускорения сходимости процессов Роббинса — Монро и Кифера"—Вольфовица, предложенная Фабианом, модифицирует многомерный процесс стохастической аппроксимации (процесс Блума). Поскольку оптимальная величина шага неизвестна, нецелесообразно проводить все измерения с одним и тем же шагом. Для данных хп и уп производят измерения с шагом xn+ kayn и после каждого такого измерения получают некоторую оценку иъ. Измерения проводят до тех пор, пока t>i>U2> >Vq-i Uq и полагают an = qu. При весьма общих условиях, налагаемых на Vh, предложенный процесс сходится с вероятностью единица. [c.365]
В [212] построен непрерывный многомерный аналог процедуры стохастической аппроксимации Кифера — Вольфовица для вычисления экстремума функции регрессии. При этом предполагается, что ошибка наблюдения в момент времени t скалярной функции f(x) равна