Изучению скорости сходимости и анализу возможных путей ускорения сходимости различных процедур стохастической аппроксимации- [c.361]
В литературе обсуждаются два подхода к ускорению сходимости процедур стохастической аппроксимации. Первый подход связан с соответствующим выбором последовательности а или ап и сп . Ясно, что выбор параметров процедуры, учитывающий информацию о поведении функции регрессии, должен увеличить скорость сходимости процесса. Второй подход к ускорению процесса аппроксимации заключается в использовании большего числа наблюдений на каждом шаге. Ясно, [c.363]
Первостепенное значение для скорости сходимости используемых итерационных процедур решения оптимизационной [c.320]
Шметтерер [329] при некоторых допущениях получил оценку скорости сходимости процедуры Роббинса — Монро в среднеквадратичном и получил некоторые результаты по ее оптимизации. Имеем [c.365]
В [102] показано, что если к условиям теоремы 5.4 добавить допущение о существовании f ( )>0, то, полагая ап= /п, можно доказать, что и = 0(1/я). В этой же работе оценивается скорость сходимости процедуры Кифера — Вольфовица в зависимости от порядка убывания параметров схемы. Показано, что оптимальная скорость сходимости (в среднеквадратическом) существенно зависит от степени гладкости функции регрессии в окрестности ее экстремума. Так, при оты-366 [c.366]
Хотя метод Монте-Карло, описанный в предыдущем пункте, и оказался пригодным к решению больших задач отображения алгоритмов на мультитранспьютерные ВС, его слабым местом является достаточно медленная сходимость. Попытки увеличить скорость сходимости за счет увеличения начальной температуры приводят к ухудшению стационарного решения. В силу этого был разработан новый стохастический алгоритм наискорейшего спуска. В этом методе, так же как и в методе Монте-Карло, используется процедура имитации отжига, чтобы гарантировать сходимость метода. Общая схема метода такова. 1. Полагаем начальную температуру равной Q = а. [c.155]
В 2 рассматриваются классические схемы одномерной стохастической аппроксимации и некоторые их модификации. Основное внимание здесь уделяется итеративным процедурам решения безусловной экстремальной задачи вида (1.2). Параграф 3 посвящен условиям сходимости многомерных процессов стохастической аппроксимации. Помимо классических схем здесь излагаются и результаты, полученные в последние годы.. В 4 приводится обзор обобщений схем стохастической аппроксимации на случай решения условных экстремальных задач. Только в этом случае стохастическая аппроксимация может рассматриваться как итеративный метод стохастического программирования. В 5 исследуется важный для приложений вопрос о скорости сходимости и возможных путях ускорения сходимости процессов стохастической аппроксимации. Процедуры, рассмотренные в 6 и 7, позволяют в ряде случаев отказаться от основных допущений, на которых основаны классические схемы стохастической аппроксимации, — от одноэкстремальности целевого функционала задачи и несмещенности оценок наблюдаемых случайных величин. [c.343]
Для построения схем стохастической аппроксимации с повышенной скоростью сходимости значительный интерес представляет работа Стратоновича [260]. Здесь исследованы возможности построения итеративных алгоритмов для отыскания корня уравнения регрессии по наблюдениям за реализациями случайной величины при различных значениях параметра. Рассматривается разложение функции регрессии в ряд Тейлора. Процедура Роббинса — Монро соответствует в этой схеме случаю, когда в разложении Тейлора сохраняются лишь линейные члены. Если в этой схеме удерживать также члены более высокого порядка, можно получить итеративные алгоритмы, скорость сходимости которых выше, чем в процедуре Роббинса — Монро. [c.368]
Если движение в итерационной процедуре уточнения значений оценок параметров осуществляется непосредственно в направлении антиградиента, то процедуру относят к алгоритмам градиентного спуска. Подобные алгоритмы обеспечивают (при определенных ограничениях на минимизируемую функцию) сходимость последовательности 6S со скоростью геометрической прогрессии (линейная сходимость). Из-за того, что реальная скорость сходимости таких алгоритмов резко снижается при приближении 6S к предельному значению в, градиентный спуск целесообразно применять лишь на начальных этапах минимизации, используя найденные в результате [c.319]
Смотреть страницы где упоминается термин Скорость сходимости процедуры
: [c.306]Смотреть главы в:
Прикладная статистика Исследование зависимостей -> Скорость сходимости процедуры