Следуя алгоритму градиентных методов, направление спуска задается следующим образом [c.51]
Пусть X — непустое выпуклое замкнутое подмножество R", отображение F Rn — > Rn непрерывно дифференцируемо. По теореме 6.2 целевая функция М0 задачи (6.4) также непрерывно дифференцируема и ее градиент может быть найден из (6.5). Поэтому для решения задачи (6.4) можно применять любой из существующих алгоритмов градиентного типа. Ниже, однако, мы остановимся на возможности использования в качестве направления спуска вектора [c.60]
При выборе варианта развития ЭЭС определение оптимальных резервов мощности узлов и пропускных способностей связей при заданных нормативных интегральных показателях надежности J T и J T на выходе нейросетевой оценочной модели выполняется градиентным методом, описанным выше. Введение в (2.5.5) дополнительного слагаемого, учитывающего предыдущее направление спуска, значительно улучшает сходимость алгоритма [c.160]
Рассмотрим теперь наиболее распространенный алгоритм обучения нейронных сетей с прямой связью — алгоритм обратного распространения ошибки (Ba kpropagation, BP), представляющий собой развитие так называемого обобщенного дельта-правила (см. [281]). Этот алгоритм был заново открыт и популяризирован в 1986 г. Ру-мельхартом и МакКлеландом из знаменитой Группы по изучению параллельных распределенных процессов в Массачусетском технологическом институте. В этом пункте мы более подробно рассмотрим математическую суть алгоритма. Он является алгоритмом градиентного спуска, минимизирующим суммарную квадратичную ошибку [c.28]
Если движение в итерационной процедуре уточнения значений оценок параметров осуществляется непосредственно в направлении антиградиента, то процедуру относят к алгоритмам градиентного спуска. Подобные алгоритмы обеспечивают (при определенных ограничениях на минимизируемую функцию) сходимость последовательности 6S со скоростью геометрической прогрессии (линейная сходимость). Из-за того, что реальная скорость сходимости таких алгоритмов резко снижается при приближении 6S к предельному значению в, градиентный спуск целесообразно применять лишь на начальных этапах минимизации, используя найденные в результате [c.319]
Описание общей схемы алгоритма. При градиентном спуске движение осуществляется непосредственно в направлении антиградиента, т. е. Hs — Im (напомним, что Im — единичная матрица размерности т X ш). Итерационная процедура таким образом принимает вид [c.301]
Существуют различные алгоритмы обучения нейронных сетей, одним из наиболее популярных является алгоритм обратного распространения ошибки (Ba kpropagation, BP), в современном виде разработанный в Массачусетском технологическом институте и являющийся по существу методом градиентного спуска. [c.144]
Для обучения сети используются различные алгоритмы обучения и их модификации [9, И, 22, 42, 70, 139]. Очень трудно определить, какой обучающий алгоритм будет самым быстрым при решении той или иной задачи. Наибольший интерес для нас представляет алгоритм обратного распространения ошибки, так как является эффективным средством для обучения многослойных нейронных сетей прямого распространения [85, 127]. Алгоритм минимизирует среднеквадратичную ошибку нейронной сети. Для этого с целью настройки синаптических связей используется метод градиентного спуска в пространстве весовых коэффициентов и порогов нейронной сети. Следует отметить, что для настройки синаптических связей сети используется не только метод градиентного спуска, но и методы сопряженных градиентов, Ньютона, квазиньютоновский метод [94]. Для ускорения процедуры обучения вместо постоянного шага обучения предложено использовать адаптивный шаг обучения a(t). Алгоритм с адаптивным шагом обучения работает в 4 раза быстрее. На каждом этапе обучения сети он выбирается таким, чтобы минимизировать среднеквадратическую ошибку сети [29, 36]. [c.65]
Базовой идеей всех алгоритмов обучения является учет локального градиента в пространстве конфигураций для выбора траектории быстрейшего спуска по функции ошибки. Функция ошибки, однако, может иметь множество локальных минимумов, представляющих суб-оптимальные решения. Поэтому градиентные методы обычно дополняются элементами стохастической оптимизации, чтобы предотвратить застревание конфигурации сети в таких локальных минимумах. Идеальный метод обучения должен найти глобальный оптимум конфигурации сети4. [c.45]
Среди градиентных алгоритмов — метод растяжения пространства, субградиентный метод выпуклой оптимизации, метод покоординатного спуска. [c.66]
Из второй группы методов применительно к определенным задачам используются градиентный, наискорейшего спуска, покоординатного спуска, релаксационный, динамического программирования, метод ветвей и границ. Рассмотрим кратко применение градиентного метода для оптимального распределения элек--трической нагрузки. При использовании других методов алгоритм изменяется главным образом в отношении условий и способов выбора направления, а также величин шага итерации. [c.156]