В случае поиска минимума функции говорят о методе наискорейшего спуска, в случае задачи максимизации — о методе наискорейшего роста (или подъема). При этом необходима строгая проверка решения, ибо градиентный спуск или подъем могут привести к экстремальной точке, которая на самом деле окажется не глобальным, а лишь одним из локальных оптимумов. [c.66]
III. Решение задачи (6) осуществляется некоторым вариантом градиентного спуска. Он заслуживает пояснения. Один шаг спуска состоял из следующих вычислений. " [c.314]
Градиентный спуск US = bit 9.2.1 Геометрическая прогрессия [c.301]
Замечание об эффективности алгоритма. Одним из основных достоинств градиентного спуска является его простота. Однако реальная скорость его сходимости уменьшается при приближении 6S. к точке в. Для функций овражного типа с сильно вытянутыми линиями уровня в окрестности в эффективность методов типа градиентного спуска особенно низка, так как обычно для таких функций ц близко к нулю. [c.303]
При решении статистических задач с помощью градиентного спуска приходится на заключительном этапе проводить дополнительные расчеты по отысканию оценок ковариационных матриц и прочих величин, описывающих статистические свойства оценок. [c.303]
Обычно градиентный спуск целесообразно применять лишь на начальных этапах минимизации, используя найденные в результате сравнительно небольшого числа итераций величины 6Я в качестве начального приближения для более сложных методов, обладающих большей скоростью сходимости. [c.303]
Для решения всех моделей с нелинейными критериями или по совокупности линейных критериев (мультипликативная свертка) предлагаются методы конфигураций, градиентного спуска. Наиболее пригодным для моделей с нелинейным критерием, предложенных в данном разделе, является метод исключения неконкурирующих ограничений . [c.183]
Метод градиентного спуска (8.1.) — метод спуска, в котором направление спуска S выбирается равным градиенту оптимизируемой функции [c.344]
Попов Л.Д. Метод обобщенного градиентного спуска для задачи последовательного программирования // Методы аппроксимации несобственных задач математического программирования. Свердловск УНЦ АН СССР, 1984. С. 76-82. [c.91]
Более общие (и более реалистические) постановки задачи с ограничениями типа неравенств приводят к проблеме математического программирования, обычно решаемой численно с применением различных модификаций градиентного спуска. [c.189]
Следуя алгоритму градиентных методов, направление спуска задается следующим образом [c.51]
При выборе варианта развития ЭЭС определение оптимальных резервов мощности узлов и пропускных способностей связей при заданных нормативных интегральных показателях надежности J T и J T на выходе нейросетевой оценочной модели выполняется градиентным методом, описанным выше. Введение в (2.5.5) дополнительного слагаемого, учитывающего предыдущее направление спуска, значительно улучшает сходимость алгоритма [c.160]
Пусть X — непустое выпуклое замкнутое подмножество R", отображение F Rn — > Rn непрерывно дифференцируемо. По теореме 6.2 целевая функция М0 задачи (6.4) также непрерывно дифференцируема и ее градиент может быть найден из (6.5). Поэтому для решения задачи (6.4) можно применять любой из существующих алгоритмов градиентного типа. Ниже, однако, мы остановимся на возможности использования в качестве направления спуска вектора [c.60]
Поскольку соотношение (6.8) не содержит V F(x), вектор d может быть определен с гораздо меньшими вычислительными затратами по сравнению с градиентным направлением VM0, особенно в случаях, когда вычисление матрицы VF затруднено. Следующее утверждение показывает, что при условии монотонности F вектор d, задаваемый соотношениями (6.8), действительно является направлением спуска функции М0 в точке х. [c.60]
Рассматриваемый подход анализа изделия как системы, состоящей из нескольких узлов, способствует решению еще одной важной задачи — оптимизации надежности и себестоимости электроизделий (электрических машин, аппаратов и др.) при их функционировании в системах автоматизации. Каждый отказ электроизделий приводит во многих случаях к отказу всей системы автоматизированного электропривода. Поэтому относительно высокие показатели надежности электроизделий в ряде случаев оказываются недостаточными с точки зрения требований АСУТП. Задача оптимизации надежности и себестоимости электроизделий с точки зрения их работы в системах решается на основе принципов, изложенных выше. При этом анализируются все электротехнические изделия, входящие в систему автоматизации, каждое из которых имеет несколько вариантов производства их элементов, отличающихся себестоимостью изготовления и числовыми значениями показателей надежности. С помощью решения задачи на ЭВМ определяется оптимальный вариант изготовления каждого элемента по всем изделиям, входящим в систему автоматизации, а также оптимальный вариант конструкций электроизделий, который обеспечивает минимум приведенных затрат при функционировании всей системы среди всех значений исследуемого множества вариантов. В практике оптимизации показателей надежности средстз труда применяются методы целенаправленного перебора, градиентного спуска, дифференцирования модели оптимальной надежности и приравнивания к нулю полученного результата и др. Они могут быть использованы для установления экономически целесообразных показателей надежности отдельных электроизделий. [c.245]
Рассмотрим теперь наиболее распространенный алгоритм обучения нейронных сетей с прямой связью — алгоритм обратного распространения ошибки (Ba kpropagation, BP), представляющий собой развитие так называемого обобщенного дельта-правила (см. [281]). Этот алгоритм был заново открыт и популяризирован в 1986 г. Ру-мельхартом и МакКлеландом из знаменитой Группы по изучению параллельных распределенных процессов в Массачусетском технологическом институте. В этом пункте мы более подробно рассмотрим математическую суть алгоритма. Он является алгоритмом градиентного спуска, минимизирующим суммарную квадратичную ошибку [c.28]
Описание общей схемы алгоритма. При градиентном спуске движение осуществляется непосредственно в направлении антиградиента, т. е. Hs — Im (напомним, что Im — единичная матрица размерности т X ш). Итерационная процедура таким образом принимает вид [c.301]
Если движение в итерационной процедуре уточнения значений оценок параметров осуществляется непосредственно в направлении антиградиента, то процедуру относят к алгоритмам градиентного спуска. Подобные алгоритмы обеспечивают (при определенных ограничениях на минимизируемую функцию) сходимость последовательности 6S со скоростью геометрической прогрессии (линейная сходимость). Из-за того, что реальная скорость сходимости таких алгоритмов резко снижается при приближении 6S к предельному значению в, градиентный спуск целесообразно применять лишь на начальных этапах минимизации, используя найденные в результате [c.319]
Существуют различные алгоритмы обучения нейронных сетей, одним из наиболее популярных является алгоритм обратного распространения ошибки (Ba kpropagation, BP), в современном виде разработанный в Массачусетском технологическом институте и являющийся по существу методом градиентного спуска. [c.144]
Решение оптимизационных задач надежности состоит в минимизации функционалов (2.5.1) или (2.5.2) и так или иначе сопряжено с многократным решением оценочных задач надежности. При централизованной системе управления было разработано множество мо-дельно-программмных комплексов решения задачи обеспечения надежности, основанных на различных методах оптимизации градиентного спуска, деформируемого многогранника, симплекс-планирования, деления шага пополам, различных интерактивных методах [19,55,58,154] и инженерных методик [38,73,157]. В условиях нестабильной экономики помимо задачи оптимального резервирования отдельных ЭЭС, появляются задачи обоснования балансовых и аварийных перетоков мощности при формировании договоров-соглашений между членами объединения. Это приводит к более частому решению оптимизационных задач надежности. [c.155]
Метод градиентного спуска. Поскольку антиградиент — f (xi ) указывает направление наискорейшего убывания функции f(x), то естественным является перемещение из точки Х по этому направлению. Метод спуска, в котором sjt=/ (Xi) называется методом градиентного спуска. Если Ак= 1, то релаксационный процесс называется методом скорейшего спуска. [c.177]
Скорость сходимости метода случайного спуска в п раз ниже, чем у метода градиентного спуска, но в п раз выше, чем у метода случайного покоординатного спуска. Рассмотренные методы спуска применимы и к необязательно выпуклым функциям и гарантируют их сходимость при очень малых на них ограничениях (типа отсутствия локальных минимумов). [c.179]
Для обучения сети используются различные алгоритмы обучения и их модификации [9, И, 22, 42, 70, 139]. Очень трудно определить, какой обучающий алгоритм будет самым быстрым при решении той или иной задачи. Наибольший интерес для нас представляет алгоритм обратного распространения ошибки, так как является эффективным средством для обучения многослойных нейронных сетей прямого распространения [85, 127]. Алгоритм минимизирует среднеквадратичную ошибку нейронной сети. Для этого с целью настройки синаптических связей используется метод градиентного спуска в пространстве весовых коэффициентов и порогов нейронной сети. Следует отметить, что для настройки синаптических связей сети используется не только метод градиентного спуска, но и методы сопряженных градиентов, Ньютона, квазиньютоновский метод [94]. Для ускорения процедуры обучения вместо постоянного шага обучения предложено использовать адаптивный шаг обучения a(t). Алгоритм с адаптивным шагом обучения работает в 4 раза быстрее. На каждом этапе обучения сети он выбирается таким, чтобы минимизировать среднеквадратическую ошибку сети [29, 36]. [c.65]
Базовой идеей всех алгоритмов обучения является учет локального градиента в пространстве конфигураций для выбора траектории быстрейшего спуска по функции ошибки. Функция ошибки, однако, может иметь множество локальных минимумов, представляющих суб-оптимальные решения. Поэтому градиентные методы обычно дополняются элементами стохастической оптимизации, чтобы предотвратить застревание конфигурации сети в таких локальных минимумах. Идеальный метод обучения должен найти глобальный оптимум конфигурации сети4. [c.45]
Среди градиентных алгоритмов — метод растяжения пространства, субградиентный метод выпуклой оптимизации, метод покоординатного спуска. [c.66]
Из второй группы методов применительно к определенным задачам используются градиентный, наискорейшего спуска, покоординатного спуска, релаксационный, динамического программирования, метод ветвей и границ. Рассмотрим кратко применение градиентного метода для оптимального распределения элек--трической нагрузки. При использовании других методов алгоритм изменяется главным образом в отношении условий и способов выбора направления, а также величин шага итерации. [c.156]
Смотреть страницы где упоминается термин Градиентный спуск
: [c.216] [c.111] [c.406] [c.301] [c.472] [c.178] [c.178] [c.210] [c.59]Смотреть главы в:
Прикладная статистика Исследование зависимостей -> Градиентный спуск