Теперь рассмотрим случай оптимизационного исследования. Пусть существует единственный критерий функционирования системы U (st, s2) скажем, среднее за весь период планирования потребление с в расчете на душу населения. Надо найти с помощью имитационных экспериментов оптимальный вариант управлений sx и s2. Это можно сделать с помощью различных градиентных методов поиска экстремума функции U (s1 s2), причем построение градиента функции U (sb s2) основывается на экспериментальном подсчете значений этой функции в нескольких точках (SL s2). В теории планирования эксперимента разработаны методы разумного выбора таких точек. [c.286]
Поэтому, в общем случае, для решения задачи (4.67) может быть применен обобщенный градиентный метод минимизации Ф (у), определяемый с помощью рекуррентных соотношений [c.134]
Эти алгоритмы могут использоваться для поиска экстремума нелинейных функций с множественными локальными минимумами. Они имитируют адаптацию живых организмов к внешним условиям в ходе эволюции. Точнее, они моделируют эволюцию целых популяций организмов и поэтому требуют достаточно больших ресурсов памяти и высокой скорости вычислительных систем. Важным достоинством их является то, что они не накладывают никаках требований на вид минимизируемой функции (например, дифференцируемость). Поэтому их можно применять в случаях, когда градиентные методы не применимы.4 [c.121]
Минимизация величины Е осуществляется с помощью градиентных методов. В первом из них берется градиент общей ошибки, и ве-са W пересчитываются каждый раз после обработки всей совокупности обучающих примеров ( эпохи ). Изменение весов происходит в направлении, обратном к направлению наибольшей крутизны для функции стоимости [c.27]
Проверка оптимальности, вытекающая из сказанного если небольшое передвижение от проверяемой точки уменьшает (для задачи максимизации) целевую функцию (функционал), то это О. Такое правило, однако, относится лишь к выпуклой области допустимых решений. Если она невыпуклая, то данная точка может оказаться лишь локальным О. (см. Градиентные методы). [c.249]
Градиентные методы (ММО, использующие функцию полезности [89, 21, 91 и др.]. Здесь предполагается, что предпочтения ЛПР могут быть, описаны некоторой скалярной функцией U(x) (априори неизвестной). На функцию налагается ряд свойств считается, что известна сравнительная полезность любых двух альтернатив х, у, отличающихся не более чем по двум координатам [c.72]
Задачи, подобные вышеизложенной, решаются градиентными методами, которые заключаются в скольжении вокруг области допустимых решений в направлении убывания функции суммарных затрат. [c.147]
При нахождении экстремума целевой функции многих переменных может быть получена сложная система уравнений. Для ее решения зачастую прибегают к численным методам (итерационный, градиентный, метод Ньютона и др.). Численные методы могут быть использованы не только как вспомогательные при решении системы уравнений, но и как самостоятельные для отыскания локальных максимумов целевой функции. При выборе параметров машины может оказаться, что целевая функция линейна, линейны и ограничения, накладываемые на некоторые из переменных. В такой постановке возникает задача линейного программирования, а формулируется она в стандартном виде следующим образом. [c.212]
И 24] ГРАДИЕНТНЫЙ МЕТОД ВТОРОГО ПОРЯДКА 201 [c.201]
Градиентный метод второго порядка [c.201]
ГРАДИЕНТНЫЙ МЕТОД ВТОРОГО ПОРЯДКА 203 [c.203]
ГРАДИЕНТНЫЙ МЕТОД ВТОРОГО ПОРЯДКА 205 [c.205]
ГРАДИЕНТНЫЙ МЕТОД ВТОРОГО ПОРЯДКА 207 [c.207]
ГРАДИЕНТНЫЙ МЕТОД ВТОРОГО ПОРЯДКА 209 [c.209]
Э н е е в Т. М. О применении градиентного метода в задачах оптимального управления. — Космические исследования, 1966, IV, № 5, с. 651. [c.483]
Прямые методы минимизации оказались малоэффективными для задач регрессионного типа даже по сравнению с градиентными методами [25]. К тому же после отыскания с их [c.308]
Уравнения (5) и (6) равносильны утверждению, что предприниматель меняет свою цену в том направлении, которое ведет к увеличению прибыли. Правила такого рода в математике именуются градиентным методом максимизации. [c.436]
Следуя алгоритму градиентных методов, направление спуска задается следующим образом [c.51]
Применение градиентного метода к решению задачи (2.5.4) приводит к итерационной процедуре [c.159]
При выборе варианта развития ЭЭС определение оптимальных резервов мощности узлов и пропускных способностей связей при заданных нормативных интегральных показателях надежности J T и J T на выходе нейросетевой оценочной модели выполняется градиентным методом, описанным выше. Введение в (2.5.5) дополнительного слагаемого, учитывающего предыдущее направление спуска, значительно улучшает сходимость алгоритма [c.160]
На этом свойстве и основан градиентный метод решения задач нелинейного программирования. Выбрав в области допустимых решений первоначальную точку А и убедившись, что она не является оптимальной, дальнейшее движение осуществляем целенаправленно. Для этого вычисляем в выбранной точке координаты градиента целевой функции [c.352]
Решить градиентным методом, начиная процесс оптимизационного поиска с указанной точки х0 и сопровождая решение графиком [c.364]
Градиентные методы решения задач безусловной оптимизации. Ведущее место среди прямых методов решения экстремальных задач занимает градиентный метод (точнее, семейство градиентных методов) поиска стационарных точек дифференцируемой функции. Напомним, что стационарной называется точка, в которой V/(jt) = 0 и которая в соответствии с необходимым условием оптимальности является подозрительной на наличие локального экстремума. Таким образом, применяя градиентный метод, находят множество то- [c.86]
В зависимости от способа ее решения различают различные варианты градиентного метода. Остановимся на наиболее известных из них. [c.87]
Однако существует один класс функций, для которых градиентные методы приводят к нахождению глобального оптимума. Это выпуклые функции. [c.91]
В указанном методе так же, как и в градиентных методах, находится последовательность точек х л 1),..., Jt ,..., таких, что f(x(q+l))>f(x(q ) 1. При этом переход от точки х к точке [c.93]
Какие принципиальные этапы входят в градиентные методы [c.107]
Методы поиска оптимальной точки, рассмотренные в этом разделе, позволили решить многие задачи механики, а также наиболее простые экономические задачи. Необходимо, однако, заметить, что в случае достаточно сложных функций U(x) решение уравнений (4.11) и тем более (4.12) представляется крайне затруднительным. Поэтому даже для функций с единственным локальным максимумом проблему безусловной оптимизации нельзя считать решенной только на основе соотношений (4.11) и (4.12). Проблема еще более усложняется, если функция U(x) не является достаточно гладкой. f С появлением вычислительной техники широкое распространение получили так называемые градиентные методы, состоящие в определении направления наискорейшего роста функции U(x) и в переходе от некоторой исходной точки к другой, более предпочтительной. Затем новая точка берется за исходную и процесс повторяется. В настоящее время построены различные варианты градиентных методов и разработаны вычислительные системы, позволившие численно решить многие важные задачи безусловной оптимизации (см., например, [31]). Однако проблему многоэкстремальности (т. е. неединственности локального экстремума) до сих пор нельзя считать решенной. [c.45]
Наибольшую известность из последовательных методов поиска экстремума получили покоординатный и градиентный методы. Разновидностью градиентного метода является популярный метод наискорейшего подъема. Поиск экстремума по этому поводу производится итеративно. На каждой итерации осуществляется два этапа. На первом этапе (анализе) производится определение составляющих градиента, т. е. частных производных целевой функции 3=f(y, q) по оптимизирующим параметрам у и q. Во время второго этапа делается рабочий шаг, т. е. смещение в направлении градиента [c.45]
Затем производим итерации с малым шагом . При малом шаге используется идея процедуры Кифера — Вольфовица, смысл которой состоит в следующем. Известно, что для нахождения экстремума функции / (х), непрерывно дифференцируемой в области задания и имеющей экстремум в точке X=XQ, можно использовать градиентный метод, описываемый рекуррентным соотношением [c.48]
Базовой идеей всех алгоритмов обучения является учет локального градиента в пространстве конфигураций для выбора траектории быстрейшего спуска по функции ошибки. Функция ошибки, однако, может иметь множество локальных минимумов, представляющих суб-оптимальные решения. Поэтому градиентные методы обычно дополняются элементами стохастической оптимизации, чтобы предотвратить застревание конфигурации сети в таких локальных минимумах. Идеальный метод обучения должен найти глобальный оптимум конфигурации сети4. [c.45]
Сети минимизирующие энергию, рассмотренные в предыдущей главе при релаксации к одному из своих стационарных состояний решают, по существу, оптимизационную задачу - поиск минимума определенной функции своего состояния - энергии. Следовательно и ассоциативную выборку информации, и выявление прототипов можно сформулировать как частный случай задачи оптимизации. В целом же, оптимизационные задачи представляют собой широкий класс задач, часто встречающихся на практике, в частности, в экономике и бизнесе. В этой главе мы покажем как нейросети можно приспособить к решению таких задач на примере очень важного класса задач комбинаторной оптимизации. Такие задачи, кроме прочего, позволят нам познакомиться с новыми методами оптимизации, отличающимися от градиентных методов, лежащих в основе обучения методом ba kpropagation. [c.109]
АНТИГРАДИЕНТ [antigradient] — вектор, противоположный градиенту функции и, следовательно, направленный в сторону ее наискорейшего убывания. См. Градиентные методы. [c.23]
ГРАДИЕНТНЫЕ МЕТОДЫ [gradient methods] — методы решения задач математического программирования (вычислительные алгоритмы), основанные на поиске экстремума максимума или минимума) функции путем последовательного перехода к нему с помощью градиента этой функции. [c.66]
Среди вычислительных алгоритмов Н.п. большое место занимают градиентные методы. Универсального же метода для нелинейных задач нет и, по-видимому, может не быть, поскольку они чрезвычайно разнообразны. Особенно трудно решаются многоэкстремалъпые задачи. Для некоторых типов задач выпуклого программирования (вид нелинейного) разработаны эффективные численные методы оптимизации. [c.222]
Из второй группы методов применительно к определенным задачам используются градиентный, наискорейшего спуска, покоординатного спуска, релаксационный, динамического программирования, метод ветвей и границ. Рассмотрим кратко применение градиентного метода для оптимального распределения элек--трической нагрузки. При использовании других методов алгоритм изменяется главным образом в отношении условий и способов выбора направления, а также величин шага итерации. [c.156]
Перед использованием нейронной сети производится ее обучение, что представляет собой итерационный процесс настройки весовых коэффициентов. Для обучения применяются специальные алгоритмы. Наибольшее распространение получили градиентные методы обучения - алгоритм обратного распространения ошибки (Ba k Propagation), сопряженных градиентов, RProp и другие. Для проверки адекватности построенной нейронной сети используется специальный прием - тестовое подтверждение. [c.17]