Производная по направлению, градиент. Направление наибольшего возрастания и наибольшего убывания дифференцируемой функции. [c.15]
Производная функции z = /(ж, у) в направлении / и градиент связаны соотношением [c.295]
По условию теоремы V/(jt ) = 0. Это означает, что для любого вектора / (а, стало быть, для любой точки j ) согласно формуле, выражающей производную по направлению через градиент, [c.93]
Наибольшую известность из последовательных методов поиска экстремума получили покоординатный и градиентный методы. Разновидностью градиентного метода является популярный метод наискорейшего подъема. Поиск экстремума по этому поводу производится итеративно. На каждой итерации осуществляется два этапа. На первом этапе (анализе) производится определение составляющих градиента, т. е. частных производных целевой функции 3=f(y, q) по оптимизирующим параметрам у и q. Во время второго этапа делается рабочий шаг, т. е. смещение в направлении градиента [c.45]
При более последовательном подходе для улучшения процесса обучения можно использовать информацию о производных второго порядка от функции невязки. Соответствующие методы оптимизации называются квадратичными. Вся указанная информация собрана в матрице гессиана Н, имеющей размеры Nw х Nw, где Nw — число весов. Эта матрица содержит информацию о том, как изменяется градиент при малых смещениях по различным направлениям в пространстве весов. Прямое вычисление матрицы требует большого времени, поэтому разработаны методы, позволяющие избежать вычисления и хранения матрицы (спуск по сопряженному градиенту, масштабированный метод сопряженных градиентов (см. [197]), RBa kProp (см. [212]), квази-ньютоновский метод, метод Левенбер-га-Маркара). [c.32]
ГРАДИЕНТ [gradient] — вектор, направленный в сторону наискорейшего возрастания функции и равный по величине ее производной в этом направлении [c.66]
В уравнении (6.10) неизвестным является коэффициент k, который может быть идентифицирован как коэффициент, определяющий скорость движения в направлении, обратном градиенту. Для определения значения коэффициента k используется итеративная процедура, описанная в работе В. С. Лукинского, Е. И. Зайцева, В. И. Бережного Модели и алгоритмы управления обслуживанием и ремонтом автотранспортных средств . Заметим, что адаптация производится либо по последнему эмпирическому значению, либо по предыдущему производному значению. [c.163]
Для решения этой задачи существует два пути. Во-первых, может быть осуществлена непосредственная минимизация функции F с помощью методов нелинейной оптимизации, позволяющих находить экстремумы выпуклых линий. Это, например, метод наискорейшего спуска, при использовании которого в некоторой исходной точке определяется антиградиент (направление наиболее быстрого убывания) функции F. Далее находится минимум /"при движении в данном направлении, и в точке этого минимума снова определяется градиент. Процедура повторяется до тех пор, пока разница значений F на двух последовательных шагах не окажется меньше заданной малой величины. Другой путь состоит в решении системы нелинейных уравнений, которая получается из необходимых условий экстремума функции F. Эти условия - равенство нулю частных производных функции Fno каждому из параметров а., т.е. [c.360]
Смотреть страницы где упоминается термин Производная по направлению. Градиент
: [c.406]Смотреть главы в:
Математика для социологов и экономистов Учебное пособие -> Производная по направлению. Градиент