Скорость сходимости алгоритма 353 [c.488]
Очевидно, что реализация четвертого этапа алгоритма должна обеспечивать максимальную эффективность работы алгоритма с точки зрения его сходимости к оптимальному решению. Скорость сходимости алгоритма является одним из важнейших показателей качества экономико-математических моделей обычно она оценивается количеством итераций, необходимых для получения искомого решения. [c.42]
Читателям пособия предлагается самостоятельно найти оптимальный план исходной задачи, решив взаимную задачу, начиная с первоначальной оценки С - 6. Решение провести графически, предложив концепцию корректировки С с целью повышения скорости сходимости алгоритма. [c.43]
Альтернативная стратегия - найти требуемые PW2 параметров за W шагов метода первого порядка, затратив на каждом шаге P W операций. Именно такую скорость сходимости ( W итераций) имеют лучшие алгоритмы первого порядка (например, метод сопряженного градиента). В обоих случаях оптимистическая оценка сложности обучения сети (т.к. она [c.62]
На основе метода была создана программа, с помощью которой было проведено численное исследование метода. Это исследование показало более высокую скорость сходимости, чем в методе Монте-Карло. На рис. 1.50 построены графики зависимости функционала J по итерациям алгоритма Монте-Карло и стохастического алгоритма наискорейшего спуска. Кривая 1 соответствует наиболее методу Монте-Карло в случае наиболее быстрого получения оптимального решения. Кривые 2 и 3 соответствуют методу наискорейшего спуска для различных значений а и Ь кривая 2 — а = 10, 6 = 10 кривая 3 — а = 20, Ъ = 2. [c.156]
В [28, 88, 100] есть указания на достаточно высокую скорость обучения при использовании генетических алгоритмов. Хотя скорость сходимости градиентных алгоритмов в среднем выше, чем генетических алгоритмов. [c.67]
Полученные результаты позволяют сделать вывод, что Вариант 1 является наиболее эффективным как по скорости сходимости, так и по произволу в выборе начальной программы управления. За это приходится расплачиваться большим объемом вычислений — при решении уравнения для 1(0- Однако для задач с невысокой размерностью этот способ, возможно, будет наиболее эффективен. Способ, предложенный в данной работе является наиболее грубым >в смысле эффективности улучшения. Результаты решения этой задачи при различных начальных параметрах показывают, что качественное поведение алгоритмов не меняется. То есть, наибольшее значение улучшение обеспечивается на первых итерациях. [c.295]
Замечание об эффективности алгоритма. Одним из основных достоинств градиентного спуска является его простота. Однако реальная скорость его сходимости уменьшается при приближении 6S. к точке в. Для функций овражного типа с сильно вытянутыми линиями уровня в окрестности в эффективность методов типа градиентного спуска особенно низка, так как обычно для таких функций ц близко к нулю. [c.303]
Алгоритм, записанный таким образом, чтобы его могла выполнять вычислительная машина, называется программой. Запись программ ведется на специальных языках, называемых алгоритмическими. Скорость получения результата расчетов по алгоритму называют его сходимостью. Это, между прочим, очень важная характеристика качества составления алгоритмов — если они сходятся медленно, то стоимость решения задач возрастает, да и время решения тоже имеет значение например, какой смысл в решении на ЭВМ задачи оперативного характера, если к моменту выдачи результатов обстановка успеет измениться [c.144]
Необходимо упомянуть и о более быстрых алгоритмах. Зачастую поэтапная регрессия, задаваемая уравнениями (9) и (10), может быть заменена алгоритмом пакетной обработки, значительно ускоряющим вычисления и не требующим определения фактора скорости обучения a(t). При наличии сходимости к некоторому упорядоченному состоянию, ожидаемые значения ni( + 1) и т ( ) при °° должны быть равны между собой, даже если ha(t) не равняется нулю. Иными словами, в стационарном состоянии мы должны иметь [c.230]
СХОДИМОСТЬ АЛГОРИТМА [ onvergen e of algorithm] — способность алгоритма приводить к результату за конечное число шагов. Скорость С.а. — один из важных показателей качества экономико-математических моделей, предназначенных цдярешения задач на ЭВМ обычно она оценивается количеством итераций, необходимых для получения искомого решения. [c.353]
Хотя метод Монте-Карло, описанный в предыдущем пункте, и оказался пригодным к решению больших задач отображения алгоритмов на мультитранспьютерные ВС, его слабым местом является достаточно медленная сходимость. Попытки увеличить скорость сходимости за счет увеличения начальной температуры приводят к ухудшению стационарного решения. В силу этого был разработан новый стохастический алгоритм наискорейшего спуска. В этом методе, так же как и в методе Монте-Карло, используется процедура имитации отжига, чтобы гарантировать сходимость метода. Общая схема метода такова. 1. Полагаем начальную температуру равной Q = а. [c.155]
Для построения схем стохастической аппроксимации с повышенной скоростью сходимости значительный интерес представляет работа Стратоновича [260]. Здесь исследованы возможности построения итеративных алгоритмов для отыскания корня уравнения регрессии по наблюдениям за реализациями случайной величины при различных значениях параметра. Рассматривается разложение функции регрессии в ряд Тейлора. Процедура Роббинса — Монро соответствует в этой схеме случаю, когда в разложении Тейлора сохраняются лишь линейные члены. Если в этой схеме удерживать также члены более высокого порядка, можно получить итеративные алгоритмы, скорость сходимости которых выше, чем в процедуре Роббинса — Монро. [c.368]
Если движение в итерационной процедуре уточнения значений оценок параметров осуществляется непосредственно в направлении антиградиента, то процедуру относят к алгоритмам градиентного спуска. Подобные алгоритмы обеспечивают (при определенных ограничениях на минимизируемую функцию) сходимость последовательности 6S со скоростью геометрической прогрессии (линейная сходимость). Из-за того, что реальная скорость сходимости таких алгоритмов резко снижается при приближении 6S к предельному значению в, градиентный спуск целесообразно применять лишь на начальных этапах минимизации, используя найденные в результате [c.319]
Используя линейную (по параметрам) аппроксимацию исследуемой функции регрессии в окрестности точки 6Л, можно прийти к модификации метода Ньютона — методу Ньютона—Гаусса. Он существенно проще в вычислительном плане, однако бывает слишком чувствительным к эффекту слабой обусловленности используемых в нем матриц Ms. Скорость сходимости этого метода в зависимости от условий, накладываемых на регрессионную функцию и свободные параметры алгоритма, может быть линейной, сверхлинейной или квадратичной. [c.319]