Еще один способ избежать переобучения состоит в том, чтобы ограничить совокупность функций отображения, реализуемых сетью. Методы такого типа называются регуляризацией. Например, в функцию стоимости может быть добавлено штрафное слагаемое, подавляющее резкие скачки отображающей функции (на математическом языке — большие значения ее второй производной). Алгоритм обучения изменяется таким образом, чтобы учитывался этот штраф (см. [126]). [c.37]
Этой случайности, разумеется, не следует доверять. Поэтому в расчетах была использована регуляризация — вместо системы Za 8а=Х — Z решалась другая, а именно [c.232]
Некорректные задачи оптимального управления. Регуляризация численного решения [c.345]
Не видно и способов, которыми можно было бы добиваться выполнения (15). Попытки использовать замену (14) действительно привели к бессмысленной эволюции v(t) в процессе поиска минимума. Впервые регуляризация численного решения задачи оптимального управления была осуществлена в работе 181], причем использовался именно функционал F0 [и ( ), а] (6). Решалась, кстати, задача, совпадающая с (1), однако в более простой ситуации решение искалось только на интервале ( , 2) (оптимальные значения t и tz можно искать подбором, причем каждый акт подбора связан с решением вариационной задачи на (t1 t2).) Поэтому ограничение О и U отсутствовало, и применялся метод проекции градиента (классический вариант, 18). В этом случае вариация 8u (t) имеет вид [c.354]
Характерная трудность решения таких задач состоит в том, что незначительная неопределенность в исходных данных связана с очень большой неопределенностью в решении, и неопределенность эта нетерпима, так как решение представляет собой информацию о реальной действительности. Регуляризация в подобных задачах состоит, грубо говоря, в том, что к условию задачи добавляется еще некоторая качественная информация о решении, например, что решение — достаточно гладкая функция. [c.355]
В задачах оптимального управления ситуация несколько иная. Здесь решение не есть информация о мире, оно является лишь рекомендацией о наиболее эффективном поведении (управлении). Поэтому неопределенность ответа не очень страшна. Более того, если обнаруживается, что существует мощное семейство управлений, приводящих к одним и тем же практически оптимальным результатам, то это следует расценивать как благоприятное обстоятельство ведь этим облегчается задача аппроксимации оптимального управления фактически реализуемыми средствами. Наконец, отметим связь используемого в наших расчетах метода регуляризации с одной идеей решения экономических задач. Часто в экономике возникают задачи, в которых нужно минимизировать не один показатель (функционал) F0(u), а несколько Од(и) Р ,ъ (u)> > причем они занумерованы (вторым индексом) в порядке важности. Достаточно осмысленный подход к подобным зада- [c.355]
Метод интерпретатора. Кроме методов регуляризации, которые можно отнести к разряду объективных (не забывая, впрочем, что сама постановка каждой из вариационных задач, выбор конкретной нормы и параметра регуляризации содержат, особенно в практических расчетах, определенный субъективный элемент), существует и давно применяется чисто субъективный метод интерпретатора. Он состоит в том, что опытный специалист (интерпретатор) подбирает функцию v(0,x), как удовлетворяющую условию типа (2), так и обладающую рядом свойств, ограничивающих выбор. Эти свойства часто даже явно не формулируются просто интерпретатор знает, какие функции и (О, х) бывают в данной задаче, а каких быть не может. [c.360]
Фактическое решение сложных прикладных обратных задач осуществляется, разумеется, комбинацией объективного и субъективного методов получаемые методом регуляризации решения подвергаются тщательному качественному анализу, и в случае, если решение оказывается по тем или иным причинам неудов- [c.360]
Задача содержит определенные трудности. Ведь искомая функция v (0, х) имеет два разрыва, в ее разложении в ряд Фурье коэффициенты убывают не очень быстро, и хорошее восстановление v (0, х) затруднено тем, что в г (Т, х) соответствующие гармоники уже теряются в ошибках 8. Замена искомой функции v (0, х) на и (х) имеет и положительные, и отрицательные следствия. Положительным является своеобразный эффект регуляризации так как мы ограничимся относительно небольшим числом вариаций функции и (х) на величины Su (я)К1 S, то получить очень уж негладкую функцию и (0, х) не удается. С другой стороны, эта замена затрудняет и получение разрывов в v (О, х) ведь это требует построения в и (х) каких-то аппроксимаций 8-функций. [c.365]
Регуляризация 277, 347, 357 Релейное управление 307, 313 [c.486]
Теорема Филиппова 86 Теория регуляризации 357 Терминальная задача 319 Тождество Лагранжа 18, 32, 70, 98, [c.486]
Однако процедуры отбора главных компонент, основанные на /-и F-статистиках, правильнее нацелены на решение сущности задачи, хотя при их использовании могут быть отброшены и некоторые главные компоненты, соответствующие большим значениям Kt (если они слабо коррелированы с переменной у). Правда, как правило, компоненты с малыми значениями собственных чисел оказываются одновременно и слабо коррелированными с у и также отбрасываются, так что отбор существенных главных компонент по этим критериям автоматически приводит и к регуляризации задачи. Зная включенные в уравнение компоненты и соответствующие им коэффициенты регрессии, легко найти коэффициенты регрессии относительно исходных переменных [c.258]
Оценивание параметров уравнения регрессии в случае сильной мультиколлинеарности основано на различных методах регуляризации задачи — модификациях регрессии на главные компоненты, гребневых и редуцированных оценках. Со статистической точки зрения получаемые оценки являются, в отличие от мнк-оценок, смещенными. Однако они обладают рядом оптимальных свойств, в частности обеспечивают лучшие прогностические свойства оцененного уравнения регрессии на объектах, не вошедших в обучающую выборку. [c.297]
Иными словами, в этом методе па каждом шаге проводится регуляризация исходной задачи. [c.307]
Важное свойство Я. а.— возможность регуляризации структуры программы, облегчающей её написание, изучение, проверку правильности и модификацию. Осн. сродства регуляризации — ограничения на структуру областей действия, тел процедур и циклов и регламентация употребления операторов передачи управления. Большое значение имеет также возможность сегментации программы — выделения частей, к-рые можно разрабатывать, изучать, проверять их правильность независимо друг от друга. Я. а. могут обладать возможно- [c.590]
Прежде чем сформулировать условия сходимости метода итеративной регуляризации, докажем ряд вспомогательных утверждений. [c.48]
Сформулируем теперь основной результат сходимости для метода итеративной регуляризации. [c.50]
Остается воспользоваться леммой 3.3 и предположениями (3.6), (3.7) относительно параметров шага и регуляризации. [c.50]
Альтернативой методу регуляризации с его сложными правилами согласования шаговых параметров может служить экстраполяционный метод проекции, в котором в процесс вычислений вовлечены сразу две последовательности. Одна из них [c.50]
При малом изменении параметров должны сохранять свою работоспособность и алгоритмы, лежащие в основе расчета характеристик СУ, для чего задачи определения этих характеристик должны быть корректно поставленными (по Адамару) ( Прежде чем решать задачу, посмотри условия (Адамар), Ищи луну на небе, а не в пруду . Восточная мудрость) Теория регуляризации алгоритмов, Принцип минимальной сложности . [c.244]
Алгоритм регуляризации. Пусть задача (7), (8) решена, найден соответствующий вектор (1, , и управление проварьировано и (t) =u (i)+Su (t). Выделим на [О, Т] множество Ml [c.351]
Здесь а, А, N — параметры регуляризации, выбор которых далеко не прост и существенно влияет на результат. Все перечисленные выше задачи являются, в сущности, вариационными задачами. Наконец, отметим и развиваемый французским математиком Лионсом метод квазиобращения. Применительно к задаче теплопроводности он состоит в следующем функция и (х) определяется [c.357]
Подход к отбору главных компонент на основе величины собственных чисел эквивалентен регуляризации при вычислении псевдообратной матрицы на ЭВМ [17]. Он может быть использован и при наличии точной линейной зависимости между переменными, которая, однако, замаскирована ошибками округления при представлении данных в ЭВМ. [c.258]
Вопрос о выборе способа численного решения имеет смысл лишь в том случае, когда погрешность вычисления оценок коэффициентов регрессии на ЭВМ сравнима по величине с их статистическим разбросом, который определяется формулой (8.8). Необходимым для этого условием, как мы увидим далее, является наличие мультиколлинеарности. Но при выраженной мультиколлинеарности с точки зрения статистической устойчивости оценок лучше переходить к решению регуляризован-ных (тем или иным способом) систем уравнений (8.60), (8.60 ), (8.60"), (8.60" ). Для систем нормальных уравнений методами регуляризации будут уже рассмотренные метод главных компонент (см. 8.2) и гребневая регрессия (см. 8.5). 8.6.2. Оценки величин возмущений для решений центрированной и соответствующей ей нормальной системы уравнений. Пусть А в = С некоторая система линейных уравнений, матрица А которой имеет размерность q X k (k не обязательно равно q), 6 — вектор размерности fe, правая часть С — вектор размерности q. [c.273]
Регуляризация функционалов в неограниченных областях. Течения в неограниченных областях, как правило, имеют расходящийся функционал энергии. Для придания смысла вариационным принципам требуется видоизменить (регуляризовать) функционал энергии, не нарушив при этом уравнений Эйлера. Опишем на плоских задачах метод регуляризации, предложенный Шифманом [390]. [c.236]
Процесс постепенного уменьшения параметра регуляризации можно и целесообразно совместить с процессом решения регуляризованного неравенства. Это соображение реализуется в методе итеративной регуляризации А.Б.Бакушинского, соотношения которого имеют вид [c.48]
Бакушинский А.Б. Методы решения монотонных вариационных неравенств, основанные на принципе итеративной регуляризации // Журн. вычисл. математики и мат. физики. 1977. Т. 17, N 6. С. 1350-1362. [c.90]
Булавский А.А. Обобщенные решения и регуляризация систем неравенств // Вычисл. методы линейной алгебры. Новосибирск Наука, 1985. С. 161-174. [c.90]