Методы построения и обучения нейронной сети к настоящему времени достаточно хорошо разработаны и базируются на широко известном алгоритме обратного распространения ошибки [29]. В процессе анализа обучающей выборки нейронная сеть с предварительно заданной избыточной структурой выполняет следующие процедуры (рис.2. И) . [c.158]
Нейронные сети с прямой связью и обучением методом обратного распространения ошибки рассматриваются в литературе чаще других. Кроме них, существует много других сетевых моделей, некоторые из которых имеют вычурные названия конкурентное обучение (или адаптивная теория резонанса ), сети Хопфилда, машины Больцмана, самоорганизующиеся карты признаков Кохонена. [c.36]
Дальнейшее развитие многослойных сетей долгое время сдерживалось отсутствием теоретически обоснованного алгоритма обучения, причем было неясно, возможно ли это вообще. Однако оказалось, что оценки Минского слишком пессимистичны. В 1986 г. Д. Руммельхарт в соавторстве опубликовал полное и ясное теоретическое обоснование процедуры обучения многослойной нейронной сети, названного авторами методом обратного распространения ошибки (ba kpropagation). Любопытно, что как только статья была опубликована, выяснилось, что предлагаемый метод обучения был предвосхищен Д. Паркером в 1982 г. И вскоре выяснилось, что еще раньше, в 1974 г., этот метод был описан в статье П. Вербу. [c.131]
Существует два основных подхода к управлению темпом обучения персептрона методом обратного распространения ошибки. При первом этот темп одновременно и равномерно уменьшается для всех нейронов сети в зависимости от одного глобального критерия -достигнутой среднеквадратичной погрешности на выходном слое. При этом сеть быстро учится на начальном этапе обучения и избегает осцилляции ошибки на позднем. Во втором случае оцениваются изменения отдельных межнейронных связей. Если на двух последующих шагах обучения инкременты связей имеют противоположный знак, то разумно уменьшить соответствующий локальный темп - впротивном случае его следует увеличить. Использование нечетких правил может обеспечить более аккуратное управление локальными темпами модификации связей. В частности это может быть достигнуто, если в качестве входных параметров этих правил использовать последовательные значения градиентов ошибки. Таблица соответствующих правил может иметь, например следующий вид [c.208]
Использовался метод обратного распространения ошибки с постепенным уменьшением коэффициента обучения по правилу Липма-на, и модель достигала сходимости после 2000 итераций (эпох), при этом квадратный корень из среднеквадратичной ошибки составил 6.2% от среднего отклонения доходов. > <> я Яi ь а лня > з. <., [c.206]
Перед использованием нейронной сети производится ее обучение, что представляет собой итерационный процесс настройки весовых коэффициентов. Для обучения применяются специальные алгоритмы. Наибольшее распространение получили градиентные методы обучения - алгоритм обратного распространения ошибки (Ba k Propagation), сопряженных градиентов, RProp и другие. Для проверки адекватности построенной нейронной сети используется специальный прием - тестовое подтверждение. [c.17]
Программный пакет SAS Neural Network Appli ation предназначен для обучения множества разновидностей нейронных сетей и включает в себя графический интерфейс пользователя. Данный пакет предусматривает возможность обучения на месте и настраивается с учетом потребностей пользователя. Основные функции пакета включают в себя многослойные перцептроны, сети радиального базиса, статистические версии обратного распространения ошибки и дискретизации обучаемого вектора, множество встроенных функций активации и ошибок, множественные скрытые слои, прямые связи между входами и выходами, обработку ситуаций с пропущенными данными, категориальные переменные, стандартизацию входных данных и целей и предварительную оптимизацию с помощью случайных начальных данных с целью избежать попадания в локальные минимумы. Обучение осуществляется с использованием стандартных численных алгоритмов оптимизации вместо более трудоемкого метода обратного распространения ошибки. [c.260]
Представляется, что нейронные сети лучше, чем другие методы, подходят для выявления нелинейных закономерностей в отсутствие априорных знаний об основной модели. Их можно применять во всех случаях, где обычно используются линейные (или преобразованные линейные) методы с проведением оценок посредством подходящего статистического метода (см. [114]). Чтобы лучше представить себе возможности нейронных сетей, рассмотрим процесс обучения очень простой многослойной сети с алгоритмом обратного распространения ошибки (MBPN) на искусственно смоделированном псевдохаотическом временном ряде. Начнем с простого логистического механизма обратной связи, описанного выше (см. рис. 3.4) [c.80]
Существуют различные алгоритмы обучения нейронных сетей, одним из наиболее популярных является алгоритм обратного распространения ошибки (Ba kpropagation, BP), в современном виде разработанный в Массачусетском технологическом институте и являющийся по существу методом градиентного спуска. [c.144]
Для обучения сети используются различные алгоритмы обучения и их модификации [9, И, 22, 42, 70, 139]. Очень трудно определить, какой обучающий алгоритм будет самым быстрым при решении той или иной задачи. Наибольший интерес для нас представляет алгоритм обратного распространения ошибки, так как является эффективным средством для обучения многослойных нейронных сетей прямого распространения [85, 127]. Алгоритм минимизирует среднеквадратичную ошибку нейронной сети. Для этого с целью настройки синаптических связей используется метод градиентного спуска в пространстве весовых коэффициентов и порогов нейронной сети. Следует отметить, что для настройки синаптических связей сети используется не только метод градиентного спуска, но и методы сопряженных градиентов, Ньютона, квазиньютоновский метод [94]. Для ускорения процедуры обучения вместо постоянного шага обучения предложено использовать адаптивный шаг обучения a(t). Алгоритм с адаптивным шагом обучения работает в 4 раза быстрее. На каждом этапе обучения сети он выбирается таким, чтобы минимизировать среднеквадратическую ошибку сети [29, 36]. [c.65]
Обратное распространение (Ba kpropagation). Метод обучения, при котором многослойная нейронная сеть с прямыми связями применяется для распознавания образов или классификации с учителем и передачей (или распространением) по обратной связи информации об ошибке. [c.310]
Смотреть страницы где упоминается термин Обучение методом обратного распространения ошибки
: [c.30] [c.171] [c.262] [c.263] [c.14] [c.260]Смотреть главы в:
Методы прогнозирования в условиях рынка -> Обучение методом обратного распространения ошибки