Предложенная ими модель относится к классу растущих нейронных сетей. Такие сети по-своему решают задачу адаптации своей структуры к требованиям решаемой задачи. Вспомним многослойные персептроны, для которых количества скрытых слоев и нейронов в них часто выбираются методом проб и ошибок. Как уже отмечалось в связи с этим, имеются два подхода к адаптивному выбору архитектуры нейросетей. В первом подходе заведомо избыточная нейросеть прореживается до нужной степени сложности. Растущие сети, напротив, стартуют с очень простых и небольших структур, которые разрастаются и усложняются по мере необходимости. [c.118]
Наконец, в современных гибридных нейронных нечетких системах нейронные сети и нечеткие модели комбинируются в единую гомогенную архитектуру. Такие системы могут [c.208]
Ниже на рисунке приведена архитектура нейронной сети, эквивалентной описанной выше нечеткой системе (Рисунок 4). [c.215]
Аналогичным образом выводятся уравнения коррекции для параметров, управляющих формой функций принадлежности нечетких понятий слабый L/ и сильный /-/,- курс доллара Д, 6 ,, i = 1,2,3- Легко заметить, что особенностью описанного нами совместного использования нейросетевого и нечеткого подходов заключается в том, что адаптируются не величины связей между нейронами, а формы нелинейного преобразования, осуществляемого нейронами (формы функции принадлежности). С нейрокомпьютерной точки зрения достоинства нечетких моделей как раз и связано с нелинейностью функции принадлежности. Фиксирование и изначальное задание архитектуры сети позволяет интерпретировать ее решения. И что особенно важно, описанный подход по сути позволяет инкорпорировать априорные знания в структуру нейронной сети. [c.217]
Нейронные сети с прямой связью состоят из статических нейронов, так что сигнал на выходе сети появляется в тот же момент, когда подаются сигналы на вход. Организация (топология) сети может быть различной. Если не все составляющие ее нейроны являются выходными, говорят, что сеть содержит скрытые нейроны. Наиболее общий тип архитектуры сети получается в случае, когда все нейроны связаны друг с другом (но без обратных связей). В конкретных задачах нейроны обычно бывают сгруппированы в слои. На рис. 1.3 показана типовая схема нейронной сети с прямой связью с одним скрытым слоем. [c.23]
Таким образом, задача построения нейронной сети является нетривиальной. Вопросы о том, сколько нужно взять скрытых слоев, сколько элементов в каждом из них, сколько связей и какие обучающие параметры, в имеющейся литературе, как правило, трактуются облегченно. Предлагаемая обычно процедура состоит в переборе различных архитектур с целью найти наилучшую или хотя бы удовлетворительную модель. Такая концепция представляется весьма ограниченной. [c.24]
Архитектура такой нейронной сети с временной задержкой позволяет моделировать любую конечную временную зависимость вида [c.39]
В этой главе архитектура нейронных сетей рассматривается с точки зрения двух наиболее важных видов приложений — задач классификации и анализа временных рядов. [c.42]
Как отмечалось выше, нейронные сети могут служить универсальным средством аппроксимации в том смысле, что при достаточно разветвленной архитектуре они реализуют широкий класс функций [79]. Как часто бывает, достоинство одновременно является и недостатком. Благодаря способности тонко улавливать структуру аппроксимируемой функции сеть достигает очень высокой степени соответствия на обучающем множестве, и в результате плохо делает обобщения при последующей работе с реальными данными. Это явление называется переобучением, или эффектом бабушкиного воспитания. Сеть моделирует не столько саму функцию, сколько присутствующий в обучающем множестве шум. Переобучение присутствует и в таких более простых моделях, как линейная регрессия, но там оно не так выражено, поскольку через обучающие данные нужно провести всего лишь прямую линию. Чем богаче набор моделирующих функций, тем больше риск переобучения. На рис. 1.5 показаны типичные проявления переобучения. [c.252]
Процесс разработки нейронной сети можно разделить на следующие этапы создание архитектуры сети генерирование и предварительная обработка данных обучение тестирование. [c.125]
Архитектура сети. На рис. 1.33 представлена схема искусственного нейрона, используемого в качестве основного строительного блока в сетях обратного распространения. [c.125]
При проектировании архитектуры нейронной сети необходимо определить число слоев нейронов и количество нейронов в каждом слое. Процедура обратного распространения применима к сетям с любым числом слоев, но традиционно рассматриваются сети, содержащие входной, выходной и скрытый слой. Число нейронов в выходном и входном слоях определяется соответственно количеством выходов и входов системы. В общем случае, чем меньше нейронов в выходном слое, тем быстрее сеть обучается. [c.126]
Собственно процесс обучения обычно включает некоторый механизм обновления удельных весов или важности разных связей между нейронами в ответ на подаваемые учебные примеры. При использовании в архитектуре прямых связей часто используют обратное распространение — наиболее быструю форму оптимизации. Также эффективны генетические алгоритмы, которые требуют большого количества расчетов и времени, но обычно дают лучшие окончательные результаты. [c.253]
Нейросети призваны изучать то, как решаются конкретные задачи путем прохождения информации через нейроны, являющиеся основной единицей в нейросетевых процессах. Обычно нейросети состоят из нескольких уровней нейронов. Сетевая архитектура определяет число уровней, количество нейронов на каждом из уровней, взаимосвязи между нейронами, а также передаточные функции, которые используются в нейросетях. Существует множество парадигм, две из которых широко применяются в финансовом анализе. Одна из них называется сетью с повторяющимся обратным распространением, которая изучает текущую информацию, используя порядок появления событий. Вторая парадигма, которая часто используется в финансовом мире, называется сетью с направляющим обратным распространением. Она предполагает анализ от обратного, т. е. анализ [c.129]
Но если функциональные принципы организации компьютерной аппаратуры известны в деталях (поскольку эти принципы нами же и создавались) - от функций элементов до архитектуры, - то о функциональной стороне организации нейронных структур мозга, реализующих интеллектуальные процессы, до сих пор известно не слишком много. Речь идет именно о функциональной стороне. В нейрофизиологии подробно изучена анатомия и топология мозга. Известно, какие зоны мозга возбуждаются при различных процессах обработки информации и какие физико-химические процессы происходят при этом в нейронах и нейронных волокнах. Однако в целом нейрофизиология, зная многое о процессах передачи сигналов между нейронами, мало определенного может сказать о том, как с помощью этих процессов организуется обработка и запоминание крупных информационных единиц - образов, слов, понятий, - хотя гипотез на этот счет существует немало. Загадки, перед которыми стоит нейрофизиология, напоминают проблемы опытного электротехника, который, ничего не зная о принципах работы компьютера, вздумал бы понять их, вскрыв компьютер и изучая его схемы. Он быстро обнаружит, что сигналы имеют электрическую природу выделит основные конструктивные блоки и связи между ними сможет замерить напряжение и силу тока в любой точке любой схемы. Однако это не объяснит ему, почему в результате каких-то электронных процессов в машине складываются два числа или в длинном тексте отыскивается нужное слово. Если он не знает, как в компьютере представляются числа, что такое процессор и программа, то у него нет даже нужных слов и понятий, чтобы сформулировать правильные вопросы. [c.16]
При сравнении этих двух подходов сразу бросается в глаза то что при описании своих методов статистика апеллирует к формулам и уравнениям, а нейрокомпьютинг к графическому описанию нейронных архитектур. [c.201]
Один из вариантов модификации базового правила обучения соревновательного слоя состоит в том, чтобы обучать не только нейрон-победитель, но и его "соседи", хотя и с меньшей скоростью. Такой подход - "подтягивание" ближайших к победителю нейронов - применяется в топографических картах Кохонена. В силу большой практической значимости этой нейросетевой архитектуры, остановимся на ней более подробно. [c.84]
| Рисунок 3. Архитектура сети Хопфилда. Связи с одинаковым весом обозначены одинаковыми линиями. Матрица соединений полносвязанная и симметричная. Самовоздействие нейронов отсутствует. |  |
Его основатели - Марвин Минский и Эдвард Фейгенбаум посчитали излишней апелляцию к архитектуре мозга его нейронным структурам и декларировали необходимость моделирования работы человека со знаниями. Тем самым, поставив в центр внимания операции с формальнологическими языковыми структурами, они заведомо выбрали ориентацию на имитацию обработки информации левым полушарием мозга человека. Системы обработки таких формализованных знаний были названы экспертными, поскольку они должны были воспроизводить ход логических рассуждений эксперта (высокопрофессионального специалиста) в конкретной предметной области. Эти рассуждения проводятся с использованием правил вывода, которые инженер знаний должен извлечь у эксперта. [c.205]
К сожалению, хотя теоретически характеристики нейронной сети с прямой связью стремятся к байесовской, в применении их к практическим задачам выявляется ряд недостатков. Во-первых, заранее неизвестно, какой сложности (т.е. размера) сеть потребуется для достаточно точной реализации отображения. Эта сложность может оказаться чрезмерно большой. Архитектура сети, т.е. число слоев и число элементов в каждом слое, должна быть зафиксирована до начала обучения. Эта архитектура порождает сложные нелинейные разделяющие поверхности в пространстве входов. В сети с одним скрытым слоем векторы образцов сначала преобразуются (нелинейным образом) в новое пространство представлений (пространство скрытого слоя), а затем гиперплоскости, соответствующие выходным узлам, располагаются так, чтобы разделить классы уже в этом новом пространстве. Тем самым, сеть распознает уже другие характерис- [c.46]
Нейронно-сетевые модели можно совершенствовать еще и еще, но даже при относительно простом подходе получается довольно устойчивая архитектура. При обработке реальных данных, с шумом и меняющейся структурой, всегда приходится заботиться о том, чтобы не происходило переобучение, и универсальные (а не сделанные специально для данного ряда) модели дают в этом смысле определенную защиту. . [c.71]
До сих пор мы сравнивали между собой сетевые архитектуры с различным числом скрытых слоев и нейронов, предполагая, что каждый входной сигнал, действительно, влияет на результат. Однако, как уже говорилось, непредвиденная инфляция (UI) и месячное производство (МР) существенно не влияют на среднеквадратичную ошибку. В связи с этим возникает вопрос о том, нельзя ли эти переменные безболезненно изъять из дальнейшего рассмотрения. Явля- [c.142]
Существует большое разнообразие нейронных сетей, отличающихся своей архитектурой , т.е. способом связи виртуальных нейронов, деталями их поведения (обработкой сигнала или функциями передачи ) и процессом обучения. Существуют различные виды архитектур сетей представляющих интерес для трейдеров, например сети Коонена и сети с квантованием обучающего вектора (LVQ), различные сети с адаптивным резонансом и периодические сети. В этой главе будет рассмотрена наиболее популярная и полезная во многих отношениях архитектура, а именно нейронная сеть с прямой связью. [c.253]
Большую роль для эффективности обучения сети играет архитектура НС [114]. При помощи трехслойной НС можно аппроксимировать любую функцию со сколь угодно заданной точностью [14, 110]. Точность определяется числом нейронов в скрытом слое, но при слишком большой размерности скрытого слоя может наступить явление, называемое перетренировкой сети. Для устранения этого недостатка необходимо, чтобы число нейронов в промежуточном слое было значительно меньше, чем число тренировочных образов. С другой стороны, при слишком маленькой размерности скрытого слоя можно попасть в нежелательный локальный минимум. Для нейтрализации этого недостатка можно применять ряд методов описанных в [94, 127]. [c.66]
Основное различие между СОК и ИСОГ заключается, очевидно, в типах карт, которые создают эти два алгоритма. С геометрической точки зрения отличительные особенности ИСОГ и СОК состоят в способе представления ими пространства входных данных. Основная идея, на которой основана архитектура ИСОГ, состоит в выявлении существенных особенностей входных данных, динамике их изменения и настройке на них, дающей карте возможность решать , в каком направлении эволюционировать. Следовательно, начав с исходной карты небольшой размерности, ИСОГ будет развиваться во вполне определенном направлении, выделяя те особенности входных данных, которые посчитает наиболее перспективными. Рост карты может контролироваться, поскольку индексация новых генераций отлична от индексации предшествующих. Таким образом, мы сохраняем двумерную структуру карты, даже если на практике нейроны окажутся организованными в различные слои в соответствии с моментом их создания. Окончательный результат применения метода ИСОГ оказывается совершенно отличным от того, которого можно было бы ожидать при обучении с помощью одного только метода СОК. [c.161]
Для широкого коммерческого использования WEBSOM требуется, естественно, системная интеграция, в результате которой эта новая технология будет адаптирована для использования наряду с традиционными системами обработки текстов и поиска информации. По нашим оптимистическим оценкам, эта карта вскоре станет известной всем пользователям компьютеров, имеющим дело с большими архивами текстовых документов. Неясно пока, приведет ли это к интеграции технологий нейронных сетей в операционные системы или затронет даже архитектуру популярного аппаратного обеспечения. В последнем случае можно было бы с полным основанием заменить первую букву в слове omputer с с на s ... [c.244]
Параллельная обработка (Parallel pro essing). Разновидность вычислений, при которых многие расчеты обрабатываются соревновательно. Одной из уникальных особенностей нейронной сети является то, что она предоставляет внутренне присущие ей чистые и простые механизмы для разделения вычислительной задачи на субъединицы. Эта внутренне присущая параллельность делает ее идеальным кандидатом для архитектуры с высокой степенью параллельности. [c.310]
Модели ПНС, в которых фазовые соотношения сигналов зависят только от геометрии сети - длин соединений между нейронами, расстояний между нейронными слоями, конфигурации и взаимного расположения слоев, - называются геометрическими. Модели, в которых они зависят от задержек в синапсах, называются синаптическими. Геометрия сети в них несущественна. Все классы ПНС имеют общую архитектуру, состоящую из четырех слоев слой А - источник (аналог источника опорной волны в голографии) слой В исходных образов, представляемых распределением потенциалов слой С, в котором в результате интерференции сигналов от А и В возникает распределение потенциалов, образующее голограмму образа В слой D, в котором в результате интерференции сигналов от нейронов слоя С, "освещенного" источником А, возникает распределение потенциалов, представляющее восстановленный образ. Степень сходства этого образа с образом В определяет качество восстановления. [c.23]