Начальные веса нейрон

Перед тем, как начинать процесс обучения нейронной сети, необходимо присвоить весам начальные значения. Цель здесь, очевидно, должна состоять в том, чтобы найти как можно более хорошее начальное приближение к решению и таким образом сэкономить время обучения и улучшить сходимость. Конечно, можно положить начальные веса во всей сети равными нулю, но тогда частные производные от невязки по всем весам будут одинаковыми, и изменения весов не будут должным образом структурированы. В результате нельзя будет надеяться на то, что сеть вообще когда-нибудь сможет решить задачу. Нужно искать способы уйти от такой симметрии.  [c.29]


Описанный выше базовый алгоритм обучения на практике обычно несколько модифицируют, т.к. он, например, допускает существование т.н. мертвых нейронов, которые никогда не выигрывают, и, следовательно, бесполезны. Самый простой способ избежать их появления -выбирать в качестве начальных значений весов случайно выбранные в обучающей выборке входные вектора.  [c.81]

Задать произвольно небольшие начальные значения весов связей нейронов.  [c.31]

Смотреть страницы где упоминается термин Начальные веса нейрон

: [c.29]    [c.262]   
Нейронные сети и финансовые рынки (1997) -- [ c.2 ]