Головна

Нейронна мережа Хеммінга

  1. Кодування за кодом Хеммінга
  2. Нейронна модель представлення знань
  3. Нейронна мережа ART-1
  4. Нейронна мережа Хопфілда як динамічна система
  5. Нейронні мережі Хопфілда і Хеммінга

Рис.5 Структурна схема мережі Хеммінга

Коли немає необхідності, щоб мережа в явному вигляді видавала зразок, тобто досить, скажімо, отримувати номер зразка, асоціативну пам'ять успішно реалізує мережа Хеммінга. Дана мережа характеризується, в порівнянні з мережею Хопфілда, меншими витратами на пам'ять і обсягом обчислень, що стає очевидним з її структури (рис. 5).

Мережа складається з двох шарів. Перший і другий шари мають по m нейронів, де m - число зразків. Нейрони першого шару мають по n синапсів, з'єднаних з входами мережі (утворюють фіктивний нульовий шар). Нейрони другого шару пов'язані між собою інгібіторної (негативними зворотними) синаптическими зв'язками. Єдиний синапс з позитивним зворотним зв'язком для кожного нейрона з'єднаний з його ж аксоном.

Ідея роботи мережі полягає в знаходженні відстані Хеммінга від тестованого образу до всіх зразків. Відстанню Хеммінга називається число відрізняються бітів в двох бінарних векторах. Мережа повинна вибрати зразок з мінімальною відстанню Хеммінга до невідомого вхідного сигналу, в результаті чого буде активізований тільки один вихід мережі, що відповідає цьому зразку.

На стадії ініціалізації ваговим коефіцієнтам першого шару і порогу активаційної функції привласнюються наступні значення:

, I = 0 ... n-1, k = 0 ... m-1 (5)

Tk = n / 2, k = 0 ... m-1 (6)

тут xik - I-ий елемент k-ого зразка.

Вагові коефіцієнти гальмуючих синапсів у другому шарі беруть рівними деякій величині 0

Алгоритм функціонування мережі Хeммінга наступний:

1. На входи мережі подається невідомий вектор X = {Xi: I = 0 ... n-1}, виходячи з якого розраховуються стани нейронів першого шару (верхній індекс у дужках вказує номер шару):

, J = 0 ... m-1 (7)

Після цього отриманими значеннями инициализируются значення аксонів другого шару:

yj(2) = yj(1), J = 0 ... m-1 (8)

2. Обчислити нові стани нейронів другого шару:

 (9)

і значення їх аксонів:

 (10)

Активаційна функція f має вигляд порога (рис. 4б), причому величина F повинна бути досить великою, щоб будь-які можливі значення аргументу не призводили до насичення.

3. Перевірити, чи змінилися виходи нейронів другого шару за останню ітерацію. Якщо так - перейди до кроку 2. Інакше - кінець.

З оцінки алгоритму видно, що роль першого шару досить умовна: скориставшись один раз на кроці 1 значеннями його вагових коефіцієнтів, мережа більше не звертається до нього, тому перший шар може бути взагалі виключений з мережі (замінений на матрицю вагових коефіцієнтів), що і було зроблено в її конкретної реалізації, описаної нижче.

Мал. 6 Зразкові і тестові образи



Попередня   51   52   53   54   55   56   57   58   59   60   61   62   63   64   65   66   Наступна

Труднощі з алгоритмом навчання персептрона | Алгоритм зворотного поширення помилки | Приклад алгоритму зворотного поширення помилки | Недоліки алгоритму ОРО | Здатність нейронної мережі до узагальнення | Ефект перенавчання мережі або ефект бабусиної виховання | розділ 5 | Стійкість динамічних систем | Нейронна мережа Хопфілда як динамічна система | Нейронні мережі Хопфілда і Хеммінга |

© um.co.ua - учбові матеріали та реферати