Головна

Нейронні мережі Хеммінга

  1. код Хеммінга
  2. Нейронні мережі зустрічного поширення
  3. Нейронні мережі Хопфілда

У разі, якщо необхідно визначити номер еталона, найближчий до пред'явленого вхідному вектору, може бути використана мережу Хеммінга. Перевагами цієї мережі в порівнянні з мережею Хопфілда є менші витрати на пам'ять і обсяг обчислень.

Нейронна мережа Хеммінга складається з вхідного, прихованого і вихідного шарів нейронів. Прихований і вихідний шари містять по K нейронів, де К - число еталонів. Нейрони прихованого шару n синапсами з'єднані з виходами нейронів вхідного шару мережі. Виходи нейронів вихідного шару пов'язані зі входами інших нейронів цього шару негативними зворотними (інгібіторної) зв'язками. Єдина позитивний зворотний зв'язок подається з виходу для кожного нейрона вихідного шару на його ж вхід.

Мережа вибирає еталон з мінімальним хеммінговим відстанню від пред'явленого вхідного вектора шляхом активізації тільки одного виходу мережі (нейрона вихідного шару), що відповідає цьому ідеалу.

Хеммінгово відстань являє собою приклад міри схожості або, вірніше, відмінності, спочатку введеної для бінарних функцій в диадном просторі. Вона може бути застосована для порівняння будь-яких упорядкованих наборів, які приймають дискретні значення і, ймовірно, є найкращою з відомих заходів подібності між цифровими кодами. Для бінарних послідовностей х = (x1, ..., Xn) І х '= (x1', ..., Хn') Хеммінгово яку можна визначити:

Тут функція bс {·} визначається як число елементів набору {·}, які приймають значення логічної «1».

На етапі налаштування мережі Хеммінга встановлюються наступні значення ваг нейронів прихованого шару і порогу їх активационной функції:

де хik - I-й компонент k-го еталона; i = 1 ... Т, k = 1 ... К.

Коефіцієнти негативних зворотних зв'язків нейронів вихідного шару задають рівними деякій величині з інтервалу 0

Розглянемо алгоритм функціонування мережі Хеммінга.

КРОК 1. На нейрони вхідного шару подається вектор Х = {хi}, I = 1 ... n. На їх виходах формуються наступні значення (верхній індекс вказує номер шару):

Відповідно до цього встановлюються значення на виходах нейронів вихідного шару:

КРОК 2. В результаті нової (t + 1) -й ітерації визначаються нові стани нейронів вихідного шару:

Активаційна функція f має вигляд порога (рис. 1.3, б), причому величина «сходинки» повинна бути досить великою, щоб можливі значення sk(2) не приводили до насичення.

КРОК 3. Перевірка зміни станів нейронів вихідного шару за останню ітерацію. І перехід до кроку 2 в разі, якщо спостерігалися зміни. Інакше - закінчення процедури.

Роль нейронів вхідного шару досить умовна: скориставшись один раз на кроці 1 значеннями його вагових коефіцієнтів, мережа більше не звертається до нього, тому цей шар може бути взагалі виключений з мережі (замінений на матрицю вагових коефіцієнтів).

У висновку можна зробити наступне узагальнення. Мережі Хопфілда і Хеммінга дозволяють просто і ефективно вирішити задачу автоасоціативною пам'яті: відтворення образів по неповної та спотвореної інформації. Невисока ємність мереж (число образів, що запам'ятовуються) пояснюється тим, що мережі не просто запам'ятовують образи, а дозволяють проводити їх узагальнення, наприклад, за допомогою мережі Хеммінга можлива класифікація за критерієм максимальної правдоподібності. Разом з тим, легкість побудови програмних і апаратних моделей роблять ці мережі привабливими для багатьох практичних застосувань.

У разі, якщо необхідно визначити еталон, найближчий до пред'явленого вхідному вектору (наприклад, на основі хеммінгова відстані), часто виникають проблеми, пов'язані з різницею довжин або з обмеженнями на довжину послідовностей або кількість компонентів в наборах.

Нейронні мережі Хопфілда | Лекція №5. Конфлікти.

© 2016-2022  um.co.ua - учбові матеріали та реферати