На головну

Дискретна мережу Хопфілда

  1. дискретна мінливість
  2. Дискретна мережу Хопфілда
  3. Дискретна випадкова величина.
  4. Нейронні мережі Хопфілда
  5. Нехай X - дискретна випадкова величина, яка приймає тільки невід'ємні значення і має математичне сподівання m. Доведіть, що P (X ? 4) ? m / 4.
  6. Тема 2. Дискретна випадкова величина

У своїй першій роботі, присвяченій нейронних мереж, Хопфилд розглянув повнозв'язну нейронну мережу з бінарних елементів з симетричними зв'язками. Структура цієї мережі приведена на рис. 4.

 
 


Дискретна мережу Хопфілда складається з єдиного шару нейронів, кожен з яких пов'язаний з усіма іншими і має мережеві вхід і вихід. Сигнали на мережевих входах нейронів визначають їх вихідні сигнали:

При відсутності сигналів на мережевих входах елементи мережі функціонують в асинхронному режимі, при якому кожен з них визначає свій вихідний сигнал в випадкові моменти часу із заданою середньою частотою відповідно до вираження

 (5)

де - відповідно вихідний сигнал і поріг i-го Нерона; wji - Вага зв'язку між j-м і i-м нейронами.

Матриця ваг зв'язків нейромережі симетрична і має нульові компоненти на головній діагоналі, тобто

 (6)

Такий вид матриці ваг забезпечує стійкість мережі: при подачі на її входи зовнішніх сигналів виникає послідовність станів мережі виду (3), яка закінчується стаціонарним станом. Процес досягнення стаціонарного стану можна описати за допомогою мінімізації спеціальної енергетичної функції:

 (7)

де E - штучна енергія мережі, задана у вигляді функції Ляпунова; Uвх.j - Зовнішній вхідний сигнал j-го нейрона.

Енергію всієї мережі можна уявити як суму енергій її окремих нейронів:

 (8)

З виразів (8) і (7) маємо:

Розглянемо зміна енергії DEj довільного j-го елемента при його спрацьовуванні:

 (9)

Для бінарних нейронів збільшення їх вихідних сигналів може приймати тільки три значення: +1, 0, -1. При цьому знак збільшення DUвих.j для j-го елемента збігається зі знаком вираження в круглих дужках. Дійсно, якщо DUвих.j = -1, Тобто нейрон переходить з одиничного стану в нульове, то це означає, що у відповідності з виразом (5) виконується нерівність

тобто вираз у круглих дужках співвідношення (9) негативно. якщо DUвих.j = 1, то розглянутий j-й нейрон переходить з нульового стану в одиничне і, отже,

або

З збігу знаків співмножників в вираженні (9) випливає, що при спрацьовуванні будь-якого j-го нейрона ні його енергія, ні енергія всієї мережі збільшитися не може. Вона або залишається незмінною, якщо DUвих.j = 0, або зменшується, якщо DUвих.j ? 0. Отже, у міру спрацьовування нейронів енергія буде монотонно спадати, поки не досягне одного зі своїх локальних мінімумів, якому відповідав би одна із стаціонарних точок нейромережі. Еволюція мережі з будь-якого початкового стану в силу існування функції Ляпунова (7) завжди закінчується в одній з її стаціонарних точок, тобто аттракторами в дискретної бінарної мережі Хопфілда є тільки стаціонарні точки. Це ж твердження справедливе і для дискретної мережі Хопфілда з біполярними нейронами.

Для зберігання деякого безлічі зображень

 в біполярної мережі Хопфілда використовується матриця W ваг зв'язків з елементами

 (10)

де індекс k вказує на приналежність вхідних сигналів k-му зображенню.

При переході до бінарним нейронам елементи wij матриці W визначаються співвідношенням

 (11)

пороги qi всіх бінарних елементів зазвичай приймаються рівними нулю, а пороги біполярних нейронів часто визначаються через суму елементів матриці ваг:

 (12)

Для мережі Хопфілда число p запам'ятовуються зображень не повинно перевищувати величини, приблизно рівної 0,15n, де n - Число нейронів мережі. Крім того, якщо є пари дуже схожих зображень, наприклад, S k, S q, То вони можуть викликати у мережі перехресні асоціації, тобто пред'явлення на входи мережі зображення S k може призводити до появи на її виході зображення S q і навпаки.

Завдання, які вирішуються дискретної мережею Хопфілда з бінарними або біполярними нейронами в якості асоціативної пам'яті, формулюються наступним чином. Відомий набір еталонних двійкових зображень або сигналів. Мережа повинна вміти з часткового інформації неідеальних зображень, що подаються на її вхід, виділяти еталонні зображення або давати інформацію про те, що вхідний вектор не відповідає жодному зі збережених в її пам'яті. Коли мережа розпізнає будь-яке зображення, то на її виходах з'являється саме це зображення. В іншому випадку вектор вихідних сигналів не збігається ні з одним з еталонних.

Приклад 1. Розглянемо можливості дискретної мережі Хопфілда з дев'ятьма біполярними нейронами з розпізнавання неідеальних зображень букв Н і Т. Еталонні зображення S1 и S2 цих букв наведені на рис. 5, там же дана нумерація елементів зображень, відповідна нейронам мережі Хопфілда і їх векторному поданням:

 
 


Відповідно до вихідних даних вираз (11) для розглянутого прикладу набуває вигляду:

Розрахуємо вага зв'язку w12:

w12 = 1 ? (-1) + 1 ? 1 = 0.

В силу загальної рівності також отримаємо, що. Аналогічно розраховуються й інші елементи матриці W ваг зв'язків. Елементи головної діагоналі матриці W визначаються виразом (10) при i = j: w11 = w22 = ... = W99 = 0.

Результати розрахунків матриці W наведені в табл. 1.

Таблиця 1. Матриця ваг зв'язків

 Номеранейронов  номери нейронів
 -2  -2  -2  -2
 -2  -2
 -2  -2
 -2  -2
 -2  -2  -2  -2
 -2  -2

Пороги біполярних нейронів мережі Хопфілда розраховуються за допомогою співвідношення (12) і даних табл. 1:

Висунемо мережі Хопфілда зображення S 1 літери Н (рис. 5) і розрахуємо вихідні сигнали мережі після його зняття при двох значеннях порогів: і Результати розрахунків наведені в табл. 2.

Таблиця 2. Результати розрахунків вихідних сигналів мережі Хопфілда після

пред'явлення зображення S 1 літери Н

 номери нейронів  компоненти зображення S 1  Вхідні сигнали нейронів  пороги нейронів  Вихідні сигнали нейронів
 -4 Або 4
 -1  -10  -4 Або 4  -1
 -4 Або 4
 -4 Або 4
 -4 Або 4
 -4 Або 4
 -4 Або 4
 -1  -10  -4 Або 4  -1
 -4 Або 4

З аналізу даних табл. 2 випливає, що вектор вихідного зображення мережі повторює зображення S 1 в широкому діапазоні значень порогів. Аналогічна ситуація виходить і при пред'явленні зображення S 2 літери Т (табл. 3), тобто розрахована дискретна мережу Хопфілда, як їй і належить, повторює на своєму виході ідеальні вхідні зображення.

Таблиця 3. Результати розрахунків вихідних сигналів мережі Хопфілда після

пред'явлення зображення S 2 букви Т

 номери нейронів  компоненти зображення S 2  Вхідні сигнали нейронів  пороги нейронів  Вихідні сигнали нейронів
 -4 Або 4
 -4 Або 4
 -4 Або 4
 -1  -10  -4 Або 4  -1
 -4 Або 4
 -1  -10  -4 Або 4  -1
 -1  -10  -4 Або 4  -1
 -4 Або 4
 -1  -10  -4 Або 4  -1

Висунемо тепер мережі зображення S 3І, Інверсне зображення S 3 (Рис. 5). зображення S 3І можна розглядати як спотворене уявлення букви Н, у якого загублені дві негативні компоненти. Результати розрахунків для цього випадку при наведені в табл. 4 (при зображення не відновлюється.). Зіставлення п'яте стовпців таблиць 4 і 2 показує, що мережа відновила еталонне зображення літери Н.

Таблиця 4. Результати розрахунків вихідних сигналів мережі Хопфілда після

пред'явлення зображення S 3

 номери нейронів  компоненти зображення S 3І  Вхідні сигнали нейронів  пороги нейронів  Вихідні сигнали нейронів
 -4
 -6  -4  -1
 -4
 -4
 -4
 -4
 -4
 -6  -4  -1
 -4

При пред'явленні зображень S 1, S 2, S 3И мережу потрапляла в стаціонарну точку за один такт часу при синхронному спрацьовуванні всіх її елементів. Однак таке ідеально швидке досягнення стійкого стану можливо далеко не завжди. Висунемо мережі зображення S 4 (Рис. 6), яке можна розглядати як сильно спотворений еталон букви Н, у якого п'ять одиничних компонент замінені на протилежні "-1". Для досягнення стаціонарної точки, відповідної зображенню S 1 літери Н, в цьому випадку при необхідно два такту часу. При цьому мережа проходить через стану S 5 (Рис. 6). Вхідні і вихідні сигнали нейронів мережі під час цього динамічного процесу наведені в табл. 5.

 
 


Таблиця 5. Результати розрахунків вихідних сигналів мережі Хопфілда після

пред'явлення зображення S 4

 номери нейронів  компоненти зображення S 4(t = 0)  Вхідні сигнали нейронів  Вихідні сигнали нейронів
t = 1 t = 2 t = 1 t = 2
 -1  -6  -1
 -1
 -1  -2
 -1  -2
 -1  -2
 -1  -6  -1
 -1  -2

3. Індивідуальні завдання

3.1. Навчіть дискретну мережу Хопфілда розпізнаванню трьох різних букв Вашого імені. Обгрунтуйте вибір:

- Числа нейронів мережі;

- Способу кодування елементів чорно-білих зображень;

- Алгоритму навчання мережі.

3.2. Досліджуйте можливості мережі по розпізнаванню перекручених зображень.

4. Зміст звіту

4.1. Тема лабораторних занять.

4.2. Індивідуальне завдання.

4.3. Результати виконання пунктів 3.1 - 3.2 індивідуального завдання.

Дискретна мережу Хопфілда

У своїй першій роботі, присвяченій нейронних мереж, Хопфилд розглянув повнозв'язну нейронну мережу з бінарних елементів з симетричними зв'язками. Структура цієї мережі приведена на рис. 4.

 
 


Дискретна мережу Хопфілда складається з єдиного шару нейронів, кожен з яких пов'язаний з усіма іншими і має мережеві вхід і вихід. Сигнали на мережевих входах нейронів визначають їх вихідні сигнали:

При відсутності сигналів на мережевих входах елементи мережі функціонують в асинхронному режимі, при якому кожен з них визначає свій вихідний сигнал в випадкові моменти часу із заданою середньою частотою відповідно до вираження

 (5)

де - відповідно вихідний сигнал і поріг i-го Нерона; wji - Вага зв'язку між j-м і i-м нейронами.

Матриця ваг зв'язків нейромережі симетрична і має нульові компоненти на головній діагоналі, тобто

 (6)

Такий вид матриці ваг забезпечує стійкість мережі: при подачі на її входи зовнішніх сигналів виникає послідовність станів мережі виду (3), яка закінчується стаціонарним станом. Процес досягнення стаціонарного стану можна описати за допомогою мінімізації спеціальної енергетичної функції:

 (7)

де E - штучна енергія мережі, задана у вигляді функції Ляпунова; Uвх.j - Зовнішній вхідний сигнал j-го нейрона.

Енергію всієї мережі можна уявити як суму енергій її окремих нейронів:

 (8)

З виразів (8) і (7) маємо:

Розглянемо зміна енергії DEj довільного j-го елемента при його спрацьовуванні:

 (9)

Для бінарних нейронів збільшення їх вихідних сигналів може приймати тільки три значення: +1, 0, -1. При цьому знак збільшення DUвих.j для j-го елемента збігається зі знаком вираження в круглих дужках. Дійсно, якщо DUвих.j = -1, Тобто нейрон переходить з одиничного стану в нульове, то це означає, що у відповідності з виразом (5) виконується нерівність

тобто вираз у круглих дужках співвідношення (9) негативно. якщо DUвих.j = 1, то розглянутий j-й нейрон переходить з нульового стану в одиничне і, отже,

або

З збігу знаків співмножників в вираженні (9) випливає, що при спрацьовуванні будь-якого j-го нейрона ні його енергія, ні енергія всієї мережі збільшитися не може. Вона або залишається незмінною, якщо DUвих.j = 0, або зменшується, якщо DUвих.j ? 0. Отже, у міру спрацьовування нейронів енергія буде монотонно спадати, поки не досягне одного зі своїх локальних мінімумів, якому відповідав би одна із стаціонарних точок нейромережі. Еволюція мережі з будь-якого початкового стану в силу існування функції Ляпунова (7) завжди закінчується в одній з її стаціонарних точок, тобто аттракторами в дискретної бінарної мережі Хопфілда є тільки стаціонарні точки. Це ж твердження справедливе і для дискретної мережі Хопфілда з біполярними нейронами.

Для зберігання деякого безлічі зображень

 в біполярної мережі Хопфілда використовується матриця W ваг зв'язків з елементами

 (10)

де індекс k вказує на приналежність вхідних сигналів k-му зображенню.

При переході до бінарним нейронам елементи wij матриці W визначаються співвідношенням

 (11)

пороги qi всіх бінарних елементів зазвичай приймаються рівними нулю, а пороги біполярних нейронів часто визначаються через суму елементів матриці ваг:

 (12)

Для мережі Хопфілда число p запам'ятовуються зображень не повинно перевищувати величини, приблизно рівної 0,15n, де n - Число нейронів мережі. Крім того, якщо є пари дуже схожих зображень, наприклад, S k, S q, То вони можуть викликати у мережі перехресні асоціації, тобто пред'явлення на входи мережі зображення S k може призводити до появи на її виході зображення S q і навпаки.

Завдання, які вирішуються дискретної мережею Хопфілда з бінарними або біполярними нейронами в якості асоціативної пам'яті, формулюються наступним чином. Відомий набір еталонних двійкових зображень або сигналів. Мережа повинна вміти з часткового інформації неідеальних зображень, що подаються на її вхід, виділяти еталонні зображення або давати інформацію про те, що вхідний вектор не відповідає жодному зі збережених в її пам'яті. Коли мережа розпізнає будь-яке зображення, то на її виходах з'являється саме це зображення. В іншому випадку вектор вихідних сигналів не збігається ні з одним з еталонних.

Приклад 1. Розглянемо можливості дискретної мережі Хопфілда з дев'ятьма біполярними нейронами з розпізнавання неідеальних зображень букв Н і Т. Еталонні зображення S1 и S2 цих букв наведені на рис. 5, там же дана нумерація елементів зображень, відповідна нейронам мережі Хопфілда і їх векторному поданням:

 
 


Відповідно до вихідних даних вираз (11) для розглянутого прикладу набуває вигляду:

Розрахуємо вага зв'язку w12:

w12 = 1 ? (-1) + 1 ? 1 = 0.

В силу загальної рівності також отримаємо, що. Аналогічно розраховуються й інші елементи матриці W ваг зв'язків. Елементи головної діагоналі матриці W визначаються виразом (10) при i = j: w11 = w22 = ... = W99 = 0.

Результати розрахунків матриці W наведені в табл. 1.

Таблиця 1. Матриця ваг зв'язків

 Номеранейронов  номери нейронів
 -2  -2  -2  -2
 -2  -2
 -2  -2
 -2  -2
 -2  -2  -2  -2
 -2  -2

Пороги біполярних нейронів мережі Хопфілда розраховуються за допомогою співвідношення (12) і даних табл. 1:

Висунемо мережі Хопфілда зображення S 1 літери Н (рис. 5) і розрахуємо вихідні сигнали мережі після його зняття при двох значеннях порогів: і Результати розрахунків наведені в табл. 2.

Таблиця 2. Результати розрахунків вихідних сигналів мережі Хопфілда після

пред'явлення зображення S 1 літери Н

 номери нейронів  компоненти зображення S 1  Вхідні сигнали нейронів  пороги нейронів  Вихідні сигнали нейронів
 -4 Або 4
 -1  -10  -4 Або 4  -1
 -4 Або 4
 -4 Або 4
 -4 Або 4
 -4 Або 4
 -4 Або 4
 -1  -10  -4 Або 4  -1
 -4 Або 4

З аналізу даних табл. 2 випливає, що вектор вихідного зображення мережі повторює зображення S 1 в широкому діапазоні значень порогів. Аналогічна ситуація виходить і при пред'явленні зображення S 2 літери Т (табл. 3), тобто розрахована дискретна мережу Хопфілда, як їй і належить, повторює на своєму виході ідеальні вхідні зображення.

Таблиця 3. Результати розрахунків вихідних сигналів мережі Хопфілда після

пред'явлення зображення S 2 букви Т

 номери нейронів  компоненти зображення S 2  Вхідні сигнали нейронів  пороги нейронів  Вихідні сигнали нейронів
 -4 Або 4
 -4 Або 4
 -4 Або 4
 -1  -10  -4 Або 4  -1
 -4 Або 4
 -1  -10  -4 Або 4  -1
 -1  -10  -4 Або 4  -1
 -4 Або 4
 -1  -10  -4 Або 4  -1

Висунемо тепер мережі зображення S 3І, Інверсне зображення S 3 (Рис. 5). зображення S 3І можна розглядати як спотворене уявлення букви Н, у якого загублені дві негативні компоненти. Результати розрахунків для цього випадку при наведені в табл. 4 (при зображення не відновлюється.). Зіставлення п'яте стовпців таблиць 4 і 2 показує, що мережа відновила еталонне зображення літери Н.

Таблиця 4. Результати розрахунків вихідних сигналів мережі Хопфілда після

пред'явлення зображення S 3

 номери нейронів  компоненти зображення S 3І  Вхідні сигнали нейронів  пороги нейронів  Вихідні сигнали нейронів
 -4
 -6  -4  -1
 -4
 -4
 -4
 -4
 -4
 -6  -4  -1
 -4

При пред'явленні зображень S 1, S 2, S 3И мережу потрапляла в стаціонарну точку за один такт часу при синхронному спрацьовуванні всіх її елементів. Однак таке ідеально швидке досягнення стійкого стану можливо далеко не завжди. Висунемо мережі зображення S 4 (Рис. 6), яке можна розглядати як сильно спотворений еталон букви Н, у якого п'ять одиничних компонент замінені на протилежні "-1". Для досягнення стаціонарної точки, відповідної зображенню S 1 літери Н, в цьому випадку при необхідно два такту часу. При цьому мережа проходить через стану S 5 (Рис. 6). Вхідні і вихідні сигнали нейронів мережі під час цього динамічного процесу наведені в табл. 5.

 
 


Таблиця 5. Результати розрахунків вихідних сигналів мережі Хопфілда після

пред'явлення зображення S 4

 номери нейронів  компоненти зображення S 4(t = 0)  Вхідні сигнали нейронів  Вихідні сигнали нейронів
t = 1 t = 2 t = 1 t = 2
 -1  -6  -1
 -1
 -1  -2
 -1  -2
 -1  -2
 -1  -6  -1
 -1  -2

3. Індивідуальні завдання

3.1. Навчіть дискретну мережу Хопфілда розпізнаванню трьох різних букв Вашого імені. Обгрунтуйте вибір:

- Числа нейронів мережі;

- Способу кодування елементів чорно-білих зображень;

- Алгоритму навчання мережі.

3.2. Досліджуйте можливості мережі по розпізнаванню перекручених зображень.

4. Зміст звіту

4.1. Тема лабораторних занять.

4.2. Індивідуальне завдання.

4.3. Результати виконання пунктів 3.1 - 3.2 індивідуального завдання.



Дискретна мережу Хопфілда | Двонаправлена ??асоціативна пам'ять на довічних елементах
© um.co.ua - учбові матеріали та реферати