Головна

Труднощі, пов'язані зі зворотним поширенням

  1. D) під "розповсюдженням серед публіки" будь-який акт, за допомогою якого копії безпосередньо або побічно пропонуються публіці взагалі або будь-якій її частині ".
  2. У зерні пшениці близько 30% всіх ліпідів складають ліпіди, пов'язані з білками і вуглеводами, і не екстрагуються діетиловим ефіром.
  3. У ст. 30 Закону про судову систему закріплені основні положення, пов'язані із забезпеченням діяльності судів. 1 сторінка
  4. У ст. 30 Закону про судову систему закріплені основні положення, пов'язані із забезпеченням діяльності судів. 10 сторінка
  5. У ст. 30 Закону про судову систему закріплені основні положення, пов'язані із забезпеченням діяльності судів. 2 сторінка
  6. У ст. 30 Закону про судову систему закріплені основні положення, пов'язані із забезпеченням діяльності судів. 3 сторінка
  7. У ст. 30 Закону про судову систему закріплені основні положення, пов'язані із забезпеченням діяльності судів. 4 сторінка

Незважаючи на міць, продемонстровану методом зворотного поширення, при його застосуванні виникає ряд труднощів, частина з яких, однак, полегшується завдяки використанню нового алгоритму.

Збіжність. В роботі [5] доказ збіжності дається на мові диференціальних рівнянь в приватних похідних, що робить його справедливим лише в тому випадку, коли корекція ваг виконується за допомогою нескінченно малих кроків. Так як це веде до нескінченного часу збіжності, то воно втрачає силу в практичних застосуваннях. Насправді немає докази, що зворотне поширення буде сходитися при кінцевому розмірі кроку. Експерименти показують, що мережі зазвичай навчаються, але час навчання велике і непередбачувано.

Локальні мінімуми. У зворотному поширенні для корекції ваги мережі використовується градієнтний спуск, просувається до мінімуму відповідно до локальним нахилом поверхні помилки. Він добре працює в разі сильно порізаних неопуклих поверхонь, які зустрічаються в практичних завданнях. В одних випадках локальний мінімум є прийнятним рішенням, в інших випадках він неприйнятний.

Навіть після того як мережа навчена, неможливо сказати, чи знайдений за допомогою зворотного поширення глобальний мінімум. Якщо рішення незадовільно, доводиться давати ваг нові початкові випадкові значення і повторно навчати мережу без гарантії, що навчання закінчиться на цій спробі або що глобальний мінімум взагалі буде коли знайдений.

Параліч. При деяких умовах мережа може при навчанні потрапити в такий стан, коли модифікація ваг не веде до дійсних змін мережі. Такий «параліч мережі» є серйозною проблемою: один раз виникнувши, він може збільшити час навчання на кілька порядків.

Параліч виникає, коли значна частина нейронів отримує ваги, досить великі, щоб дати великі значення NET. Це призводить до того, що величина OUT наближається до свого граничного значення, а похідна від стискаючої функції наближається до нуля. Як ми бачили, алгоритм зворотного поширення при обчисленні величини зміни ваги використовує цю похідну у формулі як коефіцієнт. Для уражених паралічем нейронів близькість похідної до нуля призводить до того, що зміна ваги стає близьким до нуля.

Якщо подібні умови виникають у багатьох нейронах мережі, то навчання може сповільнитися до майже повної зупинки.

Ні теорії, здатної прогнозувати, чи буде мережа паралізована під час навчання чи ні. Експериментально встановлено, що малі розміри кроку рідше призводять до паралічу, але крок, малий для одного завдання, може виявитися великим для іншої. Ціна ж паралічу може бути високою. При моделюванні багато годин машинного часу можуть піти на те, щоб вийти з паралічу.



Попередня   30   31   32   33   34   35   36   37   38   39   40   41   42   43   44   45   Наступна

шар Гроссберга | Попередня обробка вхідних векторів | Вибір початкових значень вагових векторів | МЕРЕЖА ЗУСТРІЧНОГО ПОШИРЕННЯ ПОВНІСТЮ | Додаток: СТИСК ДАНИХ | ОБГОВОРЕННЯ | ВИКОРИСТАННЯ НАВЧАННЯ | больцманівського навчання | навчання Коші | Метод штучної теплоємності |

© um.co.ua - учбові матеріали та реферати