Головна

Обговорення

  1. Part3. ОБГОВОРЕННЯ МЕТОДИ.
  2. Блог, обговорення
  3. Обговорення
  4. Обговорення
  5. ОБГОВОРЕННЯ
  6. Обговорення законопроекту

Комбінована мережа, що використовує зворотне поширення і навчання Коші, навчається значно швидше, ніж кожен з алгоритмів окремо, і щодо нечутлива до величинам коефіцієнтів. Збіжність до глобального мінімуму гарантується алгоритмом Коші, в сотнях експериментів з навчання мережу жодного разу не потрапляла в пастки локальних мінімумів. Проблема мережевого паралічу була вирішена за допомогою алгоритму селективного стиснення ваг, який забезпечив збіжність у всіх пред'явлених тестових завданнях без істотного збільшення навчального часу.

Незважаючи на такі обнадійливі результати, метод ще не досліджений до кінця, особливо на великих завданнях. Значно більша робота буде потрібно для визначення його достоїнств і недоліків.

література

1. Geman S., Geman D. 1984. Stohastic relaxation, Gibbs distribution and Baysian restoration of images. IEEE Transactions on Pattern Analysis and Machine Intelligence 6: 721-41.

2. Hinton G. E., Sejnowski T. J. 1986. Learning and relearning in Boltzmann machines. In Parallel distributed processing, vol. 1, p. 282-317. Cambridge, MA: MIT Press.

3. Metropolis N., Rosenbluth A. W-.Rosenbluth M. N., Teller A. N., Teller E. 1953. Equations of state calculations by fast computing machines. Journal of Chemistry and Physics. 21: 1087-91.

4. Parker D. B. 1987. Optimal algorithms for adaptive networks. Second order Hebbian learning. In Proceedings of the IEEE First International Conference on Neural Networks, eds. M. Caudill and C. Buller, vol. 2, pp. 593-600. San Diego, CA: SOS Printing.

5. Rumelhart D. E. Hinton G. E. Williams R. J. 1986. Learning internal representations by error propagation. In Parallel distributed processing, vol. 1, pp. 318-62. Cambridg, MA: MIT Press.

6. Szu H., Hartley R. 1987. Fast Simulated annealing. Physics Letters. +1222 (3,4): 157-62.

7. Wassermann P. D. 1988. Combined backpropagation / Cauchi machine. Neural Networks. Abstracts of the First INNS Meeting, Boston 1988, vol. 1, p. 556. Elmsford, NY. Pergamon Press.




Попередня   32   33   34   35   36   37   38   39   40   41   42   43   44   45   46   47   Наступна

Вибір початкових значень вагових векторів | МЕРЕЖА ЗУСТРІЧНОГО ПОШИРЕННЯ ПОВНІСТЮ | Додаток: СТИСК ДАНИХ | ОБГОВОРЕННЯ | ВИКОРИСТАННЯ НАВЧАННЯ | больцманівського навчання | навчання Коші | Метод штучної теплоємності | Додатки до ЗАГАЛЬНИМ НЕЛІНІЙНИМ ЗАДАЧ ОПТИМІЗАЦІЇ | Труднощі, пов'язані зі зворотним поширенням |

© 2016-2022  um.co.ua - учбові матеріали та реферати