Розпізнавання рукописних цифр на основі згорткових нейронних мереж

Автор(и)

  • О. Стенін КПІ ім. Ігоря Сікорського, Ukraine
  • В. Пасько КПІ ім. Ігоря Сікорського, Ukraine
  • M. Солдатова КПІ ім. Ігоря Сікорського, Ukraine
  • I. Дроздович Iнституту телекомунікацій та глобального інформаційного простору НАН України, Ukraine

DOI:

https://doi.org/10.20535/1560-8956.41.2022.271337

Ключові слова:

штучний інтелект, згорткова нейронна мережа, розпізнавання рукописних цифр, база даних MNIST, архітектура згорткової нейронної мережі, алгоритм навчання

Анотація

Відомо, що використання багатошарового персептрона з традиційною структурою при вирішенні реальних завдань розпізнавання та класифікації зображень викликає певні труднощі, зокрема, пов'язані з великою розмірністю зображення (це значно збільшує кількість нейронів та синаптичних зв'язків у нейронних зв'язках мережі і, отже, значно збільшує навчальну вибірку та час навчання). З іншого боку, ігнорується топологія вхідних даних. Компоненти вхідного шару можуть бути представлені у будь-якому порядку, незалежно від мети навчання. Однак зображення
мають сувору двовимірну структуру, в якій існує залежність між сусідніми у просторі пікселями. Цих недоліків позбавлені так звані згорткові нейронні мережі, що являють собою особливий клас багатошарових персептронів, спеціально призначених для розпізнавання двовимірних поверхонь з високим ступенем інваріантності до
масштабування, переміщення, обертання, зміни кута та інших просторових перетворень. У цій статті обговорюється проблема практичної реалізації розпізнавання рукописних цифр на основі нейронних згорткових мереж (ЗНМ). Представлено архітектуру ЗНМ, для якої як функцію втрат на навчання рекомендується використовувати перехресну ентропію, а як функцію активації останнього шару ЗНМ — функцію Softmax. Також рекомендується використовувати відомий алгоритм зворотного розповсюдження реалізації алгоритму навчання ЗНМ. Для цього у статті подано основні співвідношення для помилок на кожному рівні.

Бібл. 14, іл. 2.

Посилання

LeCun Y., Bengio Y., Hinton G. Deep Learning. Nature. 2015.Vol. 521. P. 436-444. DOI: 10.1038/nature14539.

Rav`ı D., Wong Ch., Deligianni F., et al. Deep Learning for Health Informatics. IEEE Journal of Biomedical and Health Informatics. 2017. Vol. 21, No 1. P. 4-21. DOI: 10.1109/JBHI.2016.2636665.

Schmidhuber J. Deep Learning in Neural Networks: an Overview. Neural Networks. 2015. Vol. 1. P. 85-117. DOI: 10.1016/j.neunet.2014.09.003.

McCulloch W.S., Pitts W. A Logical Calculus of the Ideas Immanent in Nervous Activity. The Bulletin of Mathematical Biophysics. 1943. Vol. 5, №. 4. P. 115–133. DOI: 10.1007/BF02478259.

Hinton G., Salakhutdinov R. Reducing the Dimensionality of Data with Neural Networks. Science. 2006. Vol. 313, №. 5786. P. 504–507. DOI: 10.1126/science.1127647.

Hinton G.E., Osindero S., Teh Y.-W. A Fast Learning Algorithm for Deep Belief Nets. Neural Computing. 2006. Vol. 18, №. 7. P. 1527–1554. DOI: 10.1162/neco.2006.18.7.1527.

S’ıma J. Loading Deep Networks Is Hard. Neural Computation. 1994. Vol. 6, №. 5. -P. 842–850. DOI: 10.1162/neco.1994.6.5.842.

Windisch D. Loading Deep Networks Is Hard: The Pyramidal Case. Neural Computation. 2005. Vol. 17, №. 2. P. 487–502. DOI: 10.1162/0899766053011519.

Gomez F.J., Schmidhuber J. Co-Evolving Recurrent Neurons Learn Deep Memory POMDPs. Proc. of the 2005 Conference on Genetic and Evolutionary Computation (GECCO) (Washington, DC, USA, June 25–29, 2005), 2005. P. 491–498. DOI: 10.1145/1068009.1068092.

Ciresan D.C., Meier U., Gambardella L.M., Schmidhuber J. Deep, Big, Simple Neural Nets for Handwritten Digit Recognition. Neural Computation. 2010. Vol. 22, №. 12.т P. 3207–3220. DOI: 10.1162/NECO_a_00052.

He K., Zhang X., Ren S., et al. Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (Las Vegas, NV, USA, 27–30 June 2016), 2016. P. 770–778. DOI: 10.1109/CVPR.2016.90.

Bredikhin A. I. Training algorithms for convolutional neural. Bulletin of the Ugra State University. -Khanty-Mansiysk: Issue 1 (52), 2019. P. 41–54. DOI: 10.17816/byusu20190141-54

Sozykin A.V. Review of training methods for deep neural networks. Bulletin of SUSU. Series: Computational Mathematics and Computer Science. Vol. 6, №. 3. 2017. - Р. 28-59. DOI: 10.14529/cmse170303.

Chervyakov N.I., Lyakhov P.A., Nagornov N.N., Valueva M.V., Valuev G.V. Hardware implementation of a convolutional neural network with the use of calculations in the system of residual classes. Computer Optics. 2019. Vol. 43, №. 5. Р. 857-868. DOI: 10.18287/2412-6179-2019-43-5-857-868.

##submission.downloads##

Опубліковано

2022-12-01