Розпізнавання рукописних цифр на основі згорткових нейронних мереж
DOI:
https://doi.org/10.20535/1560-8956.41.2022.271337Ключові слова:
штучний інтелект, згорткова нейронна мережа, розпізнавання рукописних цифр, база даних MNIST, архітектура згорткової нейронної мережі, алгоритм навчанняАнотація
Відомо, що використання багатошарового персептрона з традиційною структурою при вирішенні реальних завдань розпізнавання та класифікації зображень викликає певні труднощі, зокрема, пов'язані з великою розмірністю зображення (це значно збільшує кількість нейронів та синаптичних зв'язків у нейронних зв'язках мережі і, отже, значно збільшує навчальну вибірку та час навчання). З іншого боку, ігнорується топологія вхідних даних. Компоненти вхідного шару можуть бути представлені у будь-якому порядку, незалежно від мети навчання. Однак зображення
мають сувору двовимірну структуру, в якій існує залежність між сусідніми у просторі пікселями. Цих недоліків позбавлені так звані згорткові нейронні мережі, що являють собою особливий клас багатошарових персептронів, спеціально призначених для розпізнавання двовимірних поверхонь з високим ступенем інваріантності до
масштабування, переміщення, обертання, зміни кута та інших просторових перетворень. У цій статті обговорюється проблема практичної реалізації розпізнавання рукописних цифр на основі нейронних згорткових мереж (ЗНМ). Представлено архітектуру ЗНМ, для якої як функцію втрат на навчання рекомендується використовувати перехресну ентропію, а як функцію активації останнього шару ЗНМ — функцію Softmax. Також рекомендується використовувати відомий алгоритм зворотного розповсюдження реалізації алгоритму навчання ЗНМ. Для цього у статті подано основні співвідношення для помилок на кожному рівні.
Бібл. 14, іл. 2.
Посилання
LeCun Y., Bengio Y., Hinton G. Deep Learning. Nature. 2015.Vol. 521. P. 436-444. DOI: 10.1038/nature14539.
Rav`ı D., Wong Ch., Deligianni F., et al. Deep Learning for Health Informatics. IEEE Journal of Biomedical and Health Informatics. 2017. Vol. 21, No 1. P. 4-21. DOI: 10.1109/JBHI.2016.2636665.
Schmidhuber J. Deep Learning in Neural Networks: an Overview. Neural Networks. 2015. Vol. 1. P. 85-117. DOI: 10.1016/j.neunet.2014.09.003.
McCulloch W.S., Pitts W. A Logical Calculus of the Ideas Immanent in Nervous Activity. The Bulletin of Mathematical Biophysics. 1943. Vol. 5, №. 4. P. 115–133. DOI: 10.1007/BF02478259.
Hinton G., Salakhutdinov R. Reducing the Dimensionality of Data with Neural Networks. Science. 2006. Vol. 313, №. 5786. P. 504–507. DOI: 10.1126/science.1127647.
Hinton G.E., Osindero S., Teh Y.-W. A Fast Learning Algorithm for Deep Belief Nets. Neural Computing. 2006. Vol. 18, №. 7. P. 1527–1554. DOI: 10.1162/neco.2006.18.7.1527.
S’ıma J. Loading Deep Networks Is Hard. Neural Computation. 1994. Vol. 6, №. 5. -P. 842–850. DOI: 10.1162/neco.1994.6.5.842.
Windisch D. Loading Deep Networks Is Hard: The Pyramidal Case. Neural Computation. 2005. Vol. 17, №. 2. P. 487–502. DOI: 10.1162/0899766053011519.
Gomez F.J., Schmidhuber J. Co-Evolving Recurrent Neurons Learn Deep Memory POMDPs. Proc. of the 2005 Conference on Genetic and Evolutionary Computation (GECCO) (Washington, DC, USA, June 25–29, 2005), 2005. P. 491–498. DOI: 10.1145/1068009.1068092.
Ciresan D.C., Meier U., Gambardella L.M., Schmidhuber J. Deep, Big, Simple Neural Nets for Handwritten Digit Recognition. Neural Computation. 2010. Vol. 22, №. 12.т P. 3207–3220. DOI: 10.1162/NECO_a_00052.
He K., Zhang X., Ren S., et al. Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (Las Vegas, NV, USA, 27–30 June 2016), 2016. P. 770–778. DOI: 10.1109/CVPR.2016.90.
Bredikhin A. I. Training algorithms for convolutional neural. Bulletin of the Ugra State University. -Khanty-Mansiysk: Issue 1 (52), 2019. P. 41–54. DOI: 10.17816/byusu20190141-54
Sozykin A.V. Review of training methods for deep neural networks. Bulletin of SUSU. Series: Computational Mathematics and Computer Science. Vol. 6, №. 3. 2017. - Р. 28-59. DOI: 10.14529/cmse170303.
Chervyakov N.I., Lyakhov P.A., Nagornov N.N., Valueva M.V., Valuev G.V. Hardware implementation of a convolutional neural network with the use of calculations in the system of residual classes. Computer Optics. 2019. Vol. 43, №. 5. Р. 857-868. DOI: 10.18287/2412-6179-2019-43-5-857-868.
##submission.downloads##
Опубліковано
Номер
Розділ
Ліцензія
Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у нашому журналі.
2. Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована нашим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у нашому журналі.
3. Політика журналу дозволяє і заохочує розміщення рукопису роботи авторами в мережі Інтернет (наприклад, на arXiv.org або на особистих веб-сайтах). Причому рукописи статей можуть бути розміщенні у відкритих архівах як до подання рукопису до редакції, так і під час його редакційного опрацювання. Це сприяє виникненню продуктивної наукової дискусії, позитивно позначається на оперативності ознайомлення наукової спільноти з результатами Ваших досліджень і як наслідок на динаміці цитування вже опублікованої у журналі роботи. Детальніше про це: The Effect of Open Access.
