Порівняльне оцінювання сучасних моделей комп'ютерного зору для визначення типу захоплення в біонічних протезах
DOI:
https://doi.org/10.20535/1560-8956.48.2026.351880Ключові слова:
біонічний протез, комп’ютерний зір, класифікація захвату, машинне навчання, нейронні мережі, few-shot навчання, zero-shot розпізнавання, мережі відповідності, прототипічні мережі, розпізнавання об’єктівАнотація
Дане дослідження представляє собою порівняльне оцінювання деяких сучасних моделей комп'ютерного зору для визначення типу захоплення в біонічних протезах. В роботі використовуються попередньо навчені моделі, включаючи CLIP та ResNet, зі стратегіями навчання zero-shot та few-shot для задачі класифікації типів захоплення за зображеннями об'єктів. Кілька підходів до класифікації, включаючи мережі зіставлення, прототипні мережі та алгоритм K-найближчих сусідів, оцінювалися з точки зору топ-1 та топ-3 точності, а також часу їхнього виведення. Розроблене рішення демонструє багатообіцяючі результати в умовах обмеженої кількості навчальних даних та має перспективи для інтеграції в сучасні інтелектуальні протези. Ми продемонстрували ефективність zero-shot та few-shot підходів для розпізнавання типу захоплення. Проста zero-shot модель CLIP у поєднанні з методом К-найближчих сусідів досягла найвищої точності топ-3 - 85%, демонструючи високу адаптивність до раніше не бачених об'єктів. Це свідчить про перспективність її використання в динамічних відкритих середовищах реального світу.
Бібл. 11, іл. 4, табл.. 3
Посилання
Redmon, J., & Angelova, A. (2015). Real-Time Grasp Detection Using Convolutional Neural Networks. URL: https://arxiv.org/abs/1412.3128
Mahler, J., Matl, M., Satish, V., et al. (2017). Dex-Net 2.0: Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp Metrics. URL: https://arxiv.org/abs/1703.09312
Snell, J., Swersky, K., & Zemel, R. (2017). Prototypical Networks for Few-shot Learning. URL: https://arxiv.org/abs/1703.05175
Vinyals, O., Blundell, C., Lillicrap, T., Kavukcuoglu, K., & Wierstra, D. (2016). Matching Networks for One-Shot Learning. URL: https://arxiv.org/abs/1606.04080
Radford, A., Kim, J. W., Hallacy, C., et al. (2021). Learning Transferable Visual Models From Natural Language Supervision (CLIP). URL: https://arxiv.org/abs/2103.00020
Xie, A., Wei, E., Morimoto, J., et al. (2022). CLIPort: What and Where Pathways for Robotic Manipulation. URL: https://arxiv.org/abs/2201.12086
Sharma, A., Tjeng, V., & Donahue, J. (2023). Zero-Shot Object Affordance Detection Using CLIP. URL: https://arxiv.org/abs/2303.00809
Oliinyk, V. An efficient face mask detection model for real-time applications / V. Oliinyk, A. Ryzhiy // Адаптивні системи автоматичного управління: міжвідомчий науково-технічний збірник. – 2022. – № 1 (40). – С. 54-64.
Oliinyk, V. An efficient real-time gaze tracking method for browser-based applications / Oliinyk V., Korol S. // Адаптивні системи автоматичного управління: міжвідомчий науково-технічний збірник. – 2025. – № 2 (47).
Oliinyk V. Autonomous car parking model for different types of parking lots using deep reinforcement learning / Oliinyk V., Danyliuk Y. // Адаптивні системи автоматичного управління: міжвідомчий науково-технічний збірник. – 2025. – № 1 (46). – С. 237-246.
Hatsan S., Oliinyk V. Computer vision-based authentication model with spoofing protection // The International Conference on Security, Fault Tolerance, Intelligence ICSFTI2024 (June 07, 2024, Kyiv, Ukraine), 2024. P. 1-12. URL: https://icsftiproc.kpi.ua/article/view/308401
##submission.downloads##
Опубліковано
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
1.Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у нашому журналі.
2. Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована нашим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у нашому журналі.
3. Політика журналу дозволяє і заохочує розміщення рукопису роботи авторами в мережі Інтернет (наприклад, на arXiv.org або на особистих веб-сайтах). Причому рукописи статей можуть бути розміщенні у відкритих архівах як до подання рукопису до редакції, так і під час його редакційного опрацювання. Це сприяє виникненню продуктивної наукової дискусії, позитивно позначається на оперативності ознайомлення наукової спільноти з результатами Ваших досліджень і як наслідок на динаміці цитування вже опублікованої у журналі роботи. Детальніше про це: The Effect of Open Access.
