Ефективний метод відстеження погляду в реальному часі для вебзастосунків
DOI:
https://doi.org/10.20535/1560-8956.47.2025.340154Ключові слова:
відстеження погляду, вебзастосунки, гібридна модель передбачення напрямку погляду, браузерна взаємодія, модель на основі зовнішнього вигляду, калібрування в площині екранаАнотація
У статті представлено метод відстеження погляду, що базується на гібридній моделі передбачення напрямку погляду, розроблений для роботи в реальному часі у вебзастосунках за умов обмежених обчислювальних ресурсів та без використання спеціалізованого апарат ного забезпечення. Запропонований підхід поєднує геометрич геометричну нормалізацію ключових точок обличчя з адаптованою згортково згортково-рансформерною
нейронною мережею для оцінювання напрямку погляду та його проєкції у двовимірні координати екрана. Метод спроєктовано д ля масштабованого та конфіденційного використання у браузерах, з урахуванням обмежень моделей, що ґрунтуються лише на зовнішньому вигляді або геометрії. Система використовує MediaPipe FaceMesh для детекції тривимірних ключових точок обличчя, після чого вик онується нормалізація, гібридне передбачення напрямку погляду та процедура калібрування за 9 точками з використанням регресійного відображення. Для оцінювання ефективності методу було розроблено експериментальний протокол. Результати демонструють, що запропонований підхід забезпечує високу точність визначення точки спрямування погляду та високу стабільність при активних рухах голови користувача, причому вся інференція виконується в браузері в реальному часі за допомогою ONNX Web Runtime. Метод є придатним для використання в адаптивних вебінтерфейсах, допоміжних технологіях, освітніх інструментах і дослід- женнях поведінки. Він забезпечує доступний спосіб інтеграції взаємодії на основі погляду у браузерні платформи без потреби у спеціальному обладнанні.
Бібл. 17, іл. 6, табл. 2
Посилання
Oliinyk V. Method for improving accuracy of mobile AR navigators. ISJ Industry 4.0.–2020. Vol. 5, Is. 1. – Pp. 21-22.
Chen Z., Shi J., Geng J. A review of gaze estimation methods with head-mounted or remote eye trackers. Sensors. – 2020. – Vol. 20(4). – Pp. 1–23.
Hansen D.W., Ji Q. In the eye of the beholder: A survey of models for eyes and gaze. IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2010. – Vol. 32(3). – Pp. 478–500.
Duchowski A.T. Eye Tracking Methodology: Theory and Practice. – Springer, 2007. – 333 p.
Zhang X., Sugano Y., Fritz M., Bulling A. Appearance-based gaze estimation in the wild. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2015. – Pp. 4511–4520.
Krafka K., Khosla A., Kellnhofer P., et al. Eye tracking for everyone. In: IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2016. – Pp. 2176–2184.
Zhang X., Sugano Y., Fritz M., Bulling A. MPIIGaze: Real-world dataset and deep appearance-based gaze estimation. IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2017. – Vol. 41(1). – Pp. 162–175.
Zheng Y., Zhang X., Sugano Y., Bulling A. ETH-XGaze: A large scale dataset for gaze estimation under extreme head pose and gaze variation. In: European Conference on Computer Vision (ECCV). – 2020. – Pp. 365–381.
Papoutsaki A., Sangkloy P., Laskey J., Huang J., Hays J. WebGazer: Scalable webcam eye tracking using user interactions. In: Proceedings of the 25th International Joint Conference on Artificial Intelligence (IJCAI). – 2016.
Kumar A., Singh M., Singh A. Human.js: Real-Time Human Pose Estimation Using JavaScript. International Journal of Computer Applications. – 2020. – Vol. 176(30). – Pp. 1–5.
Lugaresi C., Tang J., Nash H., et al. MediaPipe: A framework for building perception pipelines. arXiv preprint arXiv:1906.08172. – 2019.
Zhang X., Sugano Y., Bulling A. OpenGaze: Open Source Toolkit for Camera-Based Gaze Estimation and Interaction. arXiv preprint arXiv:1901.10906. – 2019.
Zhang X., Sugano Y., Bulling A. Learning gaze representations with a saliency-aware loss. In: International Conference on Computer Vision (ICCV). – 2019. – Pp. 7724–7733.
Park S., Spurr A., Hilliges O. Deep pictorial gaze estimation. In: European Conference on Computer Vision (ECCV). – 2018. – Pp. 721–738.
Oliinyk V., Ryzhiy A. An efficient face mask detection model for real-time applications. Adaptive Systems of Automatic Control: Interdepartmental Scientific and Technical Collection. – 2022. – No. 1(40). – Pp. 54–64.
Qiao R., Xu G., Wang P., Cheng Y., Dong W. An accurate, efficient, and stable perspective-n-point algorithm in 3D space. Applied Sciences. – 2023. – Vol. 13(2). – Pp. 1111.
Korol S.P., Oliinyk V.V. Generalized model of the user gaze tracking process in web applications. In: Proc. of the XIII Int. Scientific and Practical Conf. on Information Systems and Technologies “Infocom Advanced Solutions 2025”. Kyiv, Ukraine. – 2025.
##submission.downloads##
Опубліковано
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
1.Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у нашому журналі.
2. Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована нашим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у нашому журналі.
3. Політика журналу дозволяє і заохочує розміщення рукопису роботи авторами в мережі Інтернет (наприклад, на arXiv.org або на особистих веб-сайтах). Причому рукописи статей можуть бути розміщенні у відкритих архівах як до подання рукопису до редакції, так і під час його редакційного опрацювання. Це сприяє виникненню продуктивної наукової дискусії, позитивно позначається на оперативності ознайомлення наукової спільноти з результатами Ваших досліджень і як наслідок на динаміці цитування вже опублікованої у журналі роботи. Детальніше про це: The Effect of Open Access.
