Методика використання систем комп’ютерного зору для моніторингу навчальної активності учнів ліцеїв

Ляшенко, Роман Олегович

URI: http://elibrary.kdpu.edu.ua/xmlui/handle/123456789/12457

Date: 2025-12-01

Abstract:

Кваліфікаційна робота присвячена розробці та експериментальному обґрунтуванню методики використання систем комп'ютерного зору для моніторингу навчальної активності учнів ліцеїв. Проведено бібліометричний аналіз 1876 наукових публікацій з бази даних Scopus за період 2008–2025 років, що дозволило виявити основні тенденції розвитку галузі комп'ютерного зору для освітніх застосувань та моніторингу. Систематизовано теоретичні основи детекції об'єктів та оцінки поз людини, обґрунтовано вибір архітектури YOLOv8m-pose для задачі моніторингу уваги учнів у режимі реального часу. Розроблено алгоритми виявлення та трекінгу учнів на відео, обчислення індивідуальних індексів уваги на основі геометричних ознак поз (нахил голови, положення рук, сутулість, відкритість очей). Запропоновано агрегований індекс уваги класу (Class Attention Index), який дозволяє кількісно оцінювати загальний рівень залученості учнів протягом уроку. Реалізовано програмний прототип системи мовою Python із використанням бібліотек OpenCV та Ultralytics, який забезпечує автоматичну обробку відеозаписів уроків та візуалізацію результатів. Експериментальна перевірка на реальному відеозаписі уроку тривалістю 30 хвилин підтвердила працездатність системи та її здатність надавати об'єктивну інформацію про динаміку уваги класу для підтримки прийняття педагогічних рішень. The qualification thesis is dedicated to the development and experimental substantiation of methodology for using computer vision systems to monitor learning activity of lyceum students. A bibliometric analysis of 1,876 scientific publications from the Scopus database for the period 2008–2025 was conducted, which allowed identifying the main development trends in the field of computer vision for educational applications and monitoring. The theoretical foundations of object detection and human pose estimation were systematized, and the choice of YOLOv8m-pose architecture for real-time student attention monitoring was justified. Algorithms for student detection and tracking in video were developed, along with calculation of individual attention indices based on geometric pose features (head tilt, hand position, slouching, eye openness). An aggregated Class Attention Index was proposed, which allows quantitative assessment of the overall level of student engagement during a lesson. A software prototype was implemented in Python using OpenCV and Ultralytics libraries, providing automatic processing of lesson video recordings and visualization of results. Experimental verification on a real 30-minute lesson video recording confirmed the system's operability and its ability to provide objective information about class attention dynamics to support pedagogical decision-making.

Description:

1. 2D Human pose estimation: a survey / H. Chen [та ін.] // Multimedia Systems. — 2023. — Т. 29. — С. 3115—3138. — DOI: 10.1007/s00530-022-01019-0. 2. 2D Human Pose Estimation: New Benchmark and State of the Art Analysis / M. Andriluka [та ін.] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — IEEE, 2014. — С. 3686—3693. — DOI: 10.1109/CVPR.2014.471. 3. A comprehensive survey on machine learning for networking: evolution, applications and research opportunities / R. Boutaba [та ін.] // Journal of Internet Services and Applications. — 2018. — Т. 9. — С. 1—99. — DOI: 10.1186/s13174-018-0087-2. 4. A review on recent developments in cancer detection using machine learning and deep learning models / S. Maurya [та ін.] // Biomedical Signal Processing and Control. — 2023. — Т. 80. — С. 104398. — DOI: 10.1016/j.bspc.2022.104398. 5. A survey of modern deep learning based object detection models / S. S. A. Zaidi [та ін.] // Digital Signal Processing. — 2022. — Т. 126. — С. 103514. — DOI: 10.1016/j.dsp.2022.103514. 6. A Survey on Vision Transformer / K. Han [та ін.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2023. — Т. 45, № 1. — С. 87—110. — DOI: 10.1109/TPAMI.2022.3152247. 7. Advanced Methods and Deep Learning in Computer Vision / за ред. E. R. Davies, M. A. Turk. — Academic Press, 2022. 8. Ahmed I., Chehri A., Jeon G. A Sustainable Deep Learning-Based Framework for Automated Segmentation of COVID-19 Infected Regions: Using U-Net with an Attention Mechanism and Boundary Loss Function // Electronics. — 2022. — Т. 11, № 15. — С. 2296. — DOI: 10.3390/electronics11152296. 9. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale / A. Dosovitskiy [та ін.] // 9th International Conference on Learning Representations, ICLR 2021. — OpenReview.net, 2021. 10. Automatic Recognition of Student Engagement Using Deep Learning and Facial Expression / O. M. Nezami [та ін.] // Machine Learning and Knowledge Discovery in Databases. Т. 11908. — Springer, 2020. — С. 273—289. — DOI: 10.1007/978-3-030-46133-1_17. 11. Canedo D., Trifan A., Neves A. J. R. Monitoring Students' Attention in a Classroom Through Computer Vision // Biomedical Engineering Systems and Technologies. Т. 1024. — Springer, 2019. — С. 367—383. — DOI: 10.1007/978-3-319-94779-2_32. 12. Cernadas E. Applications of Computer Vision, 2nd Edition // Electronics. — 2024. — Т. 13, № 18. — С. 3779. — DOI: 10.3390/electronics13183779. 13. Chen Y., Tian Y., He M. Monocular human pose estimation: A survey of deep learning-based methods // Computer Vision and Image Understanding. — 2020. — Т. 192. — С. 102897. — DOI: 10.1016/j.cviu.2019.102897. 14. Collaborative federated learning for healthcare: Multi-modal COVID-19 diagnosis at the edge / A. Qayyum [та ін.] // IEEE Open Journal of the Computer Society. — 2022. — Т. 3. — С. 172—184. — DOI: 10.1109/OJCS.2022.3206407. 15. DataXujing Community. YOLOv8 Loss Functions. — 2024. 16. Deep High-Resolution Representation Learning for Human Pose Estimation / K. Sun [та ін.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). — 2019. — С. 5693—5703. — DOI: 10.1109/CVPR.2019.00584. 17. Deep learning for computer vision: A brief review / A. Voulodimos [та ін.] // Computational Intelligence and Neuroscience. — 2018. — Т. 2018. — DOI: 10.1155/2018/7068349. 18. Deep learning for edge computing applications: A state-of-the-art survey / X. Wang [та ін.] // IEEE Access. — 2022. — Т. 8. — С. 58322—58336. — DOI: 10.1109/ACCESS.2020.2982411. 19. Deep learning for generic object detection: A survey / L. Liu [та ін.] // International Journal of Computer Vision. — 2020. — Т. 128, № 2. — С. 261—318. — DOI: 10.1007/s11263-019-01247-4. 20. Deep learning for visual understanding: A review / Y. Guo [та ін.] // Neurocomputing. — 2016. — Т. 187. — С. 27—48. — DOI: 10.1016/j.neucom.2015.09.116. 21. Deep learning in computer vision: A critical review of emerging techniques and application scenarios / J. Chai [та ін.] // Machine Learning with Applications. — 2021. — Т. 6. — С. 100134. — DOI: 10.1016/j.mlwa.2021.100134. 22. Dhillon A., Verma G. K. Convolutional neural network: a review of models, methodologies and applications to object detection // Progress in Artificial Intelligence. — 2020. — Т. 9. — С. 85—112. — DOI: 10.1007/s13748-019-00203-0. 23. Diwan T., Anirudh G., Tembhurne J. V. Object detection using YOLO: challenges, architectural successors, datasets and applications // Multimedia Tools and Applications. — 2023. — Т. 82, № 6. — С. 9243—9275. — DOI: 10.1007/s11042-022-13644-y. 24. Do vision transformers see like convolutional neural networks? / M. Raghu [та ін.] // Proceedings of the 35th International Conference on Neural Information Processing Systems. — 2021. — С. 927. 25. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks / S. Ren [та ін.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2017. — Т. 39, № 6. — С. 1137—1149. — DOI: 10.1109/TPAMI.2016.2577031. 26. How to conduct a bibliometric analysis: An overview and guidelines / N. Donthu [та ін.] // Journal of Business Research. — 2021. — Т. 133. — С. 285—296. — DOI: 10.1016/j.jbusres.2021.04.070. 27. HR-YOLOv8: A Crop Growth Status Object Detection Method Based on YOLOv8 / J. Zhang [та ін.] // Electronics. — 2024. — Т. 13, № 9. — С. 1620. — DOI: 10.3390/electronics13091620. 28. Image segmentation using deep learning: A survey / S. Minaee [та ін.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2020. — Т. 44, № 7. — С. 3523—3542. — DOI: 10.48550/arXiv.2001.05566. 29. Know your self-supervised learning: A survey on image-based generative and discriminative training / U. Ozbulak [та ін.] // Transactions on Machine Learning Research. — 2023. — DOI: 10.48550/arXiv.2305.13689. 30. Kukil. Mean Average Precision (mAP) in Object Detection. — 2022. 31. LeCun Y., Bengio Y., Hinton G. Deep learning // Nature. — 2015. — Т. 521, № 7553. — С. 436—444. — DOI: 10.1038/nature14539. 32. Masita K. L., Hasan A. N., Shongwe T. Deep learning in object detection: A review // 2020 International Conference on Artificial Intelligence, Big Data, Computing and Data Communication Systems. — 2020. — DOI: 10.1109/icABCD49160.2020.9183866. 33. Microsoft COCO: Common Objects in Context / T. Lin [та ін.] // Computer Vision – ECCV 2014. Т. 8693. — Springer, 2014. — С. 740—755. — DOI: 10.1007/978-3-319-10602-1_48. 34. Mixed Precision Training / P. Micikevicius [та ін.] // 6th International Conference on Learning Representations, ICLR 2018. — OpenReview.net, 2018. 35. Mohammed A., Kora R. A comprehensive review on ensemble deep learning: Opportunities and challenges // Journal of King Saud University-Computer and Information Sciences. — 2023. — Т. 35, № 2. — С. 757—774. — DOI: 10.1016/j.jksuci.2023.01.014. 36. Mongeon P., Paul-Hus A. The journal coverage of Web of Science and Scopus: a comparative analysis // Scientometrics. — 2016. — Т. 106, № 1. — С. 213—228. — DOI: 10.1007/s11192-015-1765-5. 37. Mpouziotas D., Karvelis P., Stylios C. Advanced Computer Vision Methods for Tracking Wild Birds from Drone Footage // Drones. — 2024. — Т. 8, № 6. — С. 259. — DOI: 10.3390/drones8060259. 38. Object detection in 20 years: A survey / Z. Zou [та ін.] // Proceedings of the IEEE. — 2023. — Т. 111, № 3. — С. 257—276. — DOI: 10.1109/JPROC.2023.3238524. 39. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields / Z. Cao [та ін.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2021. — С. 172—186. — DOI: 10.1109/TPAMI.2019.2929257. 40. Perianes-Rodriguez A., Waltman L., Van Eck N. J. Constructing bibliometric networks: A comparison between full and fractional counting // Journal of Informetrics. — 2016. — Т. 10, № 4. — С. 1178—1195. — DOI: 10.1016/j.joi.2016.10.006. 41. Rawat W., Wang Z. Deep convolutional neural networks for image classification: A comprehensive review // Neural Computation. — 2017. — Т. 29, № 9. — С. 2352—2449. — DOI: 10.1162/NECO_a_00990. 42. Rezaeilouyeh H., Mollahosseini A., Mahoor M. H. Microscopic medical image classification framework via deep learning and shearlet transform // Journal of Medical Imaging. — 2016. — Т. 3, № 4. — С. 12. — DOI: 10.1117/1.JMI.3.4.044501. 43. Scopus as a curated, high-quality bibliometric data source for academic research in quantitative science studies / J. Baas [та ін.] // Quantitative Science Studies. — 2020. — Т. 1, № 1. — С. 377—386. — DOI: 10.1162/qss_a_00019. 44. Shinde P. P., Shah S. A Review of Machine Learning and Deep Learning Applications // 2018 Fourth International Conference on Computing Communication Control and Automation (ICCUBEA). — 2018. — С. 1—6. — DOI: 10.1109/ICCUBEA.2018.8697857. 45. Soukupová T., Čech J. Real-Time Eye Blink Detection using Facial Landmarks // Proceedings of the 21st Computer Vision Winter Workshop. — 2016. 46. SSD: Single Shot MultiBox Detector / W. Liu [та ін.] // Proceedings of the European Conference on Computer Vision (ECCV). — Springer, 2016. — С. 21—37. — DOI: 10.1007/978-3-319-46448-0_2. 47. Szeliski R. Computer Vision: Algorithms and Applications. — 2-е вид. — Cham : Springer, 2022. — DOI: 10.1007/978-3-030-34372-9. 48. Tayeb M. Understanding Mixed Precision Training. — 2019. 49. The Faces of Engagement: Automatic Recognition of Student Engagement from Facial Expressions / J. Whitehill [та ін.] // IEEE Transactions on Affective Computing. — 2014. — Т. 5, № 1. — С. 86—98. — DOI: 10.1109/TAFFC.2014.2316163. 50. The Pascal Visual Object Classes (VOC) Challenge / M. Everingham [та ін.] // International Journal of Computer Vision. — 2010. — Т. 88, № 2. — С. 303—338. — DOI: 10.1007/s11263-009-0275-4. 51. Transformers in medical imaging: A survey / F. Shamshad [та ін.] // Medical Image Analysis. — 2023. — Т. 88. — С. 102802. — DOI: 10.1016/j.media.2023.102802. 52. Transformers in Vision: A Survey / S. Khan [та ін.] // ACM Computing Surveys. — 2022. — Т. 54, 10s. — С. 200. — DOI: 10.1145/3505244. 53. Ultralytics. Ultralytics YOLOv8 Models Documentation. — 2023. 54. Ultralytics. Configuration and Training Options in Ultralytics YOLO. — 2024. 55. Ultralytics. Mixed Precision Training: Speed Up Deep Learning. — 2024. 56. Van Eck N. J., Waltman L. Software survey: VOSviewer, a computer program for bibliometric mapping // Scientometrics. — 2010. — Т. 84, № 2. — С. 523—538. — DOI: 10.1007/s11192-009-0146-3. 57. Xiao B., Wu H., Wei Y. Simple Baselines for Human Pose Estimation and Tracking // Computer Vision – ECCV 2018. Т. 11210. — Springer, 2018. — С. 472—487. — DOI: 10.1007/978-3-030-01231-1_29. 58. Yan L., Wu X., Wang Y. Student engagement assessment using multi-modal deep learning // PLOS ONE. — 2025. — Т. 20, № 6. — DOI: 10.1371/journal.pone.0325377. 59. Yaseen M. What is YOLOv8: An In-Depth Exploration of the Internal Features of the Next-Generation Object Detector // arXiv preprint arXiv:2408.15857. — 2024. — DOI: 10.48550/arXiv.2408.15857. 60. You Only Look Once: Unified, Real-Time Object Detection / J. Redmon [та ін.] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 2016. — С. 779—788. — DOI: 10.1109/CVPR.2016.91.

Show full item record