Перейти в головне навігаційне меню Перейти до головного Перейти на нижній колонтитул сайту
Логотип заголовку сторінки

Інформаційні технології та системи

August 18, 2023; Cambridge, UK: V Міжнародна науково-практична конференція «EDUCATION AND SCIENCE OF TODAY: INTERSECTORAL ISSUES AND DEVELOPMENT OF SCIENCES»


АНАЛІЗ МОЖЛИВОСТІ ВПРОВАДЖЕННЯ КОНТРОЛЕРУ РУХІВ ТІЛА ГРАВЦЯ НА ОСНОВІ НЕЙРОННОЇ МЕРЕЖІ POSENET В КОМП’ЮТЕРНІ ІГРИ З ВІДКРИТОГО SCRATCH-РЕПОЗИТОРІЯ ЗА ТЕМАМИ ЛІТНІХ ОЛІМПІЙСЬКИХ ВИДІВ С


DOI
https://doi.org/10.36074/logos-18.08.2023.39
Опубліковано
29.08.2023

Анотація

Вступ. ExerGame-технології ("exercise" + "game" = гра із фізичною вправою) з’явилися у фізичному вихованні останніми роками як спроба відновити рівень фізичної активності серед молоді [1], коли для керування подіями віртуального світу використовуються апаратно-програмні засоби взаємодії людини з комп’ютером для розпізнавання природних рухів людини, наприклад, головою, верхніми/нижніми кінцівками тіла. Для розпізнавання рухів людини можуть використовуватися безконтактні сенсори контролю руху, наприклад, гральна консоль компанії Microsoft – MS Xbox 360/One містить сенсор MS Kinect, який об’єднує Веб-камеру та інфрачервону камеру [2]. В серію спортивних ігор Kinect Sport було включено ігри: Tennis, Table Tennis, Golf, Skiing, Baseball, Soccer, Basketball, Boxing, Track and Field (Sprint, Javelin, Discus, Long Jump and Hurdles). Але обмеженням цих ігор є фіксований набір сценаріїв та засобів рухів людини для керування ігровим персонажем, які не можна швидко розширювати без втручання професійних програмістів. В той же час, продовжує зростати рух за навчання інформатики та програмування у загальноосвітніх школах для всіх школярів незалежно від їх майбутньої професії (STEM-підхід у навчанні), коли вміння описувати алгоритми будь-яких процесів взаємодії стає майже на одну сходинку із вмінням читати або писати та пропонує розкривати ці уміння з використанням блокових мов програмування, найвідомішою з яких є Scratch [3]. Тому робота [4] мотивує використовувати STEM-навчання через програму для відображення руху людини від сенсора MS Kinect у простих блоках Scratch із простою 2D-графікою. В роботі [5] представлено прототип комп`ютерної гри із 3D-графікою, яка через MS Kinect заохочує гравця збирати монети долонями рук та прототип гри, яка заохочує гравця махати верхніми кінцівками для успішного польоту пташки через перешкоди лабіринту та дозволяє змінювати опис контролю рухів людини через редагування бази даних. Але наведені приклади ігор можна використовувати лише за наявності сенсору MS Kinect, в той час, як більшість користувачів мають лише звичайну Веб-камеру, для якої завдяки активному розвитку технологій штучного інтелекту сьогодні вже можна використовувати програми обробки зображень людини на основі вже проведеного машинного (комп’ютерного) навчання на великій кількості зображень різних людей [6]. В роботі [7] проаналізовано комп’ютерні ігри з відкритого Scratch-репозиторія з урахуванням сценаріїв ігор, пов’язаних з літніми олімпійськими видами спорту, з метою майбутнього підключення таких програм обробки зображень, але без прикладів такого підключення. Одним із прикладів такої програми може бути Scratch-програмна бібліотека [8], яка дозволяє представити тіло людини у вигляді 17-ти опорних точок на основі нейроної мережі PoseNet, як це робить сенсор MS Kinect (рис. 1). Але прикладів впровадження цієї бібліотеки в ExerGame-ігри знайдено обмаль.

Посилання

  1. Krause, J.M. & Jenny, S.E. (2023). Physical educators’ exergaming integration experiences, attitudes, and self-efficacy beliefs. The Physical Educator, 80, 91-107.
  2. Kourakli, M., Altanis, I., Retalis, S., Boloudakis, M., Zbainos, D., Antonopoulou, K. (2017). Towards the improvement of the cognitive, motoric and academic skills of students with special educational needs using Kinect learning games. International Journal of Child-Computer Interaction, 11, 28-39.
  3. Grover, S. (2021). Teaching and Assessing for Transfer from Block-to-Text Programming in Middle School Computer Science. In: Hohensee, C., Lobato, J. (eds) Transfer of Learning. Research in Mathematics Education. Springer, Cham.
  4. Howell, S. (2012). Install Scratch and Kinect2Scratch. In J. St. Jean (Ed.), Kinect Hacks: Tips and Tools for Motion and Pattern Detection (1st ed., pp. 184 - 206). Sebastopol, CA: O'Reilly.
  5. Волков, А., Блажко, О. (2022). Тестування комп`ютерної гральної системи з інфрачервоним сенсором руху MS KINECT на прикладі стилів спортивного плавання. Матеріали Дванадцятої Міжнародної наукової конференції студентів та молодих вчених "Сучасні інформаційні технології - 2022" "Modern Information Technology - 2022" (c. 103-104). 19-20 травня, 2022., Одеса, Україна: Наука і техніка.
  6. Chung, J.-L., Ong, L.-Y., Leow, M.-C. (2022). Comparative Analysis of Skeleton-Based Human Pose Estimation. Future Internet, MDPI, 14(12), 1-19.
  7. Podhorna, V., Blazhko, O., Kokotieieva, A., Sobinov, A. (2023). Analysis of computer games from the open Scratch repository on the topics of summer olympic sports with controller of gamer body. VI International Scientific and Practical conference «Scientific researches and methods of their carrying out: world experience and domestic realities». (pp. 382-389). August 4, 2023, Venue: Vinnytsia, UKR-Vienna, AUT (Online).
  8. Ishihara, J. (2020). PoseNet2Scratch. Вилучено із https://github.com/champierre/posenet2scratch.