The method of automated filling of the database with descriptions of human physical exercises

Abstract

Presently, human-computer interaction employs infrared cameras equipped with motion tracking capabilities, facilitating the automatic generation of spatial descriptions for multiple human joints. The use of such cameras allows for the creation of active computer games, where the player can control the game process by performing physical exercises or specific gestures. The study examined support systems for computer games with physical exercises and identified the lack of an ability to modify the description of physical exercises in a separate database. The authors created a prototype for a computer game that incorporates physical exercises, storing them in the database as a series of gestures. However, the experiments revealed several drawbacks: the requirement for a specialist to independently populate the database with physical exercise descriptions, the potential for errors in the analysis of physical exercises, and the labor-intensive process of database filling. Therefore, the goal of this work was to reduce the time required to populate the database for identifying human physical exercises based on the spatial description of multiple joints formed by the infrared camera. To achieve this goal, the authors proposed the creation of a visual constructor for physical exercises and a method for automating the database's recognition of physical exercises. The practical significance of the work is as follows, the authors developed software, that includes the following steps: saving the states of joint positions over a specified period, processing the obtained joint state data from the spatial description, determining the logical relationships between the joints (greater, less, or equal), removing duplicate descriptions, identifying errors by the specialist using the visual constructor for physical exercises, and populating the database. The article examined the labor intensity of manually populating the database and the proposed method using physical exercises containing three, five, seven, and ten gestures. The results of the analysis showed a reduction in the labor intensity of populating the database using the proposed method by two point six to three point six times, depending on the complexity and specifics of the physical exercise. All experiments in the work were conducted using the Microsoft Kinect 2, which has been discontinued, but this does not affect the relevance of the work, as Microsoft encourages developers to continue using the existing Kinect Developer Kit programming environment for the Femto Bolt and Femto Mega infrared cameras from Orbex.

Одним із прикладів людино-комп'ютерної взаємодії є інфрачервоні камери із відстеження руху людини та автоматичним створенням просторового опису множини суглобів людини. Використання таких камер дозволяє створювати активні комп'ютерні ігри, коли гравець виконанням фізичних вправ чи при виконанні того чи іншого жесту може керувати ігровим процесом. У роботі розглянуто системи підтримки комп'ютерних ігор з використанням фізичним вправ та виявлено відсутність можливості зміни опису фізичних вправ в окремій базі даних з метою швидкої зміни описів. Авторами було розроблено прототип комп'ютерної гри з використанням фізичним вправ, який у базі даних зберігає фізичні вправи як послідовності жестів. Але після проведення експериментів виявлено наступні недоліки: наявність фахівця, який зможе самостійно заповнювати базу даних опису фізичних вправ, можливі помилки під час аналізу фізичних вправ та трудомісткість процесу заповнення бази даних. Тому метою цієї роботи стало зменшення часу на заповнення бази даних про ідентифікацію фізичних вправ людини на основі просторового опису множини суглобів, які формуються інфрачервоною камерою. Для досягнення мети авторами запропоновано створити візуальний конструктор фізичних вправ та методику автоматизованого заповнення бази даних із розпізнавання фізичних вправ, яка містить наступні кроки: збереження станів розташування суглобів за визначенний проміжок часу, обробка отриманних даних станів суглобів просторового опису та визначення логічних співвідношень між суглобами (більше, менше або дорівнює), видалення описівдублікатів, визначення помилок зі сторони спеціалиста з використанням візуального конструктору фізичних вправ, заповнення бази даних. В статті було проведено аналіз трудомісткості заповнення бази даних вручну та запропонованою методикою на прикладі фізичних вправ, які містять три, п’ять, сім та десять жестів. Результати аналізу показали зменшення трудомісткості заповнення бази даних при використанні запропонованого методу від двох цілих шість десятих до трьох цілих шість десятих разів залежно від складності та специфіки фізичної вправи. Всі експерименти в роботі автори проводили з використанням інфрачервоної камери Microsoft Kinect другої версії, яка вже знята з виробництва, але це не впливає на актуальність роботи, оскільки компанія Microsoft пропонує розробникам продовжити використовувати існуюче середовище програмування Kinect Developer Kit для інфрачервоної камери Femto Bolt та Femto Mega від компанії Orbex.