Evaluation metrics systematization for 2D human poses analysis models

Abstract

This paper describes thesystematization of evaluation metrics for 2D human pose analysismodels. Some of the most popular tasks solved using machine learning (ML) methods aredetection, tracking and recognition of human actions for various practical applications. There are a lot of different metrics that allow evaluatingthe model from one pointor another. To evaluate a specific task, a certain set of metrics is used. However, as literature analysis shows, thevast numberof metric definitions, as well as the use of different terms and multiple representations of the same ideas, causesproblems of interpretation and comparison of different ML models and methodsin detecting, tracking,and recognizing human actions.The purpose of this work is to analyze the metrics for evaluating methods for processing 2D human poses in video in order to facilitate the informed choice of the metrics. To improve the objectivity of evaluating the results of empirical studies of existing and newly developed methods and models for detecting, tracking, and recognizing human actions, a systematizationof existing metrics into subgroups was proposed,depending on what task they evaluate. Fourclasses of evaluation metrics were introduced: classificationmetrics, key point’sdetection, object tracking, andgeneral metrics. Classification metrics are based on quality evaluation and matching values from predicted bounding boxes with ground truths. Key point’sdetection metrics are oriented on the quality of found joints of the human bodyskeleton. Tracking metrics evaluate the object detection on each frame and the correctness of determining its trajectory. General metrics are not specifically related to any of the human 2D pose analysis tasks. The prototype of the applicationbasedon suggested metrics systematization, the purpose of which is to help data scientists in formalizing the choice of metrics for evaluating models depending on the ML problem being solved and the application areawas developed. Toevaluate and demonstrate themetrics, that were suggested in thisapplication, Faster R-CNN, SSD and YOLOv3 object detection models wereanalyzed and compared in scope of 2D human pose analysis application area. The results of the analysis showed that Faster R-CNN and YOLOv3 have the most accurate responses, although theyhavethe disadvantage of a high Falsepositive rate. The implementation also showedthatmetrics that based on Truenegative values are uninformativein scope of working with bounding boxes, because of the specific of application areaand inability to calculate Truenegatives on the image data.

Ця стаття присвячена систематизаціїметрик оцінки моделей для аналізу2D поз людини. Одними з найпопулярніших завдань, які вирішуються за допомогою методів машинного навчання (ML), є виявлення, відстеження та розпізнавання дій людини для різних практичних застосувань. Існує багато різних метрик, які дозволяють оцінити моделіз того чи іншого боку. Для оцінки конкретного етапу аналізупози людини(виявлення людини, виявлення ключових точокскелеталюдини, відстеження об'єктів, класифікаціятаоцінка пози)використовується певний набір метрик. Однак, як показує аналіз літератури, велика кількість метрик, а також використання різних термінів для представленняодних і тих самих понять,спричиняє проблеми з інтерпретацією та порівнянням різних моделей ML.Метою цієї роботи є аналізта систематизаціяметрик для оцінки методів аналізу2D поз людини, щоб полегшити подальший обґрунтований вибір метрик. Для підвищення об’єктивності оцінки результатів емпіричних досліджень існуючих і нових методів і моделей виявлення, відстеження та розпізнавання дій людини запропоновано систематизацію існуючих метрик на підгрупи залежно від того, якіприкладні завдання вони оцінюють. Було введено чотири класи метрик оцінювання: метрики класифікації, виявлення ключових точок, відстеження об’єктів і загальні метрики. Показники класифікації базуються на оцінці якості та зіставленні значень із передбачених обмежувальних рамок із реальними об'єктами. Метрики виявлення ключових точок орієнтовані на якість знайдених суглобів скелета людського тіла. Метрики відстеження оцінюють виявлення об'єкта на кожному кадрі та правильність визначення його траєкторії. Загальні показники конкретно не пов’язані з жодними завданнями аналізу 2D пози людинита використовуються для оцінки швидкодії, ресурсоємності та описуособливостей навчання моделі та використаного набору даних.Розроблено прототип веб-застосункуна основі запропонованої систематизації метрик, мета якого –допомогти науковцям із обробки даних у формалізації вибору метрик для оцінки моделей залежно від розв’язуваної задачі ML та прикладної області застосуваннярозробленої моделі. Щоб оцінити та продемонструвати метрики, які були запропоновані реалізованим прототипом, були проаналізовані та порівняні моделі виявлення об’єктів Faster R-CNN, SSD і YOLOv3 у контексті їх застосування для аналізу 2D поз людей. Результати аналізу показали, що Faster R-CNN і YOLOv3 мають найточніші відповіді, хоча вони мають недолік —високий рівень помилкових позитивних результатів. Реалізація також показала, що метрики, які базуються на справжніх від’ємних значеннях, неінформативні для застосування у контексті роботи ззображеннямичерез специфіку області застосування та неможливість обчислення справжніх негативних значень на даних зображення(ці значенні можуть знаходитися де завгодно на зображенні).