Pseudo-labeling of transfer learning convolutional neural network data for human facial emotion recognition

Abstract

The relevance of solving the problem of facial emotion recognition on human images in the creation of modern intelligent systems of computer vision and human-machine interaction, online learning and emotional marketing, health care and forensics, machine graphics and game intelligence is shown. Successful examples of technological solutions to the problem of facial emotion recognition using transfer learning of deep convolutional neural networks are shown. But the use of such popular datasets as DISFA, CelebA, AffectNet, for deep learning of convolutional neuralnetworks does not give good results in terms of the accuracy of emotion recognition, because almost all training sets have fundamental flaws related to errors in their creation, such as the lack of data of a certain class, imbalance of classes, subjectivity and ambiguity of labeling, insufficient amount of data for deep learning, etc. It is proposed to overcome the noted shortcomings of popular datasets for emotion recognition by adding to the training sample additional pseudo-labeled images with human emotions, on which recognition occurs with high accuracy. The aim of the research is to increase the accuracy of facial emotion recognitionon the image of a human by developing a pseudo-labeling method for transfer learning of a deep neural network. To achieve the aim, the following tasks were solved: a convolutional neural network model, previously trained on the ImageNet set using the transfer learning method, was adjusted on the RAF-DB data set to solve emotion recognition tasks; a pseudo-labeling method of the RAF−DB set data was developed for semi-supervised learning of a convolutional neural network model for the task of facial emotion recognition; the accuracy of facial emotion recognition was analyzed based on the developed convolutional neural network model and the method of pseudo-labeling of RAF-DB set data for its correction. It is shown that the use of the developed method of pseudo-labeling data and transfer learning of the MobileNet V1 convolutional neural network model allowed to increase the accuracy of facial emotion recognitionon the images of the RAF-DB dataset by 2 percent (from 76 to 78%) according to the F1 estimate. Atthe same time, taking into account the significant imbalance of the classes, for the 7 main emotions in the trainingset, we have a significant increase in the accuracy of recognizing a few representatives of such emotions as surprise (from 71 to 77%), fearful(from 64 to 69%), sad (from 72 to 76%), angrywith (from 64 to 74%), neutral(from 66 to 71%). The accuracy of recognizing the emotion of happy, which is the most common, decreased (from 91 to 86 %) Thus, it can be concluded that the use of the developed pseudo-labeling method gives good results in overcoming such shortcomings of datasets for deep learning of convolutional neural networks such as lack of data of a certain type, imbalance of classes, insufficient amount of data for deep learning, etc.

Показано актуальність розв'язання задачі розпізнавання емоцій на зображенні людини при створенні сучасних інтелектуальних систем комп'ютерного зору та людино-машинної взаємодії, онлайн-навчання та емоційного маркетингу, охорони здоров’я та криміналістики, машинної графіки та ігрового інтелекту. Показано вдалі приклади технологічних рішень задачі розпізнавання емоцій з використанням трансферного навчання глибоких згорткових нейронних мереж. Але використання таких популярних датасетів як DISFA, CelebA, AffectNet для глибокого навчання згорткових нейронних мереж не дає хороших результатів по точності розпізнавання емоцій тому, що майже всі навчальні вибірки мають принципові недоліки, пов’язані з похибками при їх створеннітакими,як відсутність даних певного виду, незбалансованість класів, суб’єктивність та багатозначність маркування, недостатній для глибинного навчання об’єм даних, тощо. Запропоновано зазначені недоліки популярних датасетів для розпізнавання емоцій долати за рахунок додавання у навчальну вибірку додаткових псевдо-маркованих зображень з емоціями людини, на яких розпізнавання відбувається з високою точністю. Метою роботи є підвищення точності розпізнавання емоцій на зображенні обличчя людини за рахунок розробки методу псевдо-маркування для трансферного навчання глибокої нейронної мережі. Для досягнення мети вирішено такі завдання: скориговано на наборі даних RAF−DB для вирішення завдань розпізнавання емоцій модель згорткової нейронної мережі, попередньо навченуна наборі ImageNet за допомогою методу трансферного навчання; розроблено метод псевдо-маркування даних набору RAF−DB для полу-контрольованого навчання моделі згортковоїнейронної мережі для задачі розпізнавання емоцій на зображенні людини; проаналізовано точність розпізнавання емоцій на зображенні людини на основі розроблених моделі згорткової нейронної мережі та методу псевдо-маркування даних набору RAF-DB для її коригування. Показано, що використання розробленого метода псевдо-маркування данихтрансферного навчання моделі згорткової нейронної мережі MobileNet V1 дозволило підвищити точність розпізнавання емоцій людини на зображеннях набору даних RAF-DB на 2 відсотка (з 76% до 78%) за оцінкою F1. При цьому, враховуючисуттєву незбалансованість класів 7 основних емоцій в тренувальній виборці маємо суттєве збільшення точності розпізнавання нечисленних представників таких емоцій як здивованості(з 71 до 77 %), страху(з 64 до 69 %), суму(з 72 до 76 %), злостіз (з 64 до 74 %), нейтральності(з 66 до 71%), точність розпізнавання емоції щастя, що є найбільш поширеною знизилась (з 91 до 86 %) Таким чином, можна зробити висновок, що використання розробленого метода псевдо-маркування дає гарні результати в подоланні таких недоліків датасетів для глибинного навчання згорткових нейронних мереж як відсутність даних певного виду, незбалансованість класів, недостатній для глибинного навчання об’єм даних, тощо.