Deep learning technology of convolutional neural networks for facial expression recognition

Abstract

The application of deep learning convolutional neural networks for solving the problem of automated facial expression recognition and determination of emotions of a person is analyzed. It is proposed to use the advantages of the transfer approach to deep learning convolutional neural networks training to solve the problem of insufficient data volume in sets of images with different facial expressions. Most of these datasets are labeled in accordance with a facial coding system based on the units of human facial movement. The developed technology of transfer learning of the public deep learning convolutional neural networks families DenseNet and MobileNet, with the subsequent “fine tuning” of the network parameters, allowed to reduce the training time and computational resources when solving the problem of facial expression recognition without losing the reliability of recognition of motor units. During the development of deep learning technology for convolutional neural networks, the following tasks were solved. Firstly, the choice of publicly available convolutional neural networks of the DenseNet and MobileNet families pre-trained on the ImageNet dataset was substantiated, taking into account the peculiarities of transfer learning for the task of recognizing facial expressions and determining emotions. Secondary, a model of a deep convolutional neural network and a method for its training have been developed for solving problems of recognizing facial expressions and determining human emotions, taking into account the specifics of the selected pretrained convolutional neural networks. Thirdly, the developed deep learning technology was tested, and finally, the resource intensity and reliability of recognition of motor units on the DISFA set were assessed. The proposed technology of deep learning of convolutional neural networks can be used in the development of systems for automatic recognition of facial expressions and determination of human emotions for both stationary and mobile devices. Further modification of the systems for recognizing motor units of human facial activity in order to increase the reliability of recognition is possible using of the augmentation technique.

Проаналізовано застосування глибокого навчання згорткових нейронних мереж для вирішення проблеми автоматизованого розпізнавання виразу обличчя та визначення емоцій людини. Запропоновано використовувати переваги трансферного підходу до глибокого навчання згорткових нейронних мереж для вирішення проблеми недостатнього обсягу даних у наборах зображень з різними виразами обличчя. Більшість із цих наборів даних маркуються відповідно до системи кодування обличчя, заснованої на одиницях руху обличчя людини. Розроблена технологія трансферного навчання загальнодоступних сімейств глибоких згорткових нейронних мереж DenseNet та MobileNet з подальшим «тонким налаштуванням» параметрів мережі дозволила скоротити час навчання та обчислювальні ресурси при вирішенні задачі розпізнавання виразу обличчя без втрати надійності розпізнавання моторних одиниць. Під час розробки технології глибокого навчання для згорткових нейронних мереж були вирішені наступні завдання. По-перше, вибір загальнодоступних згорткових нейронних мереж сімейств DenseNet та MobileNet, попередньо навчених на наборі даних ImageNet, був обґрунтований з урахуванням особливостей трансферного навчання для розпізнавання виразу обличчя та визначення емоцій. По-друге, розроблено модель глибокої згорткової нейронної мережі та метод її навчання для вирішення задач розпізнавання виразу обличчя та визначення людських емоцій з урахуванням особливостей обраних попередньо навчених згорткових нейронних мереж. По-третє, випробувана розроблена технологія глибокого навчання. На останок оцінено ресурсоємність та надійність розпізнавання моторних одиниць на наборі DISFA. Запропонована технологія глибокого навчання згорткових нейронних мереж може бути використана при розробці систем для автоматичного розпізнавання виразу обличчя та визначення людських емоцій як для стаціонарних, так і для мобільних пристроїв. Подальша модифікація систем розпізнавання рухових одиниць обличчя людини з метою підвищення надійності розпізнавання можлива за допомогою методу аугментації.