Emostudent: a dataset for complex student behaviour evaluation

Abstract

У цій статті розглянуті системи автоматизованого онлайн прокторингу, що основані на штучному інтелекті. Розглянута практична реалізація задачі аналізу поведінки учнів у процесі роботи з ними та набори даних, що використовуються для вирішення цієї задачі. Створена загальна модель обробки даних щодо аналізу активності людини у процесі онлайн-навчання, яка має за завдання аналізувати та описувати активність та емоційний стан учня. Для цього були виявлені різноманітні ознаки, які впливають на оцінку поведінки студента під час самостійної роботи над тестовими завданнями або іспитами. На основі аналізу існуючих наборів даних та з урахуванням проблем сучасних реалізацій автоматизованих систем онлайн прокторингу, зроблено класифікацію параметрів, що використовуються конкретно для аналізу відеопослідовностей в контексті вирішення задачі аналізу поведінки учнів. На основі цієї класифікації розроблено вимоги до необхідного набору даних, які б мінімізували проблеми дисбалансу класів, роблячи акцент не на кількості даних у вибірці, а на якості цієї самої вибірки. На основі розроблених вимог був запропонований набор даних. Джерелом даних для розробленого набору даних була платформа YouTube: використовувались відео з ліцензією Creative Commons. Для організації процесу лейблінгу даних та формування набору даних: використовувалась платформа Amazon SageMaker. Сформований набір даних був доданий до платформ Kaggle та hugging Face. Це дозволяє поширити роботу серед інших вчених та розробників програмного продукту та перевірити на практиці розроблений набір даних у навчанні різноманітних реалізованих моделей штучних нейронних мереж.

This article discusses artificial intelligence based automated online proctoring systems. The practical implementation of the task of analysing students’ behaviour in the process of working with these systems and the datasets used to solve this task were considered. A general model for processing data on human activity in the process of online learning has been created, which is aimed at analysing and describing the activity and emotional state of the student. For this purpose, various features that affect the assessment of student behaviour during independent work on test tasks or exams were identified. Based on the analysis of existing datasets and the problems of modern implementations of automated online proctoring systems, a classification of features used specifically for analysing video sequences in the context of solving the problem of analysing student behaviour was made. In accordance with the developed requirements, a dataset was proposed. The data source for the developed dataset was the YouTube platform: videos with a Creative Commons licence were used. Amazon SageMaker platform was utilized to organise the process of data labelling and dataset formation. The generated dataset was added to the Kaggle and Hugging Face platforms. This allows us to utilized the work among other scientists and software developers and to test the developed dataset in practice in training of various implemented models of artificial neural networks.