Assessment of the quality of neural network models based on a multifactorial information criterion

Abstract

The paper is devoted to the problem of assessing the quality of machine learning models in the form of neural networks in the presence of several requirements for the quality of intelligent systems. The aim of this paper is to develop a multifactorial information criterion that allows choosing a machine learning model in the form of a neural network that best meets the set of requirements for accuracy and interpretability. This goal is achieved through the development and adaptation of multifactorial information criteria for evaluating models in the form of neural networks and, in a particular case, three-layer time delay neural networks used to identify nonlinear dynamic objects. The scientific novelty of the work lies in the development of multifactorial information criteria for the quality of machine learning models that take into account the accuracy and complexity indicators, which, unlike existing information criteria, are adapted to the evaluation of models in the form of neural networks. The practical usefulness of the work lies in the possibility of automatic selection of the simplest machine learning model that provides suitable accuracy when used in intelligent systems. The practical significance of the obtained results lies in the application of the proposed criteria for selecting a machine learning model in the form of a time delay neural network for identifying nonlinear dynamic objects, which allows to increase the accuracy of modeling while ensuring the simplest architecture of the neural network.

Робота присвячена проблемі оцінювання якості моделей машинного навчання у вигляді нейронних мереж при наявності декількох вимог до якості інтелектуальних систем. Метою роботи є розробка багатофакторного інформаційного критерію, що дозволяє вибирати модель машинного навчання у вигляді нейронної мережі, яка найкраще задовольняє сукупності вимог до точності та інтерпретованості. Ця мета досягається шляхом розвитку та адаптації багатофакторних інформаційних критеріїв для оцінки моделей у вигляді нейронних мереж та, в окремому випадку, тришарових нейронних мереж із часовими затримками, що використовуються для ідентифікації нелінійних динамічних об’єктів. Наукова новизна роботи полягає у розробленні багатофакторних інформаційних критеріїв якості моделей машинного навчання, що враховують показники точності та складності, які на відміну від існуючих інформаційних критеріїв адаптовані до оцінки моделей у вигляді нейронних мереж. Практична користь роботи полягає у можливості автоматичного вибору найпростішої моделі машинного навчання, що забезпечує придатну точність при використанні в інтелектуальних системах. Практичне значення одержаних результатів полягає у застосуванні запропонованих критеріїв для вибору моделі машинного навчання у вигляду нейронної мережі з часовими затримками для ідентифікації нелінійних динамічних об’єктів, що дозволяє підвищити точність моделювання при забезпеченні найпростішої архітектури нейронної мережі.