Modeling nonlinear dynamic objects using pre-trained time delay neural networks

Abstract

The work is devoted to resolving the contradiction between the accuracy of modelling nonlinear dynamics and the speed of model construction under conditions of limited computing resources. The purpose of the work is to reduce the time for building time delay neural networks while ensuring a given accuracy in the tasks of identifying nonlinear dynamic objects with continuous characteristics. This goal is achieved by developing a method for pre-training neural networks that reflect the basic characteristics of the subject area. The scientific novelty of the work is the development of a method for identifying nonlinear dynamic objects in the form of time delay neural networks based on the use of a set of basic pre-trained neural networks that reflect the typical properties of the subject area. In contrast to the traditional approach to pre-training, the developed method allows building models of lower complexity. A formal criterion is proposed for determining the moment of termination of the neural network pre-training, the use of which allows avoiding retraining of the base model and ensuring a significant reduction in the model training time on the target data set. The practical utility of the work lies in the development of an algorithm for the method of pre-training time delay neural networks in the tasks of identifying nonlinear dynamic objects with continuous characteristics, which allows to significantly reduce the training time of neural networks without losing model accuracy. The value of this study is to determine the area of effective use of the proposed method, namely, when the general and target datasets do not have significant differences and the target dataset is of sufficient size to reflect the properties of the research object.

Робота присвячена вирішенню протиріччя між точністю моделювання нелінійної динаміки і швидкістю побудови моделі в умовах обмежених обчислювальних ресурсів. Метою роботи є скорочення часу побудови нейронних мереж з часовими затримками при забезпеченні заданої точності в задачах ідентифікації нелінійних динамічних об'єктів із безперервними характеристиками. Ця мета досягається шляхом розробки методу попереднього навчання нейронних мереж, що відображають базисні характеристики предметної області. Наукова новизна роботи полягає у розробці методу ідентифікації нелінійних динамічних об'єктів у вигляді нейронних мереж з часовими затримками на основі використання набору базисних попередньо навчених нейронних мереж, що відображають типові властивості предметної області. На відміну від традиційного підходу до попереднього навчання, розроблений метод дозволяє будувати моделі меншої складності. Для визначення моменту припинення попереднього навчання нейронної мережі запропоновано формальний критерій, використання якого дає змогу уникнути перенавчання базової моделі та забезпечити суттєве скорочення часу навчання моделі на цільовому наборі даних. Практична користь роботи полягає в розробці алгоритму методу попереднього навчання нейронних мереж із часовими затримками в задачах ідентифікації нелінійних динамічних об'єктів з безперервними характеристиками, що дозволяє суттєво скоротити час навчання нейронних мереж без втрати точності моделі. Цінність проведеного дослідження полягає у визначенні області ефективного використання запропонованого методу, а саме коли загальний та цільовий набір даних не мають суттєвих розбіжностей та цільовий набір даних має достатній розмір для відображення властивостей об’єкту дослідження.