Use of pre-trained neural networks for modeling nonlinear dynamic objects

Abstract

The paper considers a class of problems of identification of nonlinear dynamic objects with continuous characteristics using neural networks with time delays. The multiple use of pre-trained neural networks to identify objects of different nature with similar laws of functioning is substantiated. The aim of this work is to reduce the training time of neural network models without significant loss of accuracy by developing a method for pre-training neural networks with time delays in the tasks of identifying nonlinear dynamic objects with continuous characteristics. The scientific novelty of the work is the further development of the method of pre-training neural networks with time delays in the tasks of identifying nonlinear dynamic objects with continuous characteristics, which allows reducing the training time of neural network models without significant loss of accuracy. The method consists in extracting general patterns from the base dataset at the pre-training stage and using them to solve specific problems at the stage of retraining models on the target dataset. A formal criterion is proposed to determine the moment of termination of the neural network pre-training, the use of which allows avoiding retraining of the base model and ensuring a significant reduction in the model training time on the target dataset. The practical significance of the work is to develop an algorithm for the method of pre-training neural networks with time delays in the tasks of identifying nonlinear dynamic objects with continuous characteristics, which reduces the training time of neural network models and the loss of model accuracy. To study the convergence rate of the training algorithm and modeling accuracy, an experiment was conducted with test nonlinear dynamic objects. The obtained modeling results demonstrate the effectiveness of the proposed method. The value of this study is to determine the area of effective use of the proposed method, namely, when the general and target datasets do not have significant differences and the target dataset is of sufficient size to reflect the properties of the research object.

Розглянуто клас задач ідентифікації нелінійних динамічних об'єктів із безперервними характеристиками за допомогою нейронних мереж із часовими затримками. Обґрунтовано багаторазове використання попередньо навчених нейронних мереж для ідентифікації об'єктів різної природи, що мають схожі закони функціонування. Метою роботи є скорочення часу навчання нейромережевих моделей без значної втрати точності шляхом розвитку методу попереднього навчання нейронних мереж із часовими затримками в задачах ідентифікації нелінійних динамічних об'єктів із безперервними характеристиками. Наукова новизна роботи полягає у подальшого розвитку метод попереднього навчання нейронних мереж із часовими затримками в задачах ідентифікації нелінійних динамічних об'єктів з безперервними характеристиками, що дозволяє скоротити час навчання нейромережевих моделей без значної втрати точності. Метод полягає у вилученні загальних закономірностей із базового датасету на етапі попереднього навчання та використанні їх для розв'язання конкретних задач на етапі донавчання моделей на цільовому датасеті. Для визначення моменту припинення попереднього навчання нейронної мережі запропоновано формальний критерій, використання якого дає змогу уникнути перенавчання базової моделі та забезпечити суттєве скорочення часу навчання моделі на цільовому датасеті. Практичне значення роботи полягає в розробці алгоритму методу попереднього навчання нейронних мереж із часовими затримками в задачах ідентифікації нелінійних динамічних об'єктів з безперервними характеристиками, що дозволяє скоротити час навчання нейромережевих моделей втрати точності моделі. Дослідження швидкості збіжності алгоритму навчання та точності моделювання проведено експеримент з тестовими нелінійними динамічними об’єктами. Отримані результати моделювання свідчать про ефективність запропонованого методу. Цінність проведеного дослідження полягає у визначенні області ефективного використання запропонованого методу, а саме коли загальний та цільовий датасети не мають суттєвих розбіжностей та цільовий датасет має достатній розмір для відображення властивостей об’єкту дослідження.