Accelerating the learning process of a neural network by predicting the weight coefficient

Abstract

The purpose of this study is to analyze and implement the acceleration of the neural network learning process by predicting the weight coefficients. The relevance of accelerating the learning of neural networks is touched upon, as well as the possibility of using prediction models in a wide range of tasks where it is necessary to build fast classifiers. When data is received from the array of sensors of a chemical unit in real time, it is necessary to be able to predict changes and change the operating parameters. After assessment, this should be done as quickly as possible in order to promptly change the current structure and state of the resulting substances. Work on speeding up classifiers usually focuses on speeding up the applied classifier. The calculation of the predicted values of the weight coefficients are carried out using the calculation of the value using the known prediction models. The possibility of the combined use of prediction models and optimization models was tested to accelerate the learning process of a neural network. The scientific novelty of the study lies in the effectiveness analysis of prediction models use in training neural networks. For the experimental evaluation of the effectiveness of prediction models use, the classification problem was chosen. To solve the experimental problem, the type of neural network “multilayer perceptron” was chosen. The experiment is divided into several stages: initial training of the neural network without a model, and then using prediction models; initial training of a neural network without an optimization method, and then using optimization methods; initial training of the neural network using combinations of prediction models and optimization methods; measuring the relative error of using prediction models, optimization methods and combined use. Models such as “Seasonal Linear Regression”, “Simple Moving Average”, and “Jump” were used in the experiment. The “Jump” model was proposed and developed based on the results of observing the dependence of changes in the values of the weighting coefficient on the epoch. Methods such as “Adagrad”, “Adadelta”, “Adam” were chosen for training neural and subsequent verification of the combined use of prediction models with optimization methods. As a result of the study, the effectiveness of the use of prediction models in predicting the weight coefficients of a neural network has been revealed. The idea is proposed and models are used that can significantly reduce the training time of a neural network. The idea of using prediction models is that the model of the change in the weight coefficient from the epoch is a time series, which in turn tends to a certain value. As a result of the study, it was found that it is possible to combine prediction models and optimization models. Also, prediction models do not interfere with optimization models, since they do not affect the formula of the training itself, as a result of which it is possible to achieve rapid training of the neural network. In the practical part of the work, two known prediction models and the proposed developed model were used. As a result of the experiment, operating conditions were determined using prediction models

Мета даного дослідження - аналіз та імплементація прискорення процесу навчання нейронної мережі шляхом передбачення вагових коефіцієнтів. Визначається актуальність прискорення навчання нейронних мереж, а також можливість застосування моделей прогнозування в широкому колі завдань, де потрібна побудова швидких класифікаторів. Наприклад, коли дані надходять у реальному часі від системи датчиків для подальшої оцінки структури та стану речовин. Роботи з прискорення класифікаторів зазвичай присвячені прискоренню класифікатора, що застосовується. Розрахунок прогнозованих значень вагових коефіцієнтів відбувається за допомогою розрахунку значень за допомогою відомих моделей прогнозування. Була перевірена можливість комбінованого застосування моделей прогнозування та моделей оптимізації для прискорення процесу навчання нейронної мережі. Наукова новизна дослідження полягає в аналізі ефективності застосування моделей прогнозування при навчанні нейронних мереж. Для експериментальної оцінки ефективності використання моделей прогнозування було обрано завдання класифікації. Для вирішення експериментальної задачі був обраний тип нейронної мережі «Багатошаровий персептрон». Експеримент розділений на кілька етапів: початкове навчання нейронної мережі без моделі, а потім вже з використанням моделей прогнозування; початкове навчання нейронної мережі без методів оптимізації, а потім за допомогою методів оптимізації; початкове навчання нейронної мережі з використанням комбінацій моделей прогнозування та методів оптимізації; вимірювання відносної погрішності використання моделей прогнозування, методів оптимізації та комбінованого використання. В експерименті використовувалися такі моделі, як «Сезонна лінійна регресія», «Просте середнє» і «Скачок». Модель «Скачок» була запропонована та розроблена за результатами спостереження залежностей змін значень вагового коефіцієнта від епохи. Для навчання нейронної та наступної перевірки комбінованого використання моделей прогнозування з методами оптимізації були обрані такі методи, як «Адаград», «Ададельта», «Адам». В результаті дослідження виявлена ефективність застосування моделей прогнозування при прогнозуванні вагових коефіцієнтів нейронної мережі. Представлена ідея та використані моделі, які можуть дозволити багатократно скоротити час навчання нейронної мережі. Ідея використання моделей прогнозування полягає в тому, що модель зміни вагового коефіцієнта від епохи є тимчасовим рядом, яка в свою чергу прагне до визначеного значення. В результаті дослідження було виявлено, що можна комбінувати моделі прогнозування та моделі оптимізації. Також моделі прогнозування ніяк не протидіють моделям оптимізації, так як не діють на формулу самого навчання, внаслідок чого можна досягнути швидкого навчання нейронної мережі. У практичній частині роботи були використані дві відомі моделі прогнозування та запропонована розроблена модель. В результаті експерименту були визначені умови експлуатації при застосуванні моделей прогнозування