The use of control theory methods in neural networks’ training based on a handwritten text

Abstract

The paper shows the importance of reducing the neural networks’ training time at present stage and the role of new optimization methods in neural networks’ training. The paper researches a modification of stochastic gradient descent, which is based on the idea of gradient descent representation as a discrete dynamical system. The connection between the extreme points, to which the gradient descent iterations tend, and the stationary points of the corresponding discrete dynamical system is a consequence of this representation. The further applied stabilizing scheme with predictive control, for which a theoretical apparatus was developed by means of geometric complex analysis together with solving optimization tasks in a set of polynomials with real coefficients, was able to train a multilevel perceptron for recognizing handwritten numbers many times faster. The new algorithm software implementation used the PyTorch library, created for researches in the field of neural networks. All experiments were run on NVidia graphical processing unit to check the processing unit’s resource consumption. The numerical experiments did not reveal any deviation in training time. There was a slight increase in the used video memory, which was expected as the new algorithm retains one additional copy of perceptron internal parameters. The importance of this result is associated with the growth in the use of deep neural network technology, which has grown three hundred thousand times from 2012 till 2018, and the associated resource consumption. This situation forces the industry to consider training optimization issues as well as their accuracy. Therefore, any training process acceleration that reduces the time or resources of the clusters is a desirable and important result, which was achieved in this article. The results obtained discover a new area of theoretical and practical research, since the stabilization used is only one of the methods of stabilization and search for cycles in control theory. Such good practical results confirm the need to add the lagging control and the additional experiments with both predictive and lagging control elements.

У статті чисельно досліджується модифікація стохастичного градієнтного спуску, яка була отримана через уявлення градієнтного спуску як дискретної динамічної системи. Наслідком цього подання є зв'язок між екстремальними точками, до яких прагнуть ітерації градієнтного спуску, і стаціонарними точками дискретної динамічної системи, які відповідають йому. Застосована далі стабілізуюча схема з предикативним контролем, для якої був розроблений теоретичний апарат за допомогою геометричного комплексного аналізу разом з рішенням оптимізаційних завдань у безлічі поліномів з дійсними коефіцієнтами, змогла набагато швидше навчити багаторівневий персептрон розпізнавати рукописні цифри. Програмна реалізація нового алгоритму використовувала бібліотеку PyTorch, створену для досліджень в області нейронних мереж. Всі експерименти запускалися на графічному прискорювачі компанії NVidia для перевірки споживання ресурсів прискорювача. Чисельні експерименти не виявили жодних відхилень за часом навчання. Було відзначено невелике збільшення використовуваної відео-пам’яті, як і очікувалося, оскільки новий алгоритм зберігає одну додаткову копію внутрішніх параметрів персептрону. Важливість отриманого результату пов'язана з ростом застосування технологій глибоких нейронних мереж, яке збільшилося у триста тисяч разів з 2012 по 2018 роки, та пов'язаного з цим збільшенням споживання ресурсів. Ця ситуація змушує індустрію розглядати питання оптимізації навчання на рівні з його точністю. Отже, будь-яке прискорення навчального процесу, яке скорочує час або зменшує ресурси кластерів, є бажаним і важливим результатом, якого і було досягнуто у цій статті. Отримані результати відкривають нову область теоретичних та практичних досліджень, оскільки використана стабілізація є лише одним з методів стабілізації та пошуку циклів в теорії управління. Такі хороші практичні результати підтверджують необхідність додавання запізнілого контролю і додаткових експериментів як з предикативними, так і з запізнілими елементами контролю.