eONPUIR

The use of control theory methods in neural networks’ training based on a handwritten text

Показать сокращенную информацию

dc.contributor.author Smorodin, Andrii
dc.contributor.author Смородін, Андрій В’ячеславович
dc.contributor.author Смородин, Андрей Вячеславович
dc.date.accessioned 2021-10-26T21:49:23Z
dc.date.available 2021-10-26T21:49:23Z
dc.date.issued 2021-10-15
dc.identifier.citation Smorodin, A. (2021). The use of control theory methods in neural networks’ training based on a handwritten text. Аpplied Aspects of Information Technology, Vol. 4, N 3, p. 243–249. en
dc.identifier.citation Smorodin, A. The use of control theory methods in neural networks’ training based on a handwritten text / A. Smorodin // Аpplied Aspects of Information Technology = Прикладні аспекти інформ. технологій. – Оdesa, 2021. – Vol. 4, N 3. – P. 243–249. en
dc.identifier.issn 2617-4316
dc.identifier.issn 2663-7723
dc.identifier.uri http://dspace.opu.ua/jspui/handle/123456789/11889
dc.description.abstract The paper shows the importance of reducing the neural networks’ training time at present stage and the role of new optimization methods in neural networks’ training. The paper researches a modification of stochastic gradient descent, which is based on the idea of gradient descent representation as a discrete dynamical system. The connection between the extreme points, to which the gradient descent iterations tend, and the stationary points of the corresponding discrete dynamical system is a consequence of this representation. The further applied stabilizing scheme with predictive control, for which a theoretical apparatus was developed by means of geometric complex analysis together with solving optimization tasks in a set of polynomials with real coefficients, was able to train a multilevel perceptron for recognizing handwritten numbers many times faster. The new algorithm software implementation used the PyTorch library, created for researches in the field of neural networks. All experiments were run on NVidia graphical processing unit to check the processing unit’s resource consumption. The numerical experiments did not reveal any deviation in training time. There was a slight increase in the used video memory, which was expected as the new algorithm retains one additional copy of perceptron internal parameters. The importance of this result is associated with the growth in the use of deep neural network technology, which has grown three hundred thousand times from 2012 till 2018, and the associated resource consumption. This situation forces the industry to consider training optimization issues as well as their accuracy. Therefore, any training process acceleration that reduces the time or resources of the clusters is a desirable and important result, which was achieved in this article. The results obtained discover a new area of theoretical and practical research, since the stabilization used is only one of the methods of stabilization and search for cycles in control theory. Such good practical results confirm the need to add the lagging control and the additional experiments with both predictive and lagging control elements. en
dc.description.abstract У статті чисельно досліджується модифікація стохастичного градієнтного спуску, яка була отримана через уявлення градієнтного спуску як дискретної динамічної системи. Наслідком цього подання є зв'язок між екстремальними точками, до яких прагнуть ітерації градієнтного спуску, і стаціонарними точками дискретної динамічної системи, які відповідають йому. Застосована далі стабілізуюча схема з предикативним контролем, для якої був розроблений теоретичний апарат за допомогою геометричного комплексного аналізу разом з рішенням оптимізаційних завдань у безлічі поліномів з дійсними коефіцієнтами, змогла набагато швидше навчити багаторівневий персептрон розпізнавати рукописні цифри. Програмна реалізація нового алгоритму використовувала бібліотеку PyTorch, створену для досліджень в області нейронних мереж. Всі експерименти запускалися на графічному прискорювачі компанії NVidia для перевірки споживання ресурсів прискорювача. Чисельні експерименти не виявили жодних відхилень за часом навчання. Було відзначено невелике збільшення використовуваної відео-пам’яті, як і очікувалося, оскільки новий алгоритм зберігає одну додаткову копію внутрішніх параметрів персептрону. Важливість отриманого результату пов'язана з ростом застосування технологій глибоких нейронних мереж, яке збільшилося у триста тисяч разів з 2012 по 2018 роки, та пов'язаного з цим збільшенням споживання ресурсів. Ця ситуація змушує індустрію розглядати питання оптимізації навчання на рівні з його точністю. Отже, будь-яке прискорення навчального процесу, яке скорочує час або зменшує ресурси кластерів, є бажаним і важливим результатом, якого і було досягнуто у цій статті. Отримані результати відкривають нову область теоретичних та практичних досліджень, оскільки використана стабілізація є лише одним з методів стабілізації та пошуку циклів в теорії управління. Такі хороші практичні результати підтверджують необхідність додавання запізнілого контролю і додаткових експериментів як з предикативними, так і з запізнілими елементами контролю. en
dc.language.iso en en
dc.publisher Odessa National Polytechnic University en
dc.subject Saddle Points en
dc.subject Neural Networks en
dc.subject Discrete Systems en
dc.subject Chaos Control en
dc.subject точки сідла en
dc.subject нейронні мережі en
dc.subject дискретні системи en
dc.subject управління хаосом en
dc.title The use of control theory methods in neural networks’ training based on a handwritten text en
dc.title.alternative Використання методів теорії управління при вивченні нейронних мереж на прикладі рукописного тексту en
dc.type Article en
opu.citation.journal Applied Aspects of Information Technology en
opu.citation.volume 3 en
opu.citation.firstpage 243 en
opu.citation.lastpage 249 en
opu.citation.issue 4 en


Файлы, содержащиеся в элементе

Этот элемент содержится в следующих коллекциях

Показать сокращенную информацию