Predictive control methods in tasks of searching saddle points

Abstract

The article presents new methods for searching critical points of a function of several variables, including saddle points. Such problems are found in various fields of theoretical and practical science, for example, saddle-point construction lens design, machine and deep learning, problems of convex optimization and nonlinear programming (necessary and sufficient conditions for the solution are formulated using saddle points of the Lagrange function and proved in the Kuhn-Tucker theorem. When training neural networks, it is necessary to repeat the training process on large clusters and check the network's trainability at different loss functions and different network depth. Which means that thousands of new calculations are run, where each time the loss function is optimized on large amounts of data. So any acceleration in the process of finding critical points is a major advantage and saves computing resources. Many modern methods of searching saddle points are based on calculating the Hessian matrix, inverting this matrix, the scalar product of the gradient vector and the current vector, finding the full Lagrangian, etc. However, all these operations are computationally “expensive” and it would make sense to bypass such complex calculations. The idea of modifying the standard gradient methods used in the article is to apply fixed-point search schemes for nonlinear discrete dynamical systems for gradient descent problems. It is assumed that these fixed points correspond to unstable equilibrium positions, and there are large units among the multipliers of each equilibrium position. The averaged predictive control methods are used. Results of numerical modeling and visualization are presented in the form of two tables, which indicate basins of attraction for each critical point in each scheme, and statistical data by the convergence rates.

У статті представлені нові методи пошуку стаціонарних точок функції багатьох змінних, в тому числі сідлових. Такі завдання зустрічаються в різних галузях теоретичної і практичної науки, наприклад, у побудові сідлових точок в дизайні лінз, машинному або глибокому навчанні завдань опуклою оптимізації та нелінійного програмування (необхідні і достатні умови вирішення формулюються за допомогою сідлових точок функції Лагранжа і доводяться в теоремі Куна-Таккера. При навчанні нейронних мереж доводиться повторювати процес навчання на великих кластерах і перевіряти здатність до навчання мережі при різних функціях втрати і різній глибині мережі, тобто проводити тисячі запусків нових обчислень, де кожен раз оптимізується функція втрати на великих обсягах даних, тому будь-яке прискорення процесу пошуку стаціонарних точок є найважливішою перевагою і економить обчислювальні ресурси. Багато сучасних методів пошуку сідлових точок засновані на обчисленні і матриці Гессе, зверненні цієї матриці, скалярного добутку вектора градієнта і поточного вектора, знаходженні повного лагранжіан і т.п. Однак всі ці операції є обчислювально «дорогими» і мало б сенс обходити такі складні розрахунки. Ідея модифікації звичайних градієнтних методів, використана в статті, полягає в застосуванні схем пошуку нерухомих точок нелінійних дискретних динамічних систем для задач градієнтного спуску. Передбачається, що цим нерухомим точкам відповідають нестійкі положення рівноваги, і серед мультиплікаторів кожного положення рівноваги є великі одиниці. Використовуються методи усередненого прогнозуючого контролю. Результати чисельногомоделювання та візуалізації наведені у вигляді двох таблиць, де вказані басейни тяжіння кожної стаціонарної точки для кожної схеми, і статистичні дані по швидкостям збіжності.