Exploring the Efficiency of the Combined Application of Connection Pruning and Source Data Pre-Processing when Training a Multilayer Perceptron

Abstract

Традиционной схемой работы с нейронными сетями до недавнего времени было задание архитектуры нейронной сети и её последующее обучение. Однако последние исследования в этой области показали, что заданные и настроенные таким образом нейронные сети обладают значительной избыточностью. Поэтому дополнительной операцией стала ликвидация этой избыточности за счёт прореживания связей в архитектуре нейронной сети. Среди множества подходов к ликвидации избыточности наиболее перспективным представляется совместное использование нескольких методов, когда их суммарный эффект превышает сумму эффектов одиночного использования каждого из них. В данной работе проведено экспериментальное исследование эффективности совместного использования итерационного прореживания и предобработки (предискажений) входных данных в задаче распознавания рукописных цифр с помощью многослойного персептрона. Показано, что использование предобработки входных данных регуляризует процедуру обучения нейронной сети, предотвращая её переобучение. Совместное использование итерационного прореживания и предобработки входных данных позволило получить меньшую ошибку распознавания рукописных цифр – 1,22%, по сравнению с использованием только прореживания ( ошибка уменьшилась с 1,89% до 1,81%) и с использованием только предискажений (ошибка уменьшилась с 1,89% до 1.52%). Кроме этого регуляризация за счёт предискажений позволяет получить монотонно увеличивающееся количество отключённых связей при сохранении ошибки на уровне 1,45%. Полученные кривые обучения для одной и той же задачи, но соответствующие началу обучения с разных начальных условий, имеют разные значения как в процессе обучения, так и в конце обучения. Это свидетельствует о многоэкстремальности функции качества - точности распознавания. Практическое использование этого состоит в предложении проводить многократное обучение нейронной сети с выбором наилучшего результата, либо в параллельном обучении с разных начальных условий нескольких нейронных сетей с последующим объединением их выходов дополнительной нейронной сетью для обеспечения высокой точности распознавания.

Традиційною схемою роботи з нейронними мережами до недавнього часу було завдання архітектури нейронної мережі та її подальше навчання. Однак останні дослідження в цій області показали, що задані і налаштовані таким чином нейронні мережі мають значну надмірність. Тому додатковою операцією стала ліквідація цієї надмірності за рахунок проріджування зв'язків в архітектурі нейронної мережі. Серед безлічі підходів до ліквідації надмірності найбільш перспективним представляється спільне використання декількох методів, коли їх сумарний ефект перевищує суму ефектів одиночного використання кожного з них. У даній роботі проведено експериментальне дослідження ефективності спільного використання ітераційного проріджування і предобробки (предіскаженій) вхідних даних в задачі розпізнавання рукописних цифр за допомогою багатошарового персептрона. Показано, що використання предобробки вхідних даних регулярізує процедуру навчання нейронної мережі, запобігаючи її перенавчання. Спільне використання ітераційного проріджування і предобробки вхідних даних дозволило отримати меншу помилку розпізнавання рукописних цифр - 1,22%, в порівнянні з використанням тільки проріджування (помилка зменшилася з 1,89% до 1,81%) і з використанням тільки предіскаженій (помилка зменшилася з 1,89% до 1.52%). Крім цього регуляризація за рахунок предіскаженій дозволяє отримати монотонно збільшуючуюся кількість відключених зв'язків при збереженні помилки на рівні 1,45%. Отримані криві навчання для однієї і тієї ж задачі, які відповідають початку навчання з різних початкових умов, мають різні значення як в процесі навчання, так і в кінці навчання. Це свідчить про багатоекстремальність функції якості - точності розпізнавання. Практичне використання цього полягає в пропозиції проводити багаторазове навчання нейронної мережі з вибором найкращого результату, або в паралельному навчанні з різних початкових умов декількох нейронних мереж з наступним об'єднанням їх виходів додатковою нейронною мережею для забезпечення високої точності розпізнавання.

A conventional scheme to operate neural networks until recently has been assigning the architecture of a neural network and its subsequent training. However, the latest research in this field has revealed that the neural networks that had been set and configured in this way exhibited considerable redundancy. Therefore, the additional operation was to eliminate this redundancy by pruning the connections in the architecture of a neural network. Among the many approaches to eliminating redundancy, the most promising one is the combined application of several methods when their cumulative effect exceeds the sum of effects from employing each of them separately. We have performed an experimental study into the effectiveness of the combined application of iterative pruning and pre-processing (pre-distortions) of input data for the task of recognizing handwritten digits with the help of a multilayer perceptron. It has been shown that the use of input data pre-processing regularizes the procedure of training a neural network, thereby preventing its retraining. The combined application of the iterative pruning and pre-processing of input data has made it possible to obtain a smaller error in the recognition of handwritten digits, 1.22 %, compared to when using the thinning only (the error decreased from 1.89 % to 1.81 %) and when employing the predistortions only (the error decreased from 1.89 % to 1.52 %). In addition, the regularization involving pre-distortions makes it possible to receive a monotonously increasing number of disconnected connections while maintaining the error at 1.45 %. The resulting learning curves for the same task but corresponding to the onset of training under different initial conditions acquire different values both in the learning process and at the end of the training. This shows the multi-extreme character of the quality function – the accuracy of recognition. The practical implication of the study is our proposal to run the multiple training of a neural network in order to choose the best result.