Традиционной схемой работы с нейронными сетями до недавнего времени было задание архитектуры нейронной сети и её последующее обучение. Однако последние исследования в этой области показали, что заданные и настроенные таким образом нейронные сети обладают значительной избыточностью. Поэтому дополнительной операцией стала ликвидация этой избыточности за счёт прореживания связей в архитектуре нейронной сети. Среди множества подходов к ликвидации избыточности наиболее перспективным представляется совместное использование нескольких методов, когда их суммарный эффект превышает сумму эффектов одиночного использования каждого из них. В данной работе проведено экспериментальное исследование эффективности совместного использования итерационного прореживания и предобработки (предискажений) входных данных в задаче распознавания рукописных цифр с помощью многослойного персептрона. Показано, что использование предобработки входных данных регуляризует процедуру обучения нейронной сети, предотвращая её переобучение. Совместное использование итерационного прореживания и предобработки входных данных позволило получить меньшую ошибку распознавания рукописных цифр – 1,22%, по сравнению с использованием только прореживания ( ошибка уменьшилась с 1,89% до 1,81%) и с использованием только предискажений (ошибка уменьшилась с 1,89% до 1.52%). Кроме этого регуляризация за счёт предискажений позволяет получить монотонно увеличивающееся количество отключённых связей при сохранении ошибки на уровне 1,45%. Полученные кривые обучения для одной и той же задачи, но соответствующие началу обучения с разных начальных условий, имеют разные значения как в процессе обучения, так и в конце обучения. Это свидетельствует о многоэкстремальности функции качества - точности распознавания. Практическое использование этого состоит в предложении проводить многократное обучение нейронной сети с выбором наилучшего результата, либо в параллельном обучении с разных начальных условий нескольких нейронных сетей с последующим объединением их выходов дополнительной нейронной сетью для обеспечения высокой точности распознавания.
Традиційною схемою роботи з нейронними мережами до недавнього часу було завдання архітектури нейронної мережі та її подальше навчання. Однак останні дослідження в цій області показали, що задані і налаштовані таким чином нейронні мережі мають значну надмірність. Тому додатковою операцією стала ліквідація цієї надмірності за рахунок проріджування зв'язків в архітектурі нейронної мережі. Серед безлічі підходів до ліквідації надмірності найбільш перспективним представляється спільне використання декількох методів, коли їх сумарний ефект перевищує суму ефектів одиночного використання кожного з них. У даній роботі проведено експериментальне дослідження ефективності спільного використання ітераційного проріджування і предобробки (предіскаженій) вхідних даних в задачі розпізнавання рукописних цифр за допомогою багатошарового персептрона. Показано, що використання предобробки вхідних даних регулярізує процедуру навчання нейронної мережі, запобігаючи її перенавчання. Спільне використання ітераційного проріджування і предобробки вхідних даних дозволило отримати меншу помилку розпізнавання рукописних цифр - 1,22%, в порівнянні з використанням тільки проріджування (помилка зменшилася з 1,89% до 1,81%) і з використанням тільки предіскаженій (помилка зменшилася з 1,89% до 1.52%). Крім цього регуляризація за рахунок предіскаженій дозволяє отримати монотонно збільшуючуюся кількість відключених зв'язків при збереженні помилки на рівні 1,45%. Отримані криві навчання для однієї і тієї ж задачі, які відповідають початку навчання з різних початкових умов, мають різні значення як в процесі навчання, так і в кінці навчання. Це свідчить про багатоекстремальність функції якості - точності розпізнавання. Практичне використання цього полягає в пропозиції проводити багаторазове навчання нейронної мережі з вибором найкращого результату, або в паралельному навчанні з різних початкових умов декількох нейронних мереж з наступним об'єднанням їх виходів додатковою нейронною мережею для забезпечення високої точності розпізнавання.
A conventional scheme to operate neural networks until recently
has been assigning the architecture of a neural network
and its subsequent training. However, the latest research in
this field has revealed that the neural networks that had been
set and configured in this way exhibited considerable redundancy.
Therefore, the additional operation was to eliminate this
redundancy by pruning the connections in the architecture of
a neural network. Among the many approaches to eliminating
redundancy, the most promising one is the combined application
of several methods when their cumulative effect exceeds
the sum of effects from employing each of them separately. We
have performed an experimental study into the effectiveness of
the combined application of iterative pruning and pre-processing
(pre-distortions) of input data for the task of recognizing
handwritten digits with the help of a multilayer perceptron.
It has been shown that the use of input data pre-processing
regularizes the procedure of training a neural network, thereby
preventing its retraining. The combined application of the
iterative pruning and pre-processing of input data has made it
possible to obtain a smaller error in the recognition of handwritten
digits, 1.22 %, compared to when using the thinning
only (the error decreased from 1.89 % to 1.81 %) and when
employing the predistortions only (the error decreased from
1.89 % to 1.52 %). In addition, the regularization involving
pre-distortions makes it possible to receive a monotonously
increasing number of disconnected connections while maintaining
the error at 1.45 %. The resulting learning curves for
the same task but corresponding to the onset of training under
different initial conditions acquire different values both in the
learning process and at the end of the training. This shows the
multi-extreme character of the quality function – the accuracy
of recognition. The practical implication of the study is our proposal
to run the multiple training of a neural network in order
to choose the best result.
