Reducing the amount of computations at the second stage of an ensemble classifier with stacking on mine-detection drones

Abstract

Using drones to search for mines is a promising area that allows accelerating the process of demining an area and reducing the danger to people. To increase the probability of detecting mines, drones use sensors with different operating principles. Each type of sensor requires specialized processing, which is carried out at the first stage of the ensemble classifier with stacking. The sensor signals are combined at the second stage of the ensemble classifier, where a multilayer perceptron is usually used as a neural network. Acceleration of terrain survey requires that processing be carried out in real time on the computing equipment of the drone itself. This, in turn, requires a reduction in the amount of computation for all algorithms used on the drone. The article is devoted to reducing the amount of computation when implementing a multilayer perceptron. The original homogeneous structure of the perceptron, when each of the neurons of the previous layer has connections with all neurons of the next layer, is redundant, since it does not take into account the features of the processed data set. The article proposes a method for finding a balance between the dimensionality and number of layers of the perceptron, the time interval between the procedures of thinning connections, the training step and the number of connections removed at a time. Using thinning connections taking into account other parameters allows you to reduce the amount of calculations by 80% or more, while saving and even increasing the quality of classification. There are removed connections that do not make a noticeable contribution to the quality of classification, but introduce additional noise into the perceptron training process and the formation of the output result.

Використання дронів для пошуку мін є перспективним напрямом, що дозволяє прискорити процес розмінування місцевості та зменшити небезпеку для людей. Для підвищення ймовірності виявлення мін на дронах використовують різнорідні за принципом дії датчики. Кожен із типів датчиків вимагає спеціалізованої обробки, що здійснюється на першому ступені ансамблевого класифікатора зі стекінгом. Об'єднання сигналів датчиків проводиться на другому ступені ансамблевого класифікатора, де зазвичай як нейронна мережа використовується багатошаровий персептрон. Прискорення обстеження місцевості вимагає, щоб обробка здійснювалася у реальному масштабі часу на обчислювальному обладнанні самого дрону. Це, своєю чергою, вимагає зменшення обсягу обчислень всіх алгоритмів, використовуваних на дроні. Стаття присвячена зменшенню обсягу обчислень під час реалізації багатошарового персептрона. Вихідна однорідна структура персептрона, коли кожен з нейронів попереднього шару має зв'язки з усіма нейронами наступного шару, є надмірною, оскільки не враховує особливості набору даних, що обробляється. У статті запропоновано методику знаходження балансу між розмірністю та кількістю шарів персептрону, інтервалом часу між процедурами проріджування зв'язків, кроком навчання та кількістю зв'язків, що видаляються, за один раз. Використання проріджування зв'язків з урахуванням інших параметрів дозволяє зменшити обсяг обчислень на 80 % і більше, зберігаючи і навіть збільшуючи якість класифікації. Видаляються зв'язки, які не вносять помітного внеску у якість класифікації, але вносять додатковий шум у процес навчання персептрона і формування результату на виході.