Binary classification of small satellites telemetry data based on deep learning approach

Abstract

У статті надано розв’язання актуальної задачіінтелектуального аналізу даних телеметричної інформації малих косміч-них апаратів з метою визначення їх технічних станів. Розроблено нейромережеві моделі на основі сучасних архітектур гли-бокого навчання для вирішення задачі бінарної класифікації даних телеметричної інформації, що дозволяють визначати штатний та позаштатний стан функціонування малих космічних апаратів або деяких їх підсистем. Для комп'ютерного аналі-зу використовувалися дані функціонування навігаційної підсистеми малих космічних апаратів, часовий ряд розмірністю 121690×9.Проводився порівняльний аналіз повнозв'язних, одновимірних згорткових та рекурентних (GRU, LSTM) нейрон-них мереж, нейронних моделей різної глибини, які є послідовними комбінаціями всіх трьох типів шарів, у тому числі з ви-користанням технології додавання залишкових зв'язків сімейства ResNet, широко поширених нейромережних моделей AlexNet, LeNet , Inception, Xception, MobileNet, ResNet, Yolo, що є модифікованими для класифікації часових рядів. Най-кращий результат з точки зору точності класифікації на етапах навчання, валідації, тестування, та часу виконання однієї епохи навчаннята валідаціїотримали розроблені послідовні нейромережеві моделі з трьох типів шарів: одновимірних згор-ткових, рекурентного GRU та повнозв’язковогокласифікаційногошарів. Вхідні дані було внормовано. Точність класифіка-ції на етапах навчання, валідації та тестування склали відповідно: 0.9821, 0.9665, 0.9690. Час виконання однієї епохи нав-чання та валідації склав дванадцятьсек. При цьому найкращий альтернативний результат показала модифікована модель Inception: 0.9818, 0.9694, 0.9675.Час виконання однієї епохи навчання та валідації для цієї моделі склав двадцять сiм сек. Збільшення точності класифікації під час адаптації відомих нейромережевих моделей, які використовуються для аналізу зображень, отримано не було, але час навчання та валідації у разі кращої моделі Inception збільшився більш ніж у два рази. Були запропоновані та проаналізовані гібридні нейромережеві моделі, у тому числі з використанням методики прокидання залишкових зв'язків сімейства ResNet. Вони показали найбільшу точність та мінімальний час навчання та валідації моделі у вирішенні поставленоїзадачіпорівняно з низкою розроблених та широко відомих, застосовуваних глибоких нейромереже-вих моделей

The paper presents solutions to the actual problem of intelligent analysis of telemetry data from small satellites in order to de-tectits technical states. Neural network models based on modern deep learning architectures have been developed and investigated to solve the problem of binary classification of telemetry data.Itmakespossible to determine the normal and abnormal state of the small satellitesor some of its subsystems. For thecomputeranalysis, the data ofthe functioning of the small satellitesnavigation subsystem were used:a time series with a dimension of 121690 × 9. A comparative analysis was carried out of fully connected, one-dimensional convolutionand recurrent (GRU, LSTM) neural networks. We analyzed hybrid neural network models of various depths, which are sequential combinations of all three types of layers, including using the technology of adding residual connectionsof the ResNet family. Achieved results were compared with results of widespread neural network models AlexNet, LeNet, Inception, Xception, MobileNet, ResNet, and Yolo, modified for time series classification. The best result,in terms of classification accuracyat the stages of training, validation and testing, and the execution time of one training and validation epoch, were obtained by the devel-oped hybridneural network models of three types of layers: one-dimensional convolution, recurrent GRU and fully connected classi-fication layers, using the technology of adding residual connections. In this case, the input data were normalized. The obtained classi-fication accuracy at the training, validation and testing stages was 0.9821, 0.9665, 0.9690, respectively.The execution time of one learning and validation epoch was twelve seconds. At the same time, the modified Inception model showed the best alternative result in terms of accuracy: 0.9818, 0.9694, 0.9675.The execution time of one training and validation epoch was twenty sevenseconds. That is, there was no increase in the classification accuracy when adapting the well-known neural network models used for image analysis.But the training and validation time in the case of the best Inception model increased by more than twotimes. Thus,pro-posed and analyzedhybrid neural network model showed the highest accuracy and minimum training and validation time in solving theconsideredproblem according to compared with a number of developed and widely known and used deep neural network models