Systematic use of nonlinear data filtering methods in forecasting tasks

Abstract

The article describes an approach to the systematic use of nonlinear data filtering methods in tasks of intelligent data analysis and machine learning. The concepts of filtering and non-linear filtering are considered. The analysis of modern methods of optimal and probabilistic nonlinear filtering of statistical data and the peculiarities of their application in solving the problems of estimating the states of dynamic systems is carried out. The application of the Kalman filter and its variants for solving nonlinear filtering problems is analysed. The classification of nonlinear filtering methods is given. In the basis of the classification are digital, optimal and probabilistic filters. Non-recursive and recursive digital filters are studied. The formulation of the problem of optimal filtering based on the Kalman filter is considered. The filtering equation for a free dynamic system based on the state space model of a discrete system is given. The extended Kalman filter and its modifications are considered. The Bayesian method of estimating the state of a nonlinear stochastic system is presented. The problem of linear and nonlinear probabilistic filtering is considered. Three filters are considered as examples of probabilistic filters: an unscented Kalman filter, a point mass filter, and a granular filter. The granular filtering algorithm and its modifications are considered in detail. The architecture of the information-analytical system for solving forecasting problems has been developed. The system consists of the following main components: user interface, information storage subsystem, data analysis and pre-processing subsystem, modelling subsystem, forecast construction and evaluation subsystem, visualization subsystem. As an example of forecasting based on the systematic use of non-linear filtering methods, the task of forecasting the prices of Google shares is considered. A comparison of the quality assessment results of basic models and forecast values without filtering and with different options for applying filters was carried out. To improve the quality of forecasting based on prepared data and based on nonlinear filtering methods, a method based on combined forecasts was used to solve the forecasting problem. The results of forecasting using the combined model are presented

У статті описано підхід до системного використання методів нелінійної фільтрації даних в задачах інтелектуального аналізу даних та машинного навчання. Розглянуто поняття фільтрації та нелінійної фільтрації. Проведено аналіз сучасних методів оптимальної та ймовірнісної нелінійних фільтрацій статистичних даних й особливості їх застосування в розв’язанні задач оцінювання станів динамічних систем. Проаналізовано застосування фільтра Калмана та його різновидів для вирішення задач нелінійної фільтрації. Наведено класифікацію методів нелінійної фільтрації. Основу класифікації складають цифрові, оптимальні та ймовірнісні фільтри. Досліджено нерекурсивні та рекурсивні цифрові фільтри. Розглянуто постановка задачі оптимальної фільтрації на основі фільтра Калмана. Приведено рівняння фільтрації для вільної динамічної системи, засноване на моделі простору станів дискретної системи. Розглянуто розширений фільтр Калмана і його модифікації. Представлено байєсівський метод оцінки стану нелінійної стохастичної системи. Розглянуто проблема лінійної та нелінійної ймовірнісної фільтрації. В якості прикладів ймовірнісних фільтрів розглянуто три фільтра: фільтр Калмана без запаху, фільтр точкової маси та гранулярний фільтр. Детально розглянуто алгоритм гранулярної фільтрації та його модифікації. Розроблено архітектуру інформаційно аналітичної системи для вирішення задач прогнозування. Система складається з наступних основних компонентів: інтерфейс користувача, підсистема зберігання інформації, підсистема аналізу та попередньої обробки даних, підсистема моделювання, підсистема побудови та оцінки прогнозів, підсистема візуалізації. В якості прикладу прогнозування на основі системного використання методів нелінійної фільтрації розглянуто завдання прогнозування цін акцій компанії Google. Проведено порівняння результатів оцінювання якості базових моделей та прогнозних значень без фільтрації та з різними варіантами застосування фільтрів. Для покращення якості прогнозування на підготовлених даних та на основі методів нелінійної фільтрації для вирішення задачі прогнозування застосовано метод на основі комбінованих прогнозів. Представлено результати прогнозування з використанням комбінованої моделі.