Modeling and forecasting of nonlinear nonstationary processes based on the Bayesian structural time series

Abstract

The article describes an approach to modelling and forecasting non-linear non-stationary time series for various purposes using Bayesian structural time series. The concepts of non-linearity and non-stationarity, as well as methods for processing non-linearity’s and non-stationarity in the construction of forecasting models are considered. The features of the Bayesian approach in the processing of nonlinearities and nonstationary are presented. An approach to the construction of probabilistic-statistical models based on Bayesian structural models of time series has been studied. Parametric and non-parametric methods for forecasting non-linear and non-stationary time series are considered. Parametric methods include methods: classical autoregressive models, neural networks, models of support vector machines, hidden Markov models. Non-parametric methods include methods: state-space models, functional decomposition models, Bayesian non-parametric models. One of the types of non-parametric models is Bayesian structural time series. The main features of constructing structural time series are considered. Models of structural time series are presented. The process of learning the Bayesian structural model of time series is described. Training is performed in four stages: setting the structure of the model and a priori probabilities; applying a Kalman filter to update state estimates based on observed data; application of the “spike-and-slab” method to select variables in a structural model; Bayesian averaging to combine the results to make a prediction. An algorithm for constructing a Bayesian structural time series model is presented. Various components of the BSTS model are considered and analysed, with the help of which the structures of alternative predictive models are formed. As an example of the application of Bayesian structural time series, the problem of predicting Amazon stock prices is considered. The base dataset is amzn_share. After loading, the structure and data types were analysed, and missing values were processed. The data are characterized by irregular registration of observations, which leads to a large number of missing values and “masking” possible seasonal fluctuations. This makes the task of forecasting rather difficult. To restore gaps in the amzn_share time series, the linear interpolation method was used. Using a set of statistical tests (ADF, KPSS, PP), the series was tested for stationarity. The data set is divided into two parts: training and testing. The fitting of structural models of time series was performed using the Kalman filter and the Monte Carlo method according to the Markov chain scheme. To estimate and simultaneously regularize the regression coefficients, the spike-and-slab method was applied. The quality of predictive models was assessed.

У статті описано підхід до моделювання та прогнозування нелінійних нестаціонарних часових рядів для різних цілей з використанням байєсівських структурних часових рядів (BSTS). Розглянуто поняття нелінійності та нестаціонарності, а також методи обробки нелінійності та нестаціонарності при побудові моделей прогнозування. Наведено особливості байєсівського підходу в обробці нелінійностей та нестаціонарності. Досліджено підхід до побудови ймовірнісно-статистичних моделей на основі байєсівських структурних моделей часових рядів. Розглянуто параметричні та непараметричні методи прогнозування нелінійних та нестаціонарних часових рядів. До параметричних методів належать методи: класичних авторегресійних моделей, нейронних мереж, моделей опорних векторних машин, прихованих марковських моделей. До непараметричних методів належать методи: моделі простору станів, моделі функціональної декомпозиції, байєсівські непараметричні моделі. Одним із видів непараметричних моделей є байєсівські структурні часові ряди. Розглянуто основні особливості побудови структурних часових рядів. Представлено моделі структурних часових рядів. Описано процес навчання байєсівської структурної моделі часових рядів. Навчання виконується в чотири етапи: завдання структури моделі та апріорних ймовірностей; застосування фільтра Калмана для оновлення оцінок стану на основі спостережених даних; застосування методу “spike-and-slab” для вибору змінних у структурній моделі; Байєсівське усереднення для об’єднання результатів для прогнозування. Наведено алгоритм побудови моделі BSTS. Розглядаються та аналізуються різні компоненти моделі BSTS, за допомогою яких формуються структури альтернативних прогнозних моделей. Як приклад застосування байєсівських структурних часових рядів розглядається задача прогнозування курсів акцій Amazon. Базовим набором даних є amzn_share. Після завантаження структура та типи даних були проаналізовані, а відсутні значення оброблені. Для даних характерна нерегулярна реєстрація спостережень, що призводить до великої кількості пропущених значень і «маскування» можливих сезонних коливань. Це ускладнює завдання прогнозування. Для відновлення розривів у часових рядах amzn_share використовувався метод лінійної інтерполяції. Використовуючи набір статистичних тестів (ADF, KPSS, PP), ряд перевіряли на стаціонарність. Набір даних розділений на дві частини: навчання та тестування. Підгонку структурних моделей часових рядів проводили за допомогою фільтра Калмана та методу Монте-Карло за схемою ланцюга Маркова (MSMC). Для оцінки та одночасної регулярізації коефіцієнтів регресії застосовано метод “spike-and-slab”. Оцінено якість прогностичних моделей.