This work is devoted to the development of a distributed framework based on deep learning for processing data from various
sensors that are generated by transducer networks that are used in the field of smart buildings. The proposed framework allows you to
process data that comes from sensors of various types to solve classification and regression problems. The framework architecture
consists of several subnets: particular convolutional net that handle input from the same type of sensors, a single convolutional fusion
net that processes multiple outputs of particular convolutional nets. Further, the result of a single convolutional fusion net is fed to
the input of a recurrent net, which allows extracting meaningful features from time sequences. The result of the recurrent net operation is fed to the output layer, which generates the framework output based on the type of problem being solved. For the experimental
evaluation of the developed framework, two tasks were taken: the task of recognizing human actions and the task of identifying a
person by movement. The dataset contained data from two sensors (accelerometer and gyroscope), which were collected from 9 users
who performed 6 actions. A mobile device was used as the hardware platforms, as well as the Edison Compute Module hardware
device. To compare the results of the work, variations of the proposed framework with different architectures were used, as well as
third-party approaches based on various methods of machine learning, including support machines of vectors, a random forest, limited Boltzmann machines, and so on. As a result, the proposed framework, on average, surpassed other algorithms by about 8% in
three metrics in the task of recognizing human actions and turned out to be about 13% more efficient in the task of identifying a person by movement. We also measured the power consumption and operating time of the proposed framework and its analogues. It was
found that the proposed framework consumes a moderate amount of energy, and the operating time can be estimated as acceptable.
Дана робота присвячена розробці розподіленого фреймворка, заснованого на глибинному навчанні для обробки даних з різних сенсорів, які генеруються трансдюсерними мережами, які застосовуються в області розумних будинків. Запропонований фреймворк дозволяє обробляти дані, які надходять з сенсорів різного типу для вирішення задач класифікації і регресії. Архітектура фреймворка складається з декількох складових: індивідуальних згорткових мереж, які обробляють вхід з сенсорів одного типу, єдиної згорткової мережі злиття, яка обробляє безліч виходів індивідуальних згорткових мереж. Далі, результат роботи єдиної згорткової мережі злиття подається на вхід рекурентної мережі, яка дозволяє
витягувати значущі ознаки з тимчасових послідовностей. Результат роботи рекурентної мережі подається на вихідний
шар, який генерує вихід фреймворка, виходячи з типу завдання, що вирішується. Для експериментальної оцінки розробленого фреймворка були взяті два завдання: завдання розпізнавання дій людини і завдання ідентифікації людини по руху. Датасет містив дані двох сенсорів (акселерометра і гіроскопа), які збиралися у 9 користувачів, які виконували 6 дій. У
якості апаратних платформ було використано мобільний пристрій, а також апаратний пристрій Edison Compute Module.
Для порівняння результатів роботи, були використані варіації запропонованого фреймворка з різною архітектурою, а
також сторонні підходи, засновані на різних методах машинного навчання, включаючи опорні машини векторів, випадковий ліс, обмежені машини Больцмана і так далі. В результаті, запропонований фреймворк, в середньому, перевершив
інші алгоритми приблизно на 8 % за трьома метриками в задачі розпізнавання дій людини і виявився ефективнішим приблизно на 13% в завданні ідентифікації людини по руху. Також було виміряно споживання енергії і час роботи запропонованого фреймворка і його аналогів. Було виявлено, що запропонований фреймворк споживає помірну кількість енергії,
а час роботи можна оцінити як прийнятний.
