Architectural objects recognition technique in augmented reality technologies based on creating a specialized markers base

Abstract

The paper proposes a method for recognizing architectural objects when creating augmented reality mobile applications based on building a database of specialized markers. The main method of augmented reality technology for the recognition of architectural objects was chosen - the technology based on special markers. The range of pattern recognition algorithms suitable for the task is highlighted. These are algorithms based on the selection of key points of images and their descriptors. The most important aim is the stable recognition of architectural objects upon mobile applications for augmented reality-type digital guide creation based on specialized markers. The scientific basis of the research is a systematic approach in the analysis of the considered markers recognition algorithms, machine learning for the development of a database of marker images and AO recognition are used. The technique consists of the following steps: processing images of architectural objects with the aim of identifying key points, obtaining descriptions of selected control points as descriptors, creating AR-metadata that correspond to architectural objects, organizing joint storage in the local database of descriptors and their corresponding metadata, visualizing the architectural object and AR metadata. To implement the stages of processing images of architectural objects and obtain descriptors of key points, algorithms for extracting key points on images, such as SIFT, MSER, SURF, RIFF, RF, are analyzed. It is shown that these algorithms are invariant to scaling, rotation, as well as resistant to changes in light, noise and viewing angle. A comprehensive use of them for processing architectural objects with the aim of obtaining descriptors of reference points was proposed. To ensure stable recognition of AO according to the developed methodology based on machine learning for processing architectural objects with the aim of obtaining descriptors of key points, it was proposed to create an additional module using an ordered stack. The launch sequence and the number of algorithms can be changed.

В роботі запропонована методика розпізнання архітектурних об’єктів при створенні мобільних додатків доповненої реальності на основі побудови бази спеціалізованих маркерів. На основі аналізу методів технології доповненої реальності для розпізнавання архітектурних об’єктів був обраний метод, заснований на спеціальних маркерах. Виділено ряд алгоритмів розпізнавання образів, що підходять для даного завдання. Це алгоритми, засновані на виборі ключових точок зображень і їх дескрипторів. Основною метою роботи є створення методики, яка забезпечує стабільне розпізнавання архітектурних об’єктів в мобільних додатках для створення цифрового гіда доповненої реальності на основі спеціалізованих маркерів. Науковою основою дослідження є системний підхід при аналізі розглянутих алгоритмів розпізнавання маркерів, використовуються машинне навчання для розробки бази даних зображень маркерів і розпізнавання АТ. Методика складається з наступних етапів: обробка зображень архітектурних об’єктів з метою виділення опорних точок, отримання опису виділених опорних точок у вигляді дескрипторів, створення AR-метаданих, які відповідають архітектурним об’єктам, організація спільного зберігання в локальній базі дескрипторів і відповідних їм метаданих, візуалізація архітектурного об'єкта і AR-метаданих. Для реалізації етапів обробки зображень архітектурних об’єктів і отримання дескрипторів опорних точок, проаналізовані алгоритми виділення опорних точок на зображеннях, такі як SIFT, MSER, SURF, RIFF, RF. Показано, що дані алгоритми є інваріантними до масштабування, обертання, а також стійкими до змін освітленості, шуму і кута перегляду. Запропоновано комплексне їх використання для обробки архітектурних об’єктів з метою отримання дескрипторів опорних точок. Для забезпечення стабільного розпізнавання АТ відповідно до розробленої методики, заснованої на машинному навчанні для обробки архітектурних об'єктів з метою отримання дескрипторів ключових точок, було запропоновано створити додатковий модуль з використанням упорядкованого стека алгоритмів, в якому послідовність запуску і кількість алгоритмів можуть бути змінені.

В работе предложена методика распознания архитектурных объектов при создании мобильных приложений дополненной реальности на основе построения базы специализированных маркеров. На основе анализа методов технологии дополненной реальности для распознавания архитектурных объектов был выбран метод, основанный на специальных маркерах. Выделен ряд алгоритмов распознавания образов, подходящих для данной задачи. Это алгоритмы, основанные на выборе ключевых точек изображений и их дескрипторов. Основной целью работы является создание методики, обеспечивающей стабильное распознавание архитектурных объектов в мобильных приложениях для создания цифрового гида дополненной реальности на основе специализированных маркеров. Научной основой исследования является системный подход при анализе рассмотренных алгоритмов распознавания маркеров, используются машинное обучение для разработки базы данных изображений маркеров и распознавания АО. Методика состоит из следующих этапов: обработка изображений архитектурных объектов с целью выделения опорных точек, получение описания выделенных опорных точек в виде дескрипторов, создание AR-метаданных, которые соответствуют архитектурным объектам, организация совместного хранения в локальной базе дескрипторов и соответствующих им метаданных, визуализация архитектурного объекта и ARметаданных. Для реализации этапов обработки изображений архитектурных объектов и получения дескрипторов опорных точек, проанализированы алгоритмы выделения опорных точек на изображениях, такие как SIFT, MSER, SURF, RIFF, RF. Показано, что данные алгоритмы являются инвариантными к масштабированию, вращению, а также устойчивыми к изменениям освещенности, шума и угла просмотра. Предложено комплексное их использование для обработки архитектурных объектов с целью получения дескрипторов опорных точек. Для обеспечения стабильного распознавания АО в соответствии с разработанной методикой, основанной на машинном обучении для обработки архитектурных объектов с целью получения дескрипторов ключевых точек, было предложено создать дополнительный модуль с использованием упорядоченного стека алгоритмов, в котором последовательность запуска и количество алгоритмов могут быть изменены.