Інформаційна технологія локалізації текстових областей на зображеннях зі складним фоном

Abstract

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.06 – «Інформаційні технології». – Одеський національний політехнічний університет Міністерства освіти і науки України, Одеса, 2015. Дисертація присвячена підвищенню якості та оперативності локалізації текстових областей на зображеннях зі складним фоном в інформаційних технологіях переробки графічної інформації. У роботі запропонована ймовірнісна модель представлення символу тексту, на основі якої розроблено метод формування текстових областей на зображеннях при формуванні навчальної вибірки. Запропоновано кореляційно-екстремальний метод виявлення текстових областей на зображеннях та удосконалено метод локалізації текстових областей. Кореляційно-екстремальний метод реалізовано на базі згорткової нейронної мережі, структура якої враховує багатомасштабне представлення зображення на основі двовимірного дискретного вейвлет-перетворення. На основі запропонованих методів розроблено інформаційну технологію локалізації текстових областей, що дозволило підвищити оперативність локалізації та зменшити залежність результатів від розмірів і типів шрифтів тексту на зображеннях зі складним фоном в системах переробки графічної інформації.

The thesis for the degree of candidate of technical sciences, specialty 05.13.06 – Information Technologies. – Odessa National Polytechnic University, Ministry of education and science of Ukraine, Odessa, 2015. The dissertation is devoted to improving quality and efficiency of the localization of text areas in images with complex background in information technology processing image information. The paper proposed probabilistic model representing a character of text. The paper proposed probabilistic model representing a character of text. On basis of this model the method of forming text areas on the images in the training set formation was developed. A correlation-extreme method of detecting text regions in images and improved method of localization of text areas were proposed. A correlation-extreme method was implemented based on convolutional neural network structure which takes into account the representation of multiple image based on two-dimensional discrete wavelet transform. On the basis of the proposed methods developed information technology for localization of text areas, thus improving the efficiency of localization and reduce the dependence of the results on the size and type font text in images with complex background in graphics processing systems.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.06 – «Информационные технологии». – Одесский национальный политехнический университет Министерства образования и науки Украины, Одесса, 2015. Диссертация посвящена повышению качества и оперативности локализации текстовых областей на изображениях со сложным фоном для повышения эффективности автоматической переработки графической информации. Анализ существующих информационных технологий, моделей и методов локализации текстовых областей на изображениях показал, что существует противоречие между качеством локализации текстовой области и оперативностью этой процедуры, особенно при наличии сложного фона на обрабатывающих изображениях. Поэтому создание информационной технологии локализации текстовых областей на изображениях со сложным фоном на основе новых моделей и методов, позволяющей устранить указанное противоречие или уменьшить его негативное влияние, является важной научно-технической задачей, которая решается в данной работе. В работе получила дальнейшее развитие вероятностная модель представления символа текста, позволившая формировать изображение псевдосимволов текста с вероятностными характеристиками, соответствующими реальным символам. На основе вероятностной модели представления символа текста впервые разработан метод формирования текстовых областей на изображениях при формировании обучающей выборки, что позволило уменьшить влияние субъективных факторов и автоматизировать процесс создания представительной выборки для обучения различных классификаторов для локализации текстовых областей. Для уменьшения зависимости результатов локализации текстовой области от размеров и типов шрифтов текста получил дальнейшее развитие корреляционно- экстремальный метод обнаружения текстовых областей на изображениях, реализованный на базе сверточной нейронной сети, структура которой учитывает многомасштабное представление изображения на основе двумерного дискретного вейвлет-преобразования. Качество обнаружения текстовых областей контрольной выборки (500 изображений на сложном фоне) с использованием предложенного корреляционно-экстремального метода и его реализации на основе сверточной нейронной сети с ДВП-представлением изображения на основе дискретного вейвлет-преобразования и учебным набором на основе созданных текстовых областей на 10% выше качества обнаружения текстовых областей сетью без использования учебных наборов на основе созданных текстовых областей. Усовершенствован метод локализации текстовых областей на основе сверточной нейронной сети, дискретного вейвлет-преобразования и морфологических операций, что позволило обеспечить локализацию текстовых областей для разных размеров шрифтов. Использование предложенного метода локализации позволило повысить качество локализации на 10,5% по сравнению с результатами после кореляционно-экстремального метода обнаружения ТО. Качество локализации изображений со сложным фоном (телевизионных роликов, фильмов, рекламных баннеров) с помощью предложенной информационной технологии составила 87,7% (Precision), 86,6% (Recall), что превосходит результат, полученный с применением программ FineReader11 и FreeOCR. На основе предложенных модели и методов разработана информационная технология локализации текстовых областей для автоматической переработки графической информации, что позволило повысить качество и оперативность локализации текстовых областей на изображениях со сложным фоном в системах переработки графической информации. Полученные в работе научные разработки и программные средства использованы для моделирования и разработки программно-алгоритмического обеспечения в научно-производственном объединении «Дискрет» (г. Одесса) и внедрены в учебный процесс кафедры информационных систем Одесского национального политехнического университета.