Methods for refining the depth map obtained from depth sensors

Abstract

Depth maps are essential in applications such as robotics, augmented reality, autonomous vehicles, and medical imaging, providing critical spatial information. However, depth maps from sensors like time-of-flight (ToF) and structured light systems often suffer from low resolution, noise, and missing data. Addressing these challenges, this study presents an innovative method to refine depth maps by integrating high-resolution color images. The proposed approach employs both hard- and soft-decision pixel assignment strategies to adaptively enhance depth map quality. The hard-decision model simplifies edge classification, while the soft-decision model, integrated within a Markov Random Field framework, improves edge consistency and reduces noise. By analyzing discrepancies between edges in depth maps and color images, the method effectively mitigates artifacts such as texturecopying and blurred edges, ensuring better alignment between the datasets. Key innovations include the use of the Canny edge detection operator to identify and categorize edge inconsistencies and anisotropic affinity calculations for precise structural representation. The soft-decision model introduces advanced noise reduction techniques, improving depth map resolution and preserving edge details better than traditional methods. Experimental validation on Middlebury benchmark datasets demonstrates that the proposed method outperforms existing techniques in reducing Mean Absolute Difference values, especially in high-upscaling scenarios. Visual comparisons highlight its ability to suppress artifacts and enhance edge sharpness, confirming its effectiveness across various conditions. This approach holds significant potential for applications requiring high-quality depth maps, including robotics, augmented reality, autonomous systems, and medical imaging. By addressing critical limitations of current methods, the study offers a robust, versatile solution for depth map refinement, with opportunities for real-time optimization in dynamic environments.

Карти глибини мають важливе значення для таких застосувань, як робототехніка, доповнена реальність, автономні транспортні засоби та медична візуалізація, надаючи критично важливу просторову інформацію. Однак карти глибини, отримані за допомогою таких датчиків, як датчики часу польоту (ToF) і системи структурованого світла, часто страждають від низької роздільної здатності, шуму і пропущених даних. Для вирішення цих проблем у цьому дослідженні представлено інноваційний метод уточнення карт глибини шляхом інтеграції кольорових зображень високої роздільної здатності. Запропонований підхід використовує як жорсткі, так і м'які стратегії розподілу пікселів для адаптивного покращення якості карти глибини. Модель з жорстким рішенням спрощує класифікацію країв, тоді як модель з м'яким рішенням, інтегрована в рамках теорії випадкових полів Маркова, покращує узгодженість країв і зменшує шум. Аналізуючи розбіжності між краями на картах глибини та кольорових зображеннях, метод ефективно усуває такі артефакти, як копіювання текстури та розмиті краї, забезпечуючи краще узгодження між наборами даних. Ключові інновації включають використання оператора виявлення країв Кенні для виявлення і класифікації невідповідностей країв та обчислення анізотропної спорідненості для точного структурного представлення. Модель з м'яким прийняттям рішень впроваджує передові методи зменшення шуму, покращуючи роздільну здатність карти глибини і зберігаючи деталі країв краще, ніж традиційні методи. Експериментальна перевірка на еталонних наборах даних Middlebury демонструє, що запропонований метод перевершує існуючі методи у зменшенні значень середньої абсолютної різниці, особливо у сценаріях з високим масштабуванням. Візуальне порівняння підкреслює його здатність придушувати артефакти і підвищувати різкість країв, що підтверджує його ефективність у різних умовах. Цей підхід має значний потенціал для застосувань, що потребують високоякісних карт глибини, включаючи робототехніку, доповнену реальність, автономні системи та медичну візуалізацію. Усуваючи критичні обмеження існуючих методів, дослідження пропонує надійне, універсальне рішення для уточнення карт глибини з можливостями оптимізації в реальному часі в динамічних середовищах..