Robust depth map refining using color image

Abstract

Depth maps are essential for various applications, providing spatial information about object arrangement in a scene. They play a crucial role in fields such as computer vision, robotics, augmented and virtual reality, autonomous systems, and medical imaging. However, generating accurate, high-quality depth maps is challenging due to issues like texture-copying artifacts, edge leakage, and depth edge distortion. This study introduces a novel method for refining depth maps by integrating information from color images, combining structural and statistical techniques for superior results. The proposed approach employs a structural method to calculate affinities within a regularization framework, utilizing minimum spanning trees (MST) and minimum spanning forests (MSF). Superpixel segmentation is used to prevent MST construction across depth edges, addressing edge-leaking artifacts while preserving details. An edge inconsistency measurement model further reduces texture-copying artifacts. Additionally, an adaptive regularization window dynamically adjusts its bandwidth based on local depth variations, enabling effective handling of noise and maintaining sharp depth edges. Experimental evaluations across multiple datasets show the method's robustness and accuracy. It consistently achieves the lowest mean absolute deviation (MAD) compared to existing techniques across various upsampling factors, including 2×, 4×, 8×, and 16×. Visual assessments confirm its ability to produce depth maps free of texture-copying artifacts and blurred edges, yielding results closest to ground truth. Computational efficiency is ensured through a divide-and-conquer algorithm for spanning tree computations, reducing complexity while maintaining precision. This research underscores the importance of combining structural and statistical information in depth map refinement. By overcoming the limitations of existing methods, the proposed approach provides a practical solution for improving depth maps in applications requiring high precision and efficiency, such as robotics, virtual reality, and autonomous systems. Future work will focus on real-time applications and integration with advanced depth-sensing technologies.

Карти глибини є важливим інструментом для багатьох застосувань, оскільки вони надають просторову інформацію про розташування об’єктів у сцені. Вони відіграють ключову роль у таких сферах, як комп’ютерний зір, робототехніка, доповнена та віртуальна реальність, автономні системи та медична візуалізація. Однак створення точних і високоякісних карт глибини залишається складним завданням через такі проблеми, як артефакти копіювання текстур, протікання границь та спотворення границь глибини. У цьому дослідженні запропоновано новий метод уточнення карт глибини, що інтегрує інформацію з кольорових зображень, поєднуючи структурні та статистичні підходи для досягнення високих результатів. Запропонований підхід застосовує структурний метод для обчислення афінностей у рамках регуляризації, використовуючи мінімальні остовні дерева (MST) та мінімальні остовні ліси (MSF). Для запобігання побудови MST через границі глибини використовується сегментація на суперпікселі, що дозволяє уникнути протікання границь і зберігати деталі. Модель оцінки несумісності границь додатково зменшує артефакти копіювання текстур. Крім того, адаптивне регуляризаційне вікно динамічно налаштовує свою ширину залежно від локальних змін глибини, що дозволяє ефективно справлятися з шумами та зберігати чіткість границь глибини. Експериментальна оцінка на різних наборах даних демонструє високу точність і надійність методу. Він стабільно забезпечує найнижче середнє абсолютне відхилення (MAD) у порівнянні з існуючими техніками при різних коефіцієнтах масштабування, включаючи 2×, 4×, 8× та 16×. Візуальні оцінки підтверджують здатність методу створювати карти глибини без артефактів копіювання текстур і розмиття границь, максимально наближені до еталонних даних. Обчислювальна ефективність забезпечується завдяки алгоритму «розділяй і владарюй» для обчислення остовних дерев, що зменшує складність при збереженні точності. Дослідження підкреслює важливість поєднання структурної та статистичної інформації у вдосконаленні карт глибини. Подолавши обмеження існуючих методів, запропонований підхід надає практичне рішення для покращення карт глибини у додатках, що потребують високої точності та ефективності, таких як робототехніка, віртуальна реальність та автономні системи. У майбутньому передбачається дослідження застосування методу в реальному часі та його інтеграція з передовими технологіями отримання глибини.