Segmentation of cloud organization patterns from satellite images using deep neural networks

Abstract

Climate change is one of the most important challenges that humanity faces now. The essential part of climate models is the movement of clouds, which affects climate parameters dramatically. Shallow clouds play a huge role in determining the Earth's climate. They're also difficult to understand and to represent in climate models. Unfortunately, the exact modeling of clouds movement is notoriously tricky and requires perfect knowledge of underling physical processes and initial states. Boundaries between different types of clouds are usually blurry and difficult to define with rule-based decision systems. Simplification of the segmentation step is crucial and can help researchers to develop better climate models. Convolutional neural networks have been successfully applied in many similar areas, and for cloud segmentation itself, too. However, there is a high cost of good, pixel-level labeled datasets, so the industry often uses coarse-labeled datasets with the either region or image-level labels. In this paper, we propose an end-to-end deep-learning-based method for classification and segmentation of different types of clouds from a single colored satellite image. Here, we propose the multi-task learning approach to cloud segmentation. Additionally to the segmentation model, we introduce a separate classifier that uses features from the middle layer of the segmentation model. The presented method can use coarse, uneven and overlapping masks for clouds. From the experimental results, the proposed method demonstrates stable results and learns good general features from noisy data. As we observed during the experiments, our model finds types of clouds, which are not annotated on the images but seem to be correctly defined. It is ranked in top three percent competing methods on Understanding Clouds from Satellite Images Dataset

Зміна клімату є однією з найважливіших проблем, що стоять зараз перед людством. Важливою частиною кліматичних моделей є рух хмар, який різко впливає на параметри клімату. Невисокі хмари грають величезну роль у визначенні клімату Землі. Їхній рух також складно зрозуміти і представити в кліматичних моделях. На жаль, точне моделювання руху хмар є складною задачею та вимагає досконалого знання основних фізичних процесів і початкових станів. Межі між різними типами хмар зазвичай розмиті і їх важко визначити за допомогою систем прийняття рішень на основі правил. Спрощення етапу сегментації має вирішальне значення і може допомогти дослідникам в розробці більш досконалих кліматичних моделей. Конволюційні нейронні мережі були успішно застосовані в багатьох аналогічних областях, а також для самої сегментації хмар. Проте, існує проблема високої вартості хороших наборів даних з маркуванням на рівні пікселів, тому в галузі часто використовуються грубі набори даних з мітками рівня зображення. У цій статті ми пропонуємо комплексний метод на основі глибокого навчання для класифікації та сегментації хмар різних типів з одного кольорового супутникового зображення. Тут ми пропонуємо багатозадачний підхід до сегментації хмар. На додаток до моделі сегментації, ми вводимо окремий класифікатор, який використовує ознаки з середнього рівня моделі сегментації. Представлений метод може використовувати грубі, нерівні і такі, що перекриваються маски для хмар. Виходячи з результатів експериментів, запропонований метод демонструє стабільні результати і вивчає хороші загальні характеристики з зашумленних даних. Як ми спостерігали під час експериментів, наша модель правильно знаходить хмари, які не анотовані на зображеннях. Запропонований метод входить в топ 3 % серед конкуруючих методів на наборі даних Understanding Clouds from Satellite Images.

Изменение климата является одной из важнейших проблем, стоящих сейчас перед человечеством. Важной частью климатических моделей является движение облаков, который сильно влияет на параметры климата. Низкие облака играют огромную роль в определения климата Земли. Их движение сложно понять и представить в климатических моделях. К сожалению, точное моделирование движения облаков является сложной задачей и требует точного знания основных физических процессов и начальных состояний. Границы между разными типами облаков, обычно размыты, их трудно определить с помощью систем принятия решений на основе правил. Упрощение этапа сегментации имеет решающее значение и может помочь исследователям в разработке более совершенных климатических моделей. Сверхточные нейронные сети успешно применяются во многих аналогичных областях, а также для самой сегментации облаков. Однако существует проблема высокой стоимости хороших наборов данных с маркировкой на уровне пикселей, поэтому в отрасли часто используют грубые наборы данных с разметкой уровня изображения. В этой статье мы предлагаем комплексный метод на основе глубокого обучения для классификации и сегментации облаков разных типов с одного цветного спутникового изображения. Здесь мы предлагаем многозадачный подход к сегментации облаков. В дополнение к модели сегментации, мы вводим отдельный классификатор, который использует признаки с среднего уровня модели сегментации. Представленный метод может использовать грубые, неровные и пересекающиеся метки для облаков. Исходя из результатов экспериментов, предложенный метод демонстрирует стабильные результаты и изучает, извлекает общие характеристики с зашумленных данных. Как мы наблюдали во время экспериментов, наша модель правильно находит облака, которые НЕ аннотированные на изображениях. Предложенный метод входит в топ 3 % среди конкурирующих методов на наборе данных Understanding Clouds from Satellite Images.