Classification of skin lesions using multi-task deep neural networks

Abstract

Skin cancer is the most prevalent type of cancer disease. The most of skin cancer deaths are caused by melanoma, despite being the least common skin cancer. Early and accurate detection and treatment is the best healing, however detection of this type of malignancy in the early stages is not obvious. Data-driven solutions for malignant melanomas detection can make treatment more effective. Convolutional neural networks have been successfully applied in different areas of computer vision, also in the classification of cancer types and stages. But in most cases, images are not enough to reach robust and accurate classification. Such metadata as sex, age, nationality, etc. could also be applied inside the models. In this paper, we propose an end-to-end method for the classification of melanoma stage using convolutional neural networks from an RGB photo and persons' metadata. Also, we provide a method of semi-supervised segmentation of the region of melanoma appearance. From the experimental results, the proposed method demonstrates stable results and learns good general features. The main advantage of this method is that it increases generalization and reduces variance by using an ensemble of the networks, pretrained on a large dataset, and fine-tuned on the target dataset. This method reaches ROC-AUC of 0.93 on 10982 unique unseen images.

Рак шкіри є найбільш поширеним видом онкологічних захворювань. Більшість випадків смерті від раку шкіри спричинені меланомою, хоча це найменш поширений рак шкіри. Раннє та точне виявлення та лікування є найкращим зціленням, однак виявлення цього виду злоякісної пухлини на ранніх стадіях не є легким. Рішення, засновані на даних для виявлення злоякісних меланом можуть зробити лікування більш ефективним. Згорткові нейронні мережі успішно застосовуються в різних областях комп'ютерного зору, а також у класифікації типів та стадій раку. Але в більшості випадків зображень недостатньо для досягнення надійної та точної класифікації. Такі метадані, як стать, вік, національність тощо, також можуть бути застосовані всередині моделей. У цій роботі ми пропонуємо end-to-end метод класифікації стадії меланоми за допомогою згорткових нейронних мереж із фотографії RGB та метаданих пацієнтів. Також ми пропонуємо метод напівавтоматичного навчання сегментації області новоутворення. На основі експериментальних результатів запропонований метод демонструє стабільні результати та вивчає ознаки, що добре описують новоутворення. Головною перевагою цього методу є те, що він збільшує узагальнення та зменшує дисперсію, використовуючи ансамбль мереж, попередньо навчений на великому наборі даних та донавчений на цільовому наборі даних. Цей метод досягає ROC-AUC 0.93 на 10982 унікальних нових зображеннях.

Рак кожи – наиболее распространенный вид онкологических заболеваний. Большинство смертей от рака кожи вызваны меланомой, несмотря на то, что это наименее распространенный вид рака кожи. Раннее и точное обнаружение и лечение - лучшее лечение, однако обнаружение этого типа злокачественного новообразования на ранних стадиях затруднено. Решения на основе данных для обнаружения злокачественной меланомы могут сделать лечение более эффективным. Сверточные нейронные сети успешно применяются в различных областях компьютерного зрения, а также при классификации типов и стадий рака. Но в большинстве случаев изображений недостаточно для надежной и точной классификации. Такие метаданные, как пол, возраст, национальность и т.д., также могут применяться внутри моделей. В этой статье мы предлагаем end-to-end метод классификации стадии меланомы с использованием сверточных нейронных сетей на основе RGB-фотографии и метаданных пациентов. Также мы предлагаем метод полуконтролируемой сегментации области появления меланомы. По результатам экспериментов предлагаемый метод демонстрирует стабильные результаты и изучает хорошие признаки на изображениях. Основное преимущество этого метода заключается в том, что он уменьшает дисперсию за счет использования ансамбля сетей, предварительно обученных на большом наборе данных и дообученных на целевом наборе данных. Этот метод достигает ROC-AUC 0.93 на 10982 уникальных изображениях.