Comparison of generative adversarial networks architectures for biomedical images synthesis

Abstract

The article analyzes and compares the architectures of generative adversarial networks. These networks are based on convolutional neural networks that are widely used for classification problems. Convolutional networks require a lot of training data to achieve the desired accuracy. Generative adversarial networks are used for the synthesis of biomedical images in this work. Biomedical images are widely used in medicine, especially in oncology. For diagnosis in oncology biomedical images are divided into three classes: cytological, histological, and immunohistochemical. Initial samples of biomedical images are very small. Getting training images is a challenging and expensive process. A cytological training dataset was used for the experiments. The article considers the most common architectures of generative adversarial networks such as Deep Convolutional GAN (DCGAN), Wasserstein GAN (WGAN),Wasserstein GAN with gradient penalty (WGAN-GP), Boundary-seeking GAN (BGAN), Boundary equilibrium GAN (BEGAN). A typical GAN network architecture consists of a generator and discriminator. The generator and discriminator are based on the CNN network architecture. The algorithm of deep learning for image synthesis with the help of generative adversarial networks is analyzed in the work. During the experiments, the following problems were solved. To increase the initial number of training data to the dataset applied a set of affine transformations: mapping, parallel transfer, shift, scaling, etc. Each of the architectures was trained for a certain number of iterations. The selected architectures were compared by the training time and image quality based on FID (Freshet Inception Distance) metric. The experiments were implemented in Python language. Pytorch was used as a machine learning framework. Based on the used software a prototype software module for the synthesis of cytological images was developed. Synthesis of cytological images was performed on the basis of DCGAN, WGAN, WGAN-GP, BGAN, BEGAN architectures. Google's online environment called Collaboratory was used for the experiments using Nvidia Tesla K80 graphics processor.

У статті проаналізовано та здійснено порівняння архітектур генеративно-змагальних мереж. Ці мережі будуються на основі згорткових нейронних мереж, що широко застосовуються для задач класифікації. Згорткові мережі вимагають великої кількості навчальних даних, щоб досягнути потрібної точності. У роботі генеративно-змагальні мережі використано для синтезу біомедичних зображень. Біомедичні зображення широко застосовуються в медицині, особливо в онкології. Для постановки діагнозу в онкології біомедичні зображення поділяються на три класи: цитологічні, гістологічні та імуногістохімічні. Начальні вибірки біомедичних зображень є дуже малими. Отримання навчальних зображень є складним і дорогим процесом. Для експериментів використано навчальну вибірку цитологічних зображень. В статті розглянуто найбільш розповсюджені архітектури генеративно-змагальних мереж, такі як DCGAN, WGAN, WGAN-GP, BGAN, BEGAN. Типова архітектура GAN мережі складається із генератора та дискримінатора. В основі генератора та дискримінатора лежить архітектура CNN мережі. . У роботі проаналізовано алгоритм глибокого навчання для синтезу зображень за допомогою генеративнозмагальних мереж. Під час експериментів розв’язано такі задачі. Для збільшення початкової кількості навчальних даних у вибірці застосовано множину афінних перетворень: відображення, паралельний перенос, зсув, масштабування тощо. Кожна з архітектур навчалася протягом визначеної кількості ітерації. Обрані архітектури були порівняні за часом навчання та якістю зображень на основі FID (Frechet Inception Distance) метрики. Для експериментів використано мову програмування Python і фреймворк для машинного навчання Pytorch. На основі використаних технологій розроблено прототип програмного модуля для синтезу цитологічних зображень. Синтез цитологічних зображень проведено на основі DCGAN, WGAN, WGAN-GP, BGAN, BEGAN архітектур. Для проведення експериментів було використано онлайн середовище Google Colaboratory із використанням графічного процесора Nvidia Tesla K80.