Виявлення фотопідробок, виконаних засобами нейронних мереж

Abstract

Глибоке навчання є ефективною та корисною технікою, яка широко застосовується в різних областях, включаючи комп’ютерний зір, машинний зір та обробку природної мови. Deepfake використовує технологію глибокого навчання, щоб маніпулювати зображеннями та відео людини, які люди не можуть відрізнити від реальних. Deepfake зазвичай створюють двома способами. Перший спосіб – за допомогою генеративної змагальної мережі, або GAN, яка використовує дві окремі нейронні мережі, які працюють разом, навчаючись вивчати характеристики реальних зображень, щоб вони могли створювати переконливі фотопідробки. Другий спосіб – за допомогою алгоритму штучного інтелекту (ШІ), який має назву інкодер і працює шляхом запуску знімків облич двох людей через інкодер для знаходження схожості між цими знімками та запуску декодера, який отримує зображення обличчя та міняє їх місцями. Досягнення в області Deepfake однаково вражають і турбують. У чужих руках ця технологія може бути використана для поширення дезінформації та підриву суспільної довіри майже як науково-фантастичний тип крадіжки особистих даних, коли ви можете змусити будь-кого сказати що завгодно. У зв’язку з цим можна констатувати, що задача детектування Deepfake є дуже важливою та потребує застосування нових для цієї галузі досліджень, розробки нових алгоритмів детектування Deepfake та вдосконалення вже існуючих методів. Отже, метою цієї роботи є створення системи виявлення порушень цілісності медіа файлів, виконаних за технологією Deepfake. В роботі виконано вибір нейронної мережі та її навчання на спеціально створеній базі, що дало можливість виявляти Deepfake як у цифрових зображеннях, так і в цифрових відеозаписах.

Deep learning is an effective and useful technique that is widely used in a variety of fields, including computer vision, machine vision, and natural language processing. Deepfake uses deep learning technology to manipulate images and videos of a person that people cannot distinguish from real ones. Deepfake is usually created in two ways. The first way is through a generative competition network, or GAN, which uses two separate neural networks that work together to learn how to study the characteristics of real images so that they can create compelling photo fakes. The second way is with an artificial intelligence (AI) algorithm called an encoder, which works by running pictures of two people's faces through an encoder to find similarities between those pictures and running a decoder that takes a face image and swaps them. The achievements in the field of Deepfake are equally impressive and disturbing. In someone else's hands, this technology can be used to spread misinformation and undermine public confidence almost as a sci-fi type of identity theft, when you can get anyone to say anything. In this regard, it can be stated that the task of Deepfake detection is very important and requires the application of new research in this area, the development of new algorithms for Deepfake detection and improvement of existing methods. Therefore, the purpose of this work is to create a system for detecting violations of the integrity of media files made by Deepfake technology. The work selected the neural network and its training on a specially created basis, which made it possible to detect Deepfake in both digital images and digital videos.