Ky fan norm application for video segmentation

Abstract

This article presents results of applying the Ky Fan norm in the context of solving the problem of video segmentation. Since the task of video analysis can be considered as analysis of the sequence of images, it was decided to find a way to formalize the description of the video frame using the mathematical apparatus of non-square matrices. When choosing a method, particular attention was paid precisely to universality with respect to the dimension of the initial data due to the technical characteristics and nature of the video data - video frames are matrices of arbitrary dimension. The ability to skip the step of matrix transformation to square dimension, or vectorization using some descriptor allows you to reduce computational costs required for this transformation. It was decided to use the value of the Ky Fan norm as an image descriptor, since it is built on top of matrix singular values. As it is known, singular values are calculated during the singular decomposition of the matrix and can be used, among other features, to reduce the dimension of the source data. A singular decomposition does not impose restrictions on either the dimension or the character of the elements of the original matrix. In addition, it can be used to derive other matrix decompositions with required characteristics. A comparative analysis of the effectiveness of the obtained descriptor was carried out in the case of using the k-norm and 1-norm, which showed that the 1-norm allows us to identify the most significant changes in the scene, while k -norm is able to detect minor. In other words, depending on the context of the source video data and the scope of the developed application, it is possible to configure the sensitivity of the application to a change in the scene by varying the number of singular values involved. The decision about the presence of changes in the context of video scene is made based on a comparison of descriptors of two consecutive images, that is, the values of the Ky Fan norm.

У даній статті розглянуто результати застосування норми Ki Фана у контексті рішення задачi сегментації відеоданих. Оскільки задача аналізу відео зводиться до аналізу послідовності зображень, було прийнято рішення знайти спосіб формалізації опису відеокадру з використанням математичного апарату неквадратних матриць. При виборі методу ретельна увага приділялася саме універсальності по відношенню до розмірності вихідних даних, зважаючи на технічні характеристики відеоданих - відеокадри є матриці довільної розмірності. Можливість пропустити крок приведення матриці до квадратної, або векторизації за допомогою деякого дескриптора дозволяє знизити обчислювальні витрати, визволяючи ресурси, необхідних для цього перетворення. Було прийнято рішення використовувати в якості дескриптора зображення значення норми Кі Фана, оскільки вона побудована на основі сингулярних чисел матриці. Як відомо, сингулярні числа отримуються в ході сингулярного розкладання матриці і можуть бути використані для зниження розмірності вихідних даних. Сингулярний розклад не має обмежень ні до розмірності ні до характеру елементів вихідної матриці. Крім того, він може бути використан для приведення до інших матричних розкладань, що мають необхідні характеристики. Був проведений порівняльний аналіз ефективності отриманого дескриптора в разі використання k-норми і 1-норми, який показав, що 1-норма дозволяє виявляти найбільш суттєві зміни сцени, в той час як kнорма здатна детектувати і незначні. Іншими словами, в залежності від характеру вихідних відеоданих та сфери застосування розробленого додатку, є можливість задавати чутливість до зміни сцени, варіюючи кількість задіяних сингулярних чисел. Рішення про наявність змін в контексті сцени відеокадру приймається на основі порівняння дескрипторів, тобто значення норми Кі Фана, двох послідовних зображень

В данной статье представлены результаты применения нормы Kи Фан в контексте решения задачи сегментации видеоданных. Поскольку задача анализа видео сводится к анализу последовательности изображений, было принято решение найти способ формализации описания видеокадра с использованием математического аппарата неквадратных матриц. При выборе метода особое внимание уделялось именно универсальности по отношению к размерности исходных данных ввиду технических характеристик и природы видеоданных – видеокадры представляют собой матрицы произвольной размерности. Возможность пропустить шаг приведения матрицы к квадратной, либо векторизации с помощью некоторого дескриптора, позволяет снизить вычислительные расходы, освобождая ресурсы, необходимые для этого преобразования. Было принято решение использовать в качестве дескриптора изображения значение нормы Ки Фана, поскольку она построена на основе сингулярных чисел матрицы. Как известно, сингулярные числа вычисляются в ходе сингулярного разложения матрицы и могут быть использованы, в числе прочего, для снижения размерности исходных данных. Сингулярное разложение не налагает ограничений ни на размерность ни на характер элементов исходной матрицы. Кроме того, оно может быть использовано для приведения к другим матричным разложениям, обладающими необходимыми характеристиками. Был проведен сравнительный анализ эффективности полученного дескриптора в случае использования k-нормы и 1-нормы, который показал, что 1-норма позволяет выявлять наиболее существенные изменения сцены, в то время как k-норма способна детектировать и незначительные. Другими словами, в зависимости от характера исходных видеоданных и сферы применения разработанного приложения, есть возможность задавать чувствительность приложения к изменению сцены, варьируя количество задействованных сингулярных чисел. Решение о наличии изменений в контексте сцены видеокадра принимается на основе сравнения дескрипторов, то есть значения нормы Ки Фана, двух последовательных изображений.