Image buffering in application specific processors

Abstract

In many digital image-processing applications, which are implemented in field programmable gate arrays, the currently processed image's frames are stored in external dynamic memory. The performance of such an application depends on the dynamic memory speed and the necessary requests quantity during algorithm’s runtime. This performance is being optimized through field programmable gate arrays - implemented buffer memory usage. But there is no common method for the formal buffer memory synthesis with preset throughput, input and output data sequence order and minimized hardware costs. In this article, the features of image input and processing based on Field Programmable Gate Array are considered. The methods of building buffer circuits in field programmable gate arrays, due to which the intensity of data exchanges with external memory is reduced, are analyzed. The method of synthesizing pipeline circuits with specified performance characteristics and the data sequence order is given, which is based on the mapping of the spatial synchronous data flows into the structure implemented in the field programmable gate arrays. A method of designing buffer schemes is proposed, which is based on the mapping of spatial synchronous data flows into local memory in the form of chains of pipeline registers. The method helps to organize the data flow of at the input of built-in pipeline units of image processing, in which the data follow in a given order, and to minimize the amount of buffer memory. The method ensures the use of dynamically adjustable register delays built into the field programmable gate arrays, which increases the efficiency of buffering. This method was tested during the development of an intelligent video camera. The embedded hardware implements a video image compression algorithm with a wide dynamic range according to the Retinex algorithm. The same time it selects characteristic points in the image for the further pattern recognition. At the same time, multiple decimation of the frame is performed. Due to the multirate buffering of the image in the field programmable gate arrays, it was possible to avoid using of external dynamic memory.

У багатьох застосунках для цифрової обробки зображень, які реалізовані у програмованих логічних інтегральних схемах, кадри зображення, що обробляються, зберігаються у зовнішній динамічній пам’яті. Продуктивність такого застосунку залежить від швидкодії динамічної пам’яті та необхідної кількості звертань до неї під час виконання алгоритму. Ця продуктивність оптимізується завдяки використанню буферної пам’яті, яка реалізована у програмованих логічних інтегральних схемах. Але не існує загального методу, який би дав змогу формально синтезувати буферну пам’ять з заданими пропускною здатністю, порядком слідування вхідних і вихідних даних та мінімізованими апаратними витратами. В роботі розглядаються особливості вводу й обробки зображень у спеціалізованих процесорах на базі програмованих логічних інтегральних схемах. Аналізуються методи побудови буферних схем у програмованих логічних інтегральних схемах, завдяки яким зменшується інтенсивність обмінів даними з зовнішньою пам’яттю. Приводиться метод синтезу конвеєрних схем з заданими характеристиками продуктивності та порядком слідування даних, який ґрунтується на відображенні просторового графу синхронних потоків даних у структуру, що реалізована в програмованих логічних інтегральних схемах. Запропонований метод проектування буферних схем, який заснований на відображенні просторового графу синхронних потоків даних у локальну пам’ять у вигляді ланцюжків конвеєрних регістрів. Метод дає змогу організувати потік вхідних даних на вхід вбудованих конвеєрних блоків обробки зображень, в якому дані слідують у заданому порядку, а також мінімізувати об’єм буферної пам’яті. Метод забезпечує використання в програмованих логічних інтегральних схемах вбудованих динамічно регульованих регістрових затримок, що підвищує ефективність буферизації. Метод було перевірено при розробці інтелектуальної відеокамери, яка виконує алгоритм стиснення відеозображення з широким динамічним діапазоном за алгоритмом Retinex і одночасно виділяє характерні точки у зображенні для подальшого розпізнавання образів. При цьому виконується багатократна децимація кадра. Завдяки багатократній буферизації зображення у програмованих логічних інтегральних схемах, вдалось уникнути застосування зовнішньої динамічної пам’яті.