Organization of computations in clusters using transparent parallelizing principles

Abstract

Methods of consructing of the systems identification and recognition requirements significant computational resources and therefore require usage of parallel systems, such as clusters or computers with multiple processors or processors with multiple cores. In this paper cluster computing organization principles based on transparent parallelizing are considered. Questions that arise while implementing this technology as a parallel calculations framework are described. Described technology has been implemented as a framework on Java programming language. Architecture of such framework is shown and functionality of its parts is described. The concept of a value ID and the concept of an unready value ID have been proposed to implement the proposed principles. The ID of a value is an ID that should be assigned to each value that is used as input or output parameter of procedure. These assignments are cluster-wide and are used to replace sending parameter value with sending its ID. The same values are often used in different calls in parallel programs, so using IDs allows the framework to save traffic. IDs of unready values are created each time during a procedure call and are assigned to the output parameters of the procedure. They are used to get the value of parameter in the moment of the first access. Also they are passed to the server as a part of information about an order. When the execution of an order is finished, value IDs are obtained for values of output parameters of the order and these IDs are assigned to the corresponding IDs of unready values. RMI technology has been used to implement communication between server and clients. Also JDBC has been used to implement storing of final and intermediate computations results to external database. In this paper is to propose method of execution time characteristics analysis for parallel applications that have been created using the technology of orders based transparent parallelizing. Its efficiency has been proven by solving the problem of determination of diagnostic value of formed features diagnostics on a cluster of 2, 3, 5 and 10 computers. The result of multiplication of execution time by number of processors has grown by not more than 1.13% when using 2, 3 or 5 computers instead of one, and by not more than 3.25% when using 10 computers instead of one during this experiment. The closest analogue of offered approach is T-system.

Розглядаються принципи організації кластерних обчислень на основі технології транспарентного розпаралелювання, яка дозволяє для алгоритмів, реалізованих з використанням паралелізму завдань, достатньо легко переходити від існуючих послідовних програм до паралельних реалізацій, вносячи незначні зміни в код, так і в логіку роботи алгоритму прикладної задачі. Запропонована технологія реалізована у вигляді фреймворка на мові програмування Java. Наведено архітектуру фреймворку і описана функціональність його частин Розглянуто основні питання, що виникають при розробці інструментарію, так і при його практичному використанні. Пропонується метод аналізу часових характеристик виконання довільної прикладної задачі на однорідному досить великому кластері при використанні технології транспарентного розпаралелювання на онові замовлень. Eфективність технологіії підтверджується вирішенням задачі визначення діагностичної цінності формованих ознак на кластері з 2, 3, 5 і 10 комп’ютерів. Наведено порівняння пропонованої технології з найближчим аналогом –Т-системою.

Рассматриваются принципы организации кластерных вычислений на основе технологии транспарентного распараллеливания, которая позволяет для алгоритмов, реализованных с использованием параллелизма заданий, достаточно легко переходить от существующих последовательных программ к параллельным реализациям, внося незначительные изменения как в код, так и в логику работы алгоритма прикладной задачи. Предложенная технология реализована в виде фреймворка на языке программирования Java. Приведены архитектура фреймворка и описана функциональность его частей. Рассмотрены основные вопросы, возникающие при разработке инструментария, так и при его практическом использовании. Предлагается метод анализа временных характеристик выполнения произвольной прикладной задачи на однородном достаточно большом кластере при использовании технологии транспарентного распараллеливания создана на основе заказов. Эффективность технологии подтверждается решением задачи определения диагностической ценности формируемых признаков на кластере из 2, 3, 5 и 10 компьютеров. Приводится сравнение предлагаемой технологии с ближайшим аналогом – Т-системой.