Reducing cloud infrastructure costs through task management

Abstract

Перехід все більшої кількості підприємств від своєї обчислювальної інфраструктури в хмари обумовлений зменшен-ням витрат на її підтримку, найширшими можливостями по масштабуванню, наявністю великої кількості засобів автомати-зації діяльності. Відповідно хмарні провайдери надають все більшу кількість різноманітних засобів та інструментів для ро-боти у хмарах. У свою чергу, це породжує завдання раціонального вибору типів хмарних послуг відповідно до особливостей розв'язуванихзавдань. Одним із найпопулярніших напрямів зусиль споживачів хмарних сервісів є зменшення витрат на оренду. Основною базою цього напряму є використання спотових ресурсів. У статті запропоновано методику зменшення витрат на оренду обчислювальних ресурсів ухмарі за рахунок динамічного управління розміщенням обчислювальних за-вдань, яке враховує можливе недозавантаження планових ресурсів, прогноз появи спотових ресурсів та вартості на них. Для кожної задачі формується вектор стану, що враховує тривалість виконання завдання та необхідний граничний термін вико-нання. Для відповіднихнаборівобчислювальних ресурсів формуються векторапрогнозу доступності на заданому часовому інтервалі, рахуючи від поточного моменту часу. Методика пропонує прораховувати в кожен дискретний момент часу най-більш раціональний варіант розміщення задачі на одному з ресурсів та затримку запуску задачі на ньому. Варіант розмі-щення та затримки запуску визначаються шляхом мінімізації функції вартості оренди на тимчасовому інтервалі за допомо-гою генетичного алгоритму. Однією з особливостей використання спотових ресурсів є аукціонний механізм їх надання хма-рним провайдером. Це означає, що якщо є кращі пропозиції ціни оренди від будь-якого споживача, то провайдер може по-передити вас про відключення ресурсу і зробити це відключення через оголошений час. Для мінімізації наслідків від такого відключення методика передбачає попередню підготовку завдань шляхом розбиття їх на підетапи з можливістю швидкого збереження поточних результатів у пам'яті та подальшого перезапуску з місця зупинки. Крім цього, для збільшення ймовір-ності того, що завдання не буде перервано, використовується прогноз ціни на типи ресурсів, що використовуються, і на аукціон хмарного провайдера пропонується дещо завищена ціна, порівняно з прогнозом. На прикладі використання середо-вища Elastic Cloud Computing (EC2) хмарного провайдера AWS показана ефективність запропонованої методики.

The transition of more and more companies from their own computing infrastructure to the clouds is due to a decrease in the cost of maintaining it, the broadest scalability, and thepresence of a large number of tools for automating activities. Accordingly, cloud providers provide an increasing number of different computing resourcesand tools for working in the clouds. In turn, this gives rise to the problem of the rational choice of the types of cloud services in accordance with the peculiarities of the tasks to be solved. One of the most popular areas of effort for cloud consumers is to reduce rental costs. The main base of this direction is theuse of spot resources. The article proposes a method for reducing the cost of renting computing resources in the cloud by dynamically managing the placement of computational tasks, which takes into account the possible underutilization of planned resources, the forecast of the appearance of spot resources and their cost. For each task, a state vector is generated that takes into account the duration of the task and the required deadline. Accordingly, for a suitable set of computing resources, an availability forecast vectorsareformed at a given time interval, counting from the current moment in time. The technique proposes to calculate at each discrete moment of time the most rational option for placing the task on one of the resources and the delay in starting the task on it. The placementoption and launch delays are determined by minimizing the rental cost function over the time interval using a genetic algorithm. One of the fea-tures of using spot resources is the auction mechanism for their provision by a cloud provider. This means that if there are more pref-erable rental prices from any consumer, then the provider can warn you about the disconnection of the resource and make this dis-connection after the announced time. To minimize the consequences of such a shutdown, the technique involves preliminary prepara-tion of tasks by dividing them into substages with the ability to quickly save the current results in memory and then restartfrom the point of stop. In addition, to increase the likelihood that the task will not be interrupted, a price forecast for the types of resources used is used and a slightly higher price is offered for the auction of the cloud provider, compared to the forecast. Using the example of using the Elastic Cloud Computing (EC2) environment of the cloud provider AWS, the effectiveness of the proposed method is shown.