CIPerf: a benchmark for continuous integration services performance and cost analysis

Abstract

Continuous Integration is a crucial practice in modern software development, enabling teams to automate the process of building, testing, and merging code increments to ensure continuous delivery of high-quality software. Despite its growing adoption, the cost and performance of Continuous Integration services often go unexamined in sufficient detail. This paper presents CIPerf, a comprehensive benchmark designed to analyze both the performance and cost of cloud-based and self-hosted Continuous Integration services. The study centers on a comparison between two specific services: Bitbucket Pipelines, a cloud-based offering by Atlassian, and Hetzner, a self-hosted solution. By focusing on these platforms, the research aims to provide practical insights into the real-world costs and execution performance of Continuous Integration services. To achieve this, CIPerf conducted automated tests on an hourly basis over a two-month period, measuring critical timeframes such as resource provisioning, environment setup, and the actual test execution times. The results showed significant differences in both the cost efficiency and the consistency of performance between the two services. For instance, Bitbucket Pipelines, while convenient in its cloud-based offering, demonstrated higher variability in provisioning times compared to the stable, predictable performance of Hetzner’s self-hosted environment. The analysis also explored how these performance metrics influence key software development metrics, including deployment frequency and developer productivity. CIPerf provides a clear methodology for developers and organizations to objectively assess their Continuous Integration service options, ultimately helping them optimize their workflows. Moreover, this benchmark can serve as an ongoing tool to monitor service performance over time, identifying potential degradations or improvements in service quality, thus offering longterm value for teams that rely on Continuous Integration for their development processes.

Безперервна інтеграція є важливою практикою в сучасній розробці програмного забезпечення, що дозволяє командам автоматизувати процес збирання, тестування та злиття кодових змін, забезпечуючи безперервну доставку високоякісного програмного забезпечення. Незважаючи на її зростаюче впровадження, вартість та продуктивність сервісів безперервної інтеграції часто залишаються недостатньо вивченими. У цій статті представлено CIPerf — комплексний бенчмарк, розроблений для аналізу як продуктивності, так і вартості хмарних та локальних сервісів безперервної інтеграції. Дослідження зосереджене на порівнянні двох конкретних сервісів: Bitbucket Pipelines, хмарного сервісу від Atlassian, та Hetzner, локального рішення. Зосереджуючись на цих платформах, дослідження має на меті надати практичні висновки щодо реальних витрат і продуктивності виконання завдань у сервісах безперервної інтеграції. Для досягнення цієї мети CIPerf проводив автоматизовані тести щогодини протягом двомісячного періоду, вимірюючи ключові часові інтервали, такі як виділення ресурсів, налаштування середовища та фактичний час виконання тестів. Результати показали суттєві відмінності як у вартості, так і в стабільності продуктивності між двома сервісами. Наприклад, Bitbucket Pipelines, незважаючи на зручність хмарного сервісу, демонстрував більшу варіативність часу виділення ресурсів порівняно зі стабільною, передбачуваною продуктивністю локального середовища Hetzner. Аналіз також досліджував, як ці показники продуктивності впливають на ключові метрики розробки програмного забезпечення, включаючи частоту розгортання та продуктивність розробників. CIPerf пропонує чітку методологію для розробників та організацій, яка дозволяє об'єктивно оцінювати варіанти сервісів безперервної інтеграції, що в кінцевому підсумку допомагає оптимізувати їхні робочі процеси. Крім того, цей бенчмарк може служити постійним інструментом для моніторингу продуктивності сервісів з часом, виявляючи потенційне погіршення або покращення якості сервісу, надаючи таким чином довгострокову цінність для команд, що залежать від безперервної інтеграції у своїх процесах розробки.