Empirical Foundations for Energy-Efficient Distributed Streaming Infrastructure

Résumé :

Les centres de données consomment plus de 400\, TWh d'électricité par an, un chiffre qui devrait presque doubler d'ici 2030.

Les brokers de messages distribués, tels qu'Apache Kafka, constituent le socle des infrastructures modernes de streaming.

Parce qu'ils sont des systèmes avec état et qu'ils sont difficiles à redimensionner dynamiquement, les opérateurs surdimensionnent souvent le matériel afin de garantir les performances, ce qui entraîne un gaspillage énergétique évitable.

Cette thèse établit les fondements méthodologiques et empiriques d'un dimensionnement éco-énergétique des brokers de messages distribués.

Nous introduisons GreenFlow, un cadre permettant d'orchestrer des expérimentations reproductibles sur infrastructure bare-metal, avec instrumentation énergétique.

Nous réalisons une caractérisation systématique d'Apache Kafka et de Redpanda sur trois types de supports de stockage (HDD, SSD, NVMe), montrant que le stockage est le principal facteur déterminant du débit soutenable et que les deux systèmes présentent des comportements énergétiques nettement différents.

Ces résultats sont synthétisés sous la forme d'un modèle de dimensionnement fondé sur une phase de calibration, validé sur une configuration matérielle non vue lors de la calibration, puis traduits en recommandations concrètes pour le déploiement.

Abstract :

Data centers consume over 400\, TWh of electricity annually a figure projected to nearly double by 2030.

Distributed message brokers such as Apache Kafka form the persistent backbone of modern streaming infrastructure.

Because brokers are stateful and difficult to rescale, operators over-provision hardware to guarantee performance, resulting in avoidable energy waste.

This thesis establishes the methodological and empirical foundations for energy-aware capacity planning of distributed message brokers.

We introduce GreenFlow, a framework for orchestrating reproducible, energy-instrumented experiments on bare-metal infrastructure.

We conduct the first systematic characterization of Apache Kafka and Redpanda across three hardware generations (HDD, SSD, NVMe), revealing that storage technology dominates throughput and that the two frameworks exhibit fundamentally different energy scaling behaviors.

These findings are synthesized into a calibration-based right-sizing model validated on previously unseen hardware, and translated into actionable  deployment recommendations.