Avec le cloud computing devenant de plus en plus attrayant (456,05 milliards de dollars de revenus en août 2022), l'énergie utilisée par les centres de données à travers le monde a considérablement augmenté ces dernières années, atteignant jusqu'à 4 % de la consommation énergétique totale de la Terre en juin 2022. Cela a conduit à pointer du doigt les centres de données des fournisseurs de cloud en raison des effets potentiels sur le réchauffement climatique.
Dans un effort pour réduire l'énergie utilisée par un serveur, les fabricants de matériel informatique tels qu'Intel et AMD ont introduit différents modes de fonctionnement au sein des cœurs d'exécution de leurs CPU. Ces cœurs peuvent avoir différents modes d'exécution avec des fréquences associées, caractérisées par leurs niveaux de performance. Par exemple, certains cœurs Intel ont des modes {P,E,C} où le P représente les performances - favorisant les performances au détriment de la consommation d'énergie accrue, tandis que le C représente le repos - faible performance (ou même inactif) pour économiser de l'énergie. Passer d'un mode à un autre est possible grâce à des interfaces fournies par les fabricants de matériel, exploitées par un composant spécifique dans les systèmes d'exploitation appelé gouverneur.
Un gouverneur est chargé de déclencher des changements de mode du CPU en fonction de la charge du système et d'algorithmes prédéfinis favorisant les performances ou les économies d'énergie. Plusieurs travaux de recherche et rapports industriels ont montré comment les gouverneurs peuvent être utilisés pour améliorer les applications sur les systèmes d'exploitation tout en réduisant la consommation d'énergie. Cependant, dans les centres de données, la virtualisation est massivement utilisée pour garantir l'efficacité de l'utilisation des ressources et imposer leur isolation. Concrètement, les fournisseurs de Cloud utilisent des unités d'isolation spécialisées telles que les machines virtuelles (VM) ou les microVM (comme les microVM d'Amazon avec Firecracker ou les katacontainers) comme environnement d'exécution en fonction des besoins en isolation et en réactivité.
Cependant, les VM sont perçues comme des boîtes noires par le système de virtualisation hôte, elles sont toujours considérées comme en cours d'exécution même si les processus à l'intérieur sont inactifs (en attente d'un événement, en pause ou arrêtés). Cela entraîne une comptabilisation incorrecte de la charge sur le serveur et amène le CPU à passer à un état qui utilise plus d'énergie que nécessaire, ce qui entraîne un gaspillage d'énergie, d'autant plus conséquent si l'on considère la taille du centre de données dans son ensemble. A titre d'example, des fournisseurs de cloud comme Amazon (AWS), Microsoft (Azure), ou Google (GCP) gèrent des millions de VMs dans leurs centres de données.
En conséquence, l'objectif da la thèse GREENETIC est de concevoir des gouverneurs intelligents capable de résoudre la gestion sous-optimale de l'énergie des VM inactives dans les centres de données.
Dans cette thèse, nous proposons de concevoir des gouverneurs intelligents pour résoudre la gestion sous-optimale de l'énergie des VM inactives dans le Cloud. L'objectif principal est d'identifier les périodes d'inactivité des VM, et de ne pas prendre en compte cette période d'inactivité dans le calcul du mode d'execution du CPU à utiliser. Les objectifs de GREENETIC sont: (i) la genericité : la solution doit être suffisamment générique pour être appliqué aux systèmes de virtualisation les plus courants, et (ii) la non-intrusion : la solution ne doit pas nécessiter l'exécution de code spécifique dans les VMs des utilisateurs pour favoriser son adoption par les fournisseurs de Cloud.
En d'autres terme, GREENETIC permettra d'améliorer la compréhension théorique des effets des VM inactives sur le gouverneur hôte (et la consommation électrique de l'hôte). Il développera également des techniques pratiques pour atténuer ces effets, débloquant ainsi tout le potentiel des fréquences d'horloge adaptatives du CPU. Dans ce contexte, les travaux de la thèse inclus :
- Une étude empirique détaillée des scénarios où les gouverneurs des systèmes de virtualisation sont sous-optimaux (ou leur absence);
- Un ensemble d'outils de profilage permettant de récupérer des données essentielles sur les VM à partir des composants matériels et des systèmes de virtualisation en cours d'exécution, avec un impact négligeable ;
- Un cadre permettant de manipuler en toute sécurité l'inférence et d'enrichir l'ordonnanceur du système de virtualisation pour une meilleure gestion de l'énergie, pouvant être personnalisé pour différentes architectures de CPU ;
- Une évaluation des prototypes à l'aide de plates-formes et de charges de travail cloud réalistes, évaluant la précision, la sécurité et les performances des techniques proposées, ainsi que leur impact sur l'utilisation de l'énergie dans les centres de données.
[1] Report Linker. The global cloud computing market grew usd 923.46 billion by 2027, at a
cagr of 15.14%. https://www.globenewswire.com/news-release/2022/08/10/2495864/0/en/
The-Global-Cloud-Computing-Market-grew-USD-923-46-billion-by-2027-at-a-CAGR-of-15-14.
html.
[2] Engie. Data center energy consumption: A global challenge. https://www.engie.com/en/
campaign/green-data-centers.
[3] Ki-Dong Kang, Gyeongseo Park, Hyosang Kim, Mohammad Alian, Nam Sung Kim, and Daehoon Kim.
Nmap: Power management based on network packet processing mode transition for latency-critical
workloads. In MICRO-54: 54th Annual IEEE/ACM International Symposium on Microarchitecture,
MICRO ’21, page 143–154, New York, NY, USA, 2021. Association for Computing Machinery.
[4] Kei Fujimoto, Hikaru Harasawa, Ko Natori, Ikuo Otani, Shogo Saito, and Akinori Shiraga. Pwu: Pre-
wakeup for cpu idle to reduce latency and power consumption. In 2022 International Conference on
Software, Telecommunications and Computer Networks (SoftCOM), pages 1–6, 2022.
[5] Jurn-Gyu Park, Chen-Ying Hsieh, Nikil Dutt, and Sung-Soo Lim. Co-cap: Energy-efficient cooperative
cpu-gpu frequency capping for mobile games. In Proceedings of the 31st Annual ACM Symposium on
Applied Computing, SAC ’16, page 1717–1723, New York, NY, USA, 2016. Association for Computing
Machinery.
[6] Esmail Asyabi, Azer Bestavros, Erfan Sharafzadeh, and Timothy Zhu. Peafowl: In-application cpu
scheduling to reduce power consumption of in-memory key-value stores. In Proceedings of the
11th ACM Symposium on Cloud Computing, SoCC ’20, page 150–164, New York, NY, USA, 2020.
Association for Computing Machinery.
[7] Ki-Dong Kang, Hyungwon Park, Gyeongseo Park, and Daehoon Kim. Co-adjusting voltage/frequency
state and interrupt rate for improving energy-efficiency of latency-critical applications. IEEE Access,
8:201028–201039, 2020.
[8] Mark Weiser, Brent Welch, Alan Demers, and Scott Shenker. Scheduling for reduced cpu energy. In
Mobile Computing, pages 449–471. Springer, 1994.
[9] Alexandru Agache, Marc Brooker, Alexandra Iordache, Anthony Liguori, Rolf Neugebauer, Phil
Piwonka, and Diana-Maria Popa. Firecracker: Lightweight virtualization for serverless applications.
In 17th USENIX symposium on networked systems design and implementation (NSDI 20), pages
419–434, 2020.
[10] Alessandro Randazzo and Ilenia Tinnirello. Kata containers: An emerging architecture for enabling
mec services in fast and secure way. In 2019 Sixth International Conference on Internet of Things:
Systems, Management and Security (IOTSMS), pages 209–214. IEEE, 2019.
[11] Reports and Data. Ict - function-as-a-service (faas) market. https://www.reportsanddata.com/
report-detail/function-as-a-service-faas-market, 01 2020.
[12] Mohammad Shahrad, Rodrigo Fonseca, ́I ̃nigo Goiri, Gohar Chaudhry, Paul Batum, Jason Cooke,
Eduardo Laureano, Colby Tresness, Mark Russinovich, and Ricardo Bianchini. Serverless in the wild:
Characterizing and optimizing the serverless workload at a large cloud provider. In 2020 USENIX
Annual Technical Conference (USENIX ATC 20), pages 205–218, 2020.
[13] Fangkai Yang, Bowen Pang, Jue Zhang, Bo Qiao, Lu Wang, Camille Couturier, Chetan Bansal,
Soumya Ram, Si Qin, Zhen Ma, ́I ̃nigo Goiri, Eli Cortez, Senthil Baladhandayutham, Victor R ̈uhle,
Saravan Rajmohan, Qingwei Lin, and Dongmei Zhang. Spot virtual machine eviction prediction in
microsoft cloud. In Companion Proceedings of the Web Conference 2022, WWW ’22, page 152–156,
New York, NY, USA, 2022. Association for Computing Machinery.
[14] Yawen Wang, Kapil Arya, Marios Kogias, Manohar Vanga, Aditya Bhandari, Neeraja J. Yadwadkar,
Siddhartha Sen, Sameh Elnikety, Christos Kozyrakis, and Ricardo Bianchini. Smartharvest: Harvesting
idle cpus safely and efficiently in the cloud. In Proceedings of the Sixteenth European Conference on
Computer Systems, EuroSys ’21, page 1–16, New York, NY, USA, 2021. Association for Computing
Machinery.
[15] Alexander Fuerst, Stanko Novakovi ́c, ́I ̃nigo Goiri, Gohar Irfan Chaudhry, Prateek Sharma, Kapil Arya,
Kevin Broas, Eugene Bak, Mehmet Iyigun, and Ricardo Bianchini. Memory-harvesting vms in cloud
platforms. In Proceedings of the 27th ACM International Conference on Architectural Support for
Programming Languages and Operating Systems, ASPLOS ’22, page 583–594, New York, NY, USA,
2022. Association for Computing Machinery.
[16] Eduardo Rosales, Germ ́an Sotelo, Antonio de la Vega, C ́esar O D ́ıaz, Carlos E G ́omez, and Harold
Castro. Harvesting idle cpu resources for desktop grid computing while limiting the slowdown
generated to end-users. Cluster Computing, 18(4):1331–1350, 2015.
[17] Yanqi Zhang, ́I ̃nigo Goiri, Gohar Irfan Chaudhry, Rodrigo Fonseca, Sameh Elnikety, Christina
Delimitrou, and Ricardo Bianchini. Faster and Cheaper Serverless Computing on Harvested Resources,
page 724–739. Association for Computing Machinery, New York, NY, USA, 2021.
[18] Hanfei Yu, Hao Wang, Jian Li, Xu Yuan, and Seung-Jong Park. Accelerating serverless computing
by harvesting idle resources. In Proceedings of the ACM Web Conference 2022, WWW ’22, page
1741–1751, New York, NY, USA, 2022. Association for Computing Machinery.
[19] Intel. 12th generation intel® core™ processors. https://edc.intel.com/content/www/us/en/
design/ipla/software-development-platforms/client/platforms/alder-lake-desktop/
12th-generation-intel-core-processors-datasheet-volume-1-of-2/002/
intel-speed-shift-technology/.
[20] AMD. Amd smartshift technology. https://www.amd.com/en/technologies/smartshift.
[21] Weiwei Jia, Cheng Wang, Xusheng Chen, Jianchen Shan, Xiaowei Shang, Heming Cui, Xiaoning
Ding, Luwei Cheng, Francis C. M. Lau, Yuexuan Wang, and Yuangang Wang. Effectively mitigating
i/o inactivity in vcpu scheduling. In 2018 USENIX Annual Technical Conference (USENIX ATC 18),
pages 267–280, Boston, MA, July 2018. USENIX Association.
[22] Kun Suo, Yong Zhao, Jia Rao, Luwei Cheng, Xiaobo Zhou, and Francis C. M. Lau. Preserving i/o
prioritization in virtualized oses. In Proceedings of the 2017 Symposium on Cloud Computing, SoCC
’17, page 269–281, New York, NY, USA, 2017. Association for Computing Machinery.
[23] Weiwei Jia, Jianchen Shan, Tsz On Li, Xiaowei Shang, Heming Cui, and Xiaoning Ding. vsmt-io:
Improving i/o performance and efficiency on SMT processors in virtualized clouds. In 2020 USENIX
Annual Technical Conference (USENIX ATC 20), pages 449–463. USENIX Association, July 2020.
[24] Boris Teabe, Vlad Nitu, Alain Tchana, and Daniel Hagimont. The lock holder and the lock waiter
pre-emption problems: Nip them in the bud using informed spinlocks (i-spinlock). In Proceedings of
the Twelfth European Conference on Computer Systems, EuroSys ’17, page 286–297, New York, NY,
USA, 2017. Association for Computing Machinery.
[25] Djob Mvondo, Antonio Barbalace, Alain Tchana, and Gilles Muller. Tell me when you are sleepy and
what may wake you up! In Proceedings of the ACM Symposium on Cloud Computing, SoCC ’21,
page 562–569, New York, NY, USA, 2021. Association for Computing Machinery.
[26] Bao Bui, Djob Mvondo, Boris Teabe, Kevin Jiokeng, Lavoisier Wapet, Alain Tchana, Ga ̈el Thomas,
Daniel Hagimont, Gilles Muller, and Noel DePalma. When extended para - virtualization (xpv) meets
numa. In Proceedings of the Fourteenth EuroSys Conference 2019, EuroSys ’19, New York, NY, USA,
2019. Association for Computing Machinery.
[27] Erfan Sharafzadeh, Seyed Alireza Sanaee Kohroudi, Esmail Asyabi, and Mohsen Sharifi. Yawn:
A cpu idle-state governor for datacenter applications. In Proceedings of the 10th ACM SIGOPS
Asia-Pacific Workshop on Systems, APSys ’19, page 91–98, New York, NY, USA, 2019. Association
for Computing Machinery.
[28] Emile Cadorel and Romain Rouvoy. Enabling dynamic virtual frequency scaling for virtual machines in
the cloud. In 2022 IEEE International Conference on Cluster Computing (CLUSTER), pages 336–346,
2022.
[29] Nathan Binkert, Bradford Beckmann, Gabriel Black, Steven K Reinhardt, Ali Saidi, Arkaprava Basu,
Joel Hestness, Derek R Hower, Tushar Krishna, Somayeh Sardashti, et al. The gem5 simulator. ACM
SIGARCH computer architecture news, 39(2):1–7, 2011.
[30] Kevin P Lawton. Bochs: A portable pc emulator for unix/x. Linux Journal, 1996(29es):7–es, 1996