Scalable Data Stream Processing in Heterogeneous Environments

Defense type
Thesis
Starting date
End date
Room
Salle Pétri/Turing
Speaker
Khaled ARSALANE (Magellan)
Theme

 

Résumé :

Le traitement de flux de données (DSP) dans le continuum edge-cloud hétérogène présente des défis majeurs. L’explosion des applications IoT génère des volumes de données sans précédent nécessitant un traitement en quasi-temps réel. Le continuum edge-cloud étend les infrastructures cloud traditionnelles en intégrant des nœuds de calcul de capacités diverses, introduisant une hétérogénéité réseau et de calcul. Les systèmes DSP comme Apache Flink rencontrent des obstacles spécifiques : déséquilibres de flux, variabilité des performances, et complexité du placement d’opérateurs. Nous analysons l’impact de l’hétérogénéité réseau et de calcul sur les performances DSP, et présentons un environnement d’évaluation pour systèmes DSP hétérogènes. Ces contributions visent à améliorer la compréhension des dynamiques complexes et fournir les bases pour exploiter efficacement le traitement géo-distribué.

Abstract :

Data Stream Processing (DSP) in the heterogeneous edge-cloud continuum presents major challenges. The explosion of IoT applications generates unprecedented data volumes requiring near real-time processing. The edge-cloud continuum extends traditional cloud infrastructures by integrating computing nodes of diverse capacities, introducing network and compute heterogeneity. DSP systems such as Apache Flink encounter specific obstacles: flow imbalances, performance variability, and operator placement complexity. We analyze the impact of network and compute heterogeneity on DSP performance, and present an evaluation environment for heterogeneous DSP systems. These contributions aim to improve understanding of complex dynamics and provide foundations for effectively exploiting geo-distributed processing.

Composition of the jury
Fabrice HUET Professeur des Universités, Univ. Nice Sophia Antipolis
Christian PEREZ Directeur de recherche, Inria
Martin QUINSON Professeur des Universités, ENS Rennes
Françoise SAILHAN Professeure, IMT Atlantique
Dir. de thèse : Guillaume PIERRE Professeur des Universités, Université de Rennes