Combinaison de représentations implicites et explicites pour la modélisation de la forme et de l'apparence 3D

(English version below)

Cette thèse aborde le défi de la reconstruction d’une géométrie 3D précise et modifiable ainsi qu’une apparence réaliste à partir d’entrées éparses, non calibrées ou bruitées, en combinant des représentations 3D implicites et explicites. Les champs de neurones implicites offrent une modélisation continue et flexible, mais présentent des limites en termes d'efficacité, de généralisation aux données éparses et d'interprétabilité structurelle. À l’inverse, les représentations explicites, telles que les maillages, permettent un rendu et une édition efficaces, mais dépendent d’une géométrie et d’une pose fiables. Cette thèse explore comment ces deux approches peuvent être adaptées et combinées pour permettre une reconstruction 3D évolutive, robuste et généralisable. Les champs implicites généralisables sont améliorés par la distillation de l’opacité à partir de NeRFs préentraînés vers des champs d’occupation, permettant l’extraction de géométrie sans optimisation en phase de test. Une formulation robuste de SDF est également proposée pour la reconstruction à partir de nuages de points bruités. Du côté explicite, une méthode de déformation de maillage est développée pour la reconstruction de formes humaines monoculaires, en exploitant des descripteurs pixel-alignés et des réseaux de neurones à graphes, ainsi qu’un rendu neuronal combinant une géométrie proxy avec des descripteurs conditionnés par la vue. En outre, cette thèse introduit une méthode généralisable de 2D Gaussian Splatting pour la synthèse de vues à partir d’images éparses, ainsi qu’un pipeline de reconstruction sans pose, spécifique à une scène, qui estime conjointement la géométrie et les poses caméra en utilisant le 2D Gaussian Splatting et des priors 3D. Ces contributions unifient la flexibilité des représentations neuronales avec la structure des modèles explicites pour une modélisation 3D pratique.

**********************************************************

Combining Implicit and Explicit Representations for Modeling 3D Shape and Appearance

This thesis addresses the challenge of reconstructing accurate, editable 3D geometry and realistic appearance from sparse, unposed, or noisy inputs by combining implicit and explicit 3D representations. Implicit neural fields offer flexible, continuous modeling but often struggle with efficiency, generalization to sparse data, and lack of structural interpretability, while explicit representations like meshes support efficient rendering and editing but depend on reliable geometry and pose information. This thesis explores how the two can be adapted and combined to enable scalable, robust, and generalizable 3D reconstruction. Generalizable implicit fields are improved by distilling opacity from pretrained NeRFs into occupancy fields, enabling geometry extraction without test-time optimization. A robust SDF formulation is proposed for reconstruction from noisy point clouds. For explicit modeling, a mesh deformation approach is developed for monocular human shape reconstruction using pixel-aligned features and graph neural networks, along with a neural rendering method that combines proxy geometry with view-conditioned descriptors. In addition, generalizable 2D Gaussian Splatting is introduced for sparse-view synthesis, and a scene-specific, pose-free reconstruction pipeline is proposed that jointly recovers geometry and camera poses using 2D Gaussian Splatting and 3D priors. These methods unify the flexibility of neural representations with the structure of explicit models for practical 3D modeling.