Nouvelles interactions 3D et haptiques pour le patrimoine culturel

Récemment, il y a eu une augmentation remarquable de l’utilisation des méthodes et technologies numériques interactives (réalité virtuelle, réalité augmentée) faisant coexister réel et virtuel en particulier pour le patrimoine culturel et pour archéologie (Nicolas 2015). Cependant, les stratégies actuelles mises en œuvre pour le patrimoine culturel utilisent principalement des dispositifs centrés sur le visuel.

Les dispositifs d'interaction haptiques procurent aux utilisateurs la sensation physique du toucher. Ces dispositifs simulent l'aspect retour de force de la sensation haptique en exerçant une réponse mécanique aux actions de l'utilisateur. Cette réponse permet aux objets virtuels d'être manipulés et touchés comme s'ils occupaient l'espace réel. Le retour de force, expérimenté en conjonction avec des modèles informatiques visuels 3D, peut fournir à l’utilisateur une simulation très réaliste des matériaux et des objets.

Les recherches et développements technologiques dans le domaine de la simulation haptique se généralisent dans le domaine industriel, de la formation médicale et chirurgicale. Malgré son intérêt, son usage dans la manipulation d’artefacts archéologiques est peu fréquent dans un but de recherche, de préservation, ou de valorisation du patrimoine culturel. Les rares expériences menées dans le cadre patrimonial ont concerné au-delà de la simple saisie/manipulation d’objet, ou leur éventuel remontage sur des études portant sur le rôle du retour haptique dans l'étude des objets archéologiques modélisé en 3D (Jamil et al. 2018), la simulation haptique en tant qu'outil de formation à la conservation (Geary 2004, Leuschke 2008), la simulation de fabrication de poterie (Matsumaru, Morikawa 2020), la mise en œuvre de nouveau outils d’interactions (manipulation virtuelle) avec du mobilier conservé dans des vitrines de musées (Brewster, 2001, Dima et al., 2014), ou plus proches d’application industrielles comme la manipulation de bras articulé de ROV pour l’exploration d’épaves sous-marines (Bruno et al. 2016, Mizera, 2019).

L’objectif de cette thèse qui est de concevoir de nouveaux outils d’interactions inclusif et pérennes avec des objets fragiles et non manipulables, des parties d’objet perdues ou détériorées, ou conservés dans des vitrines présente un nouveau paradigme d'interaction au-delà d’un ersatz que peut offrir une modélisation 3D ou à une impression 3d  en livrant des informations sensorielles plus riches sur l'artefact (forme mais aussi état de surface, nature des matériaux, poids), dans la collaboration à distance de chercheurs et également pour tous les publics dans le cadre d’exposition muséales (y compris déficients visuel).

Plus précisément, les questions scientifiques sous-jacentes à cette étude sur l’apport de la restitution haptique dans une approche multimodale de l’interaction avec des artefacts archéologiques, peuvent s’exprimer ainsi :

1. Précision de la restitution haptique : dans tous les cas de figure, un artéfact archéologique est un objet fragile qu’il convient de manipuler avec précaution (y compris dans un contexte de formation), il faudra donc proposer, sur le plan de l’interaction 3D, des métaphores d’interaction et de rendu hatique intégrant cette notion de « fragilité » et synthétisant à l’utilisateur les informations pertinentes concernant la bonne ou mauvaise gestion de ces contraintes. La définition d’un guide ou d’une aide « haptique » orienté « manipulation fine » pourrait répondre à ce point ;
2. Multimodalité : le couplage de la restitution haptique avec d’autres modalités de perception avec des artéfacts archéologiques va permettre dans, un contexte plus général, de proposer des transferts de modalité pour améliorer le point 1)
3. Modèle de restitution haptique : l’analyse des résultats obtenus aux pointe 1) et 2) conduira à proposer un modèle général d’interaction multimodal, intégrant l’haptique, dont le formalisme reste à déterminer pour lequel on pense qu’il pourrait s’intégrer dans une chaîne de développement d’application de réalité virtuelle orientée scénario (scénario qui dispose lui d’un formalisme connu). On pourrait imaginer que, si ces formalismes sont compatibles, on puisse disposer d’un outil puissant permettant de « raisonner » et « calculer » sur ces modèles.
4. Manipulation bi-manuelle : un dernier objectif qu’il serait opportun de traiter concerne le travail haptique bi-manuel. Être en mesure d’effectuer des manipulations à deux mains est encore très rare et l’extension des modèles proposés dans le point 3 à une double interaction haptique est un enjeu de taille. Il se trouve que nous disposons de l’équipement permettant de réaliser les expérimentations nécessaires dans notre environnement Immersia grâce au système Immersia Scale One (deux bras hatiques asservis sur la position de l’utilisateur))

Depuis plusieurs années, grâce au projet ANR INTROSPECT porté par l’INSA Rennes, nous sommes en étroite collaboration avec l’Inrap (Institut National de Recherches en Archéologie Préventives), des UMR en Archéologie comme le CREAAH (Rennes) et Trajectoires (Paris). Nous avons proposé des méthodes et dispositifs numériques de type réalité virtuelle ou augmentée à destination de métiers du patrimoine culturel (Lécuyer et al. 2018.).

De plus, nous collaborons avec des musées comme le Musée des Beaux-arts de Rennes. Des résultats de travaux de recherche ont abouti à l’exposition permanente d’une impression 3D transparente de l’emblématique momie de chat égyptienne du musée dans la salle d’archéologie (Gaugne et al). 

L’objectif final en termes de valorisation sera d’organiser une démonstration de notre solution au Musée des Beaux-Arts avec un ou plusieurs objets de la collection du musée lors des Journées Européennes du Patrimoine ou de l’Archéologie.

Enfin, les contributions scientifiques issues de ces travaux sont liées dans un premier temps au domaine du patrimoine culturel. Il faut noter que les partenariats dont nous disposons dans ce domaine nous permettent d’envisager des valorisations de nos résultats par des expositions expérimentales dirigées vers le grand public (Musées, exposition, …). Il est clair, par contre, que le patrimoine culturel est un sujet très peu propice avec une valorisation industrielle hors mécénat, c’est pourquoi, nous pensons orienter la fin des travaux et transposer les résultats acquis dans des domaines où les tâches sont minutieuses comme la médecine ou la mécanique de précision.

Déroulement prévisionnel de la thèse :

Sur le plan de la méthodologie qui sera mise en œuvre dans ce travail de thèse nous proposons la démarche séquentielle suivante :

1. Spécification des objectifs et des exigences en regard des modèles novateurs attendus (haptique, interaction multimodale, …) , proposition de critères de qualités structurés et ordonnés
2. Définition d'un cas d'usage dimensionnant permettant de démontrer in fine les qualités du modèle/ Ce cas d’usage, et les données associées, sera proposé par les archéologues partenaires de ce projet de thèse
3. Analyse critique de l'état de l'art en regard des critères proposés au point 1, cette analyse critique sera rédigée. Un soin particulier sera apporté à l'élargissement des sujets étudiées afin de profiter de travaux réalisés dans des domaines connexes (ex : muséologie, formation dans le domaine industriel, domaine médical, serious games de formation, etc ...)
4. Proposition d'une solution innovante par rapport à l'état de l'art sur un ou plusieurs des critères retenus
5. Proposition d'un modèle abstrait (i.e. formalisé, sous réserve de l'existence d'une théorie sous-jacente) : proposition d’un modèle d’interaction multimodal intégrant l’interaction haptique.
6. Mise en œuvre (sous forme de prototype) de ce modèle afin de l'intégrer dans une chaîne opérationnelle complète
7. Mise en œuvre du cas d'étude spécifié dans le point 2
8. Évaluation de la solution proposée sur ce cas d'étude et rédaction d'un bilan général
9. Démonstration au Musée des Beaux-Arts de Rennes