Adaptation de modèles de classification de relations pour la recherche efficace d’un type de relation avec peu ou pas d'exemples

English version below

Résumé :

Cette thèse s’intéresse à l’extraction de relations (ER) avec peu ou pas d’exemples annotés, sous contrainte d’efficacité calculatoire. Nous ciblons un scénario où l’objectif est de retrouver, dans un vaste corpus textuel, toutes les occurrences d’un type de relation (le type cible) caractérisé par un seul exemple, voire aucun. Ce scénario impose trois exigences : indexer les représentations des énoncés du corpus pour les interroger rapidement, rejeter les énoncés ne contenant pas le type cible, et caractériser ce type avec un minimum d’information. Plutôt que de concevoir un modèle dédié, nous choisissons d’adapter des modèles existants pour la tâche voisine de classification de relations (CR) avec peu ou pas d’exemples. Notre analyse linguistique et géométrique préliminaire des méthodes de représentation des relations oriente nos choix d’encodage et de prétraitements. Nous proposons d’une part RaReMUD, une adaptation pour l’ER avec un unique exemple, dans laquelle des modèles de CR fondés sur le paradigme N-way K-shot sont détournés de sorte que N-1 types de relations issus de l’entraînement – les distracteurs – modélisent dynamiquement la classe de rejet. Nous adaptons d’autre part des modèles de CR sans exemple en encodant les énoncés une seule fois de manière indexable et en apprenant à encoder une description textuelle de rejet exprimant l’absence du type cible. Nos deux systèmes d’extraction de relations avec peu ou pas d’exemples montrent la viabilité de notre approche d’adaptation, et ouvrent de nouvelles questions sur l’optimisation de l’espace vectoriel des relations intégrant un mécanisme de rejet, sur les hyperparamètres de ces mécanismes et sur l’évaluation dans un cadre applicatif réel.

Title : 

Adapting relation classification models for the efficient few- and zero-shot retrieval of a single relation type

Abstract :

This thesis addresses relation extraction (RE) with little or no annotated data, under computational efficiency constraints. We consider a scenario in which the goal is to retrieve all occurrences of a single relation type (the target type) inside a large textual dataset from only one example or even none. This objective requires meeting three key constraints: indexing utterance representations for efficient retrieval, rejecting utterances that do not express the target relation type, and characterizing this target type with minimal information. Rather than designing a dedicated model from scratch, we adapt existing models built for the related task of few-shot and zero-shot relation classification (RC). Our preliminary linguistic and geometric analysis of relation representation approaches guides our choices of encoding strategies and preprocessing techniques. We first propose RaReMUD, an adaptation for one-shot RE in which few-shot RC models based on the N-way K-shot paradigm are repurposed so that N-1 relation types drawn from training data—called distractors—dynamically model the rejection class. We then adapt zero-shot RC models by encoding utterances only once in an indexable manner and by learning to encode a textual rejection description expressing the absence of the target type. Our zero-shot and one-shot relation extraction models demonstrate the viability of our adaptation-based approach. They open new research directions regarding the optimization of relation embedding spaces integrating rejection mechanisms, the tuning of their hyperparameters, and the evaluation of our contributions in real-world application settings.