L'IRISA est fier d'être impliqué dans la création EuroBERT, le modèle d’encodeur multilingue le plus puissant pour des tâches de recherche d’information (RAG), de classification et d’estimation de qualité (pour le résumé et la traduction automatique) dans 15 langues.
Caio Corro, enseignant chercheur à l'INSA Rennes et chercheur dans l'équipe de recherche LinkMedia a collaboré à la création d'EuroBERT.
Intelligence Artificielle et NLP : la suite d'encodeurs EuroBERT franchit un nouveau cap
Entraînée sur 5000 milliards de tokens, cette suite propose des modèles souverains, open source et délivrant les meilleures performances de représentation textuelle sur les langues européennes ainsi que pour les tâches liées aux mathématiques et au code.
La collaboration entre le laboratoire MICS de CentraleSupélec, Diabolocom, Artefact et Unbabel, soutenue par l’expertise technologique d’AMD et du CINES, a abouti à la publication du meilleur modèle multilingue de représentation textuelle, brique fondamentale pour la recherche d’information (RAG), la classification et l’estimation de qualité (de résumés, traductions).
Ces types de modèles sont indispensables en traitement automatique des langues (NLP) et figurent parmi les plus téléchargés sur Hugging Face depuis de nombreuses années. Leur capacité à capturer avec précision le sens et le contexte des phrases, offrant une compréhension linguistique fine et approfondie, sont essentielles au développement d’applications d’intelligence artificielle avancées. Ce nouveau modèle EuroBERT est disponible le 10 mars 2025 sous licence Apache 2.0 sur la plateforme Hugging Face.
Le projet de recherche a été mené par Nicolas Boizard, doctorant Cifre chez Diabolocom, avec la contribution majeure d’Hippolyte Gisserot-Boukhlef, doctorant Cifre chez Artefact, et de Duarte Alves doctorant à l’Instituto Superior Técnico (IST), dans le cadre des recherches initiées par Pierre Colombo, professeur associé à CentraleSupélec, et placés sous la supervision de Céline Hudelot, directrice du MICS, et André Martins, professeur associé à IST. Les résultats sont détaillés dans un article publié sur arXiv le 10 mars 2025 :https://arxiv.org/abs/2503.05500
Un nouveau saut technologique franchi en matière d'encodage de textes
EuroBERT se distingue des autres encodeurs actuellement disponibles sur cinq points :
- Il est souverain et entièrement open source, tant pour son code source que pour ses ensembles de données.
- Il prend en charge 8 langues européennes majeures ainsi que 7 langues extra-européennes parmi les plus parlées au monde.
- Entraîné sur 5000 milliards de tokens, soit deux fois plus de données que les encoders classiques ou des modèles génératifs tels que Llama 2 (2000 milliards de tokens), EuroBERT offre ainsi des capacités optimales sans coût d’utilisation supplémentaire.
- La famille EuroBERT constitue la meilleure base pour des tâches de recherche d’information (RAG), de classification et d’estimation de qualité (de résumés, traductions).
- Il excelle dans des tâches jusque-là délaissées comme le traitement de données mathématiques ou de langages de programmation.
Il se décline en 3 tailles de modèles (210M, 610M et 2,1B) offrant un équilibre optimal entre vitesse, qualité et coût, adapté aux contraintes des entreprises utilisatrices.
EuroBERT transforme ainsi les applications de traitement automatique des langues reposant sur des représentations de phrases, telles que l’analyse de texte, la recherche d’information, la classification ou l’extraction d’information.
La force et la valeur ajoutée de la recherche partenariale
Comme pour les modèles CroissantLLM et EuroLLM publiés sur Hugging Face en 2024, c’est grâce à une étroite et riche collaboration public-privé, ancrée dans l’écosystème de Paris-Saclay et élargie à l’échelle européenne, que ces avancées scientifiques ont été rendues possibles. Les équipes du MICS, de l’IST, de Diabolocom, d’Artefact et d’Unbabel ont travaillé ensemble dans le cadre des trois thèses en cours, ainsi qu’avec le supercalculateur français Adastra propulsé par la technologie AMD Instinct™ Accelerators and AMD EPYC™ processors.
...
Lire l'entièreté du communiqué de presse sur le site de CentraleSupélec