World first: a French-Sign language dictionary

Tel est le fruit de quatre années de travail intense mené par une équipe de chercheurs en linguistique et en informatique de l’UNamur. Une première mondiale qui offre un outil performant, facile d’usage et accessible gratuitement à un large public : les enfants sourds, leurs familles, leurs enseignants, les traducteurs ou encore les interprètes.

En Belgique francophone, la langue des signes francophone de Belgique (LSFB) est pratiquée par environ 4.000 personnes. L’idée de la création d’un dictionnaire bilingue LSBF- Français prend sa source dans la collaboration qu’entretient depuis près de 20 ans, l’UNamur avec les classes bilingues (français - LSFB) fondées par Ecole et Surdité à Sainte-Marie Namur.

« Que ce soit dans nos contacts sur le terrain, dans les écoles par exemple, ou dans nos travaux de recherche, nous faisions le constat que les outils linguistiques permettant une traduction bilingue langue des signes/français étaient peu nombreux et dotés de fonctionnalités limitées. Jusqu’à présent, il s’agissait de lexiques compilant des signes et leur signification en français, ou le dictionnaire en ligne qui en plus offre une définition des signes en LSFB, quelques exemples où le signe est utilisé dans une phrase et des informations sur l’étymologie des signes,» explique la professeure Laurence Meurant, linguiste, responsable du Laboratoire de langue des signes de Belgique francophone (LSFB-Lab) de l’UNamur.

Laurence Meurant et son équipe se mettent alors à rêver d’un outil plus performant, inspiré du principe de Linguee© qui pourrait aider les utilisateurs de tous âges. Il permettrait de comprendre et utiliser adéquatement les mots et les expressions ou les signes dans des contextes variés, tirés de conversations spontanées, et qui pourrait être interrogé directement en langue des signes. Dès 2018, une équipe pluridisciplinaire composée de linguistes et d’informaticiens de l’UNamur se réunit pour relever ce défi scientifique et technologique.
Quatre ans plus tard, grâce au soutien financier du Fonds Baillet Latour, un outil pionnier est opérationnel :  un nouveau dictionnaire contextuel bilingue LSFB-français.

Le dictionnaire développé par l’UNamur peut être interrogé dans les deux langues. Concrètement, l’utilisateur peut signer devant la caméra de son ordinateur, et il obtiendra le mot recherché et les contextes dans lesquels il peut être utilisé. Inversement, l’utilisateur peut encoder un mot dans le moteur de recherche du dictionnaire, et il obtiendra sa traduction en signe, ainsi qu’une liste de suggestions d’usage du signe, sous forme de vidéos. Ces fonctionnalités sont actuellement uniques au monde.

Ce dictionnaire repose sur une base de données en langue des signes, très riche, unique au monde. Il utilise les productions en langue des signes de Belgique francophone (LSFB) de cent signeurs, totalisant plus de 80 heures de conversations filmées et leurs traductions en français pour en faire un répertoire de textes bilingues. Un corpus qui résulte de plusieurs années de travail de traduction et d’annotation, signe par signe, réalisée par l’équipe du LSFB-Lab de l’UNamur. Cette base de données continuera à être alimentée par les équipes de l’UNamur, afin d’enrichir continuellement le dictionnaire.

Grâce à un système de reconnaissance de pointe, le dictionnaire est capable, en un laps de temps très limité, de détecter, reconnaitre et traduire de manière très précise, le signe soumis par l’utilisateur. Il fonctionne quel que soit l’environnement dans lequel il se trouve (nul besoin de se trouver dans un studio d’enregistrement ou derrière un fond vert, par exemple). L’outil pourra donc être utilisé directement par les élèves et les enseignants dans leur classe ou à la maison.

Ce nouvel outil est disponible sur une plateforme numérique accessible gratuitement, depuis une tablette ou un ordinateur. L’outil se veut accessible pour tous et partout. 

Le corpus en quelques chiffres : 88h15 de vidéos, dont 36h annotées (217.085 annotations, représentant 4.600 signes différents) et traduites (18.872 phrases).

Pour développer ce nouveau dictionnaire, de nombreux défis sur le plan tant linguistique (conception et alimentation du corpus, comme évoqué ci-dessus) qu’informatique ont dû être relevés. La réussite de ce projet résulte donc, en grande partie de l’excellente collaboration et l’importante complémentarité qui s’est mise en place entre les linguistes de l’institut NaLTT et les chercheurs en informatique de l’institut NADI de l’UNamur. 

« Cet outil a nécessité d’abord un travail d’ingénierie web, pour créer une plateforme performante et fluide d’utilisation », explique Anthony Cleve, professeur à la faculté d’informatique et pilote de ce projet aux cotés de Laurence Meurant. « Mais nous avons aussi fait appel à notre expertise et aux dernières avancées de recherche en matière de machine-learning et d’intelligence artificielle, ainsi que d’interaction humain-machine et de data engineering, pour arriver à ce résultat totalement pionnier et innovant ».

• Développement international :  La technologie mise en place peut -être appliquée à d’autres couples langues vocale-langue signée. Des tests ont d’ailleurs déjà été réalisés sur le couple néerlandais-langues des signes des Pays-Bas, grâce à une collaboration avec le Pr. Onno Crasborn (Université Radboud de Nimègue). L’ensemble de la communauté des signeurs en Europe, voire dans le monde, pourrait donc bénéficier de cette innovation.
• Développement technologique : « Un monitoring des erreurs sera mis en place de telle sorte à ce que le système de reconnaissance permettant de détecter le signe de l’utilisateur, soit constamment amélioré, affiné », cite également Anthony Cleve. « Cela permettra non seulement de fournir des traductions encore plus précises et justes mais aussi d’enrichir encore le corpus », poursuit-il. Par ailleurs, les chercheurs en informatique étudient la manière dont l’outil sera capable de segmenter une phrase en LSFB, en signes individuels. C’est sur cette base que l’on pourra viser ensuite le développement d’outils de traduction simultanée, d’une langue à l’autre.

L’UNamur est pionnière dans le domaine de l'étude linguistique de la LSFB. Son Laboratoire de langue des signes de Belgique francophone est unique en Belgique. Il collabore étroitement avec l’ASBL École et surdité et le Centre scolaire Sainte-Marie Namur, qui inclut depuis le début des années 2000 des groupes d’enfants sourds au sein de classes d’entendants, offrant à ces élèves un enseignement bilingue.

C'est une équipe non seulement interdisciplinaire (linguistes et informaticiens), mais aussi intergénérationnelle avec des profils seniors (académiques et post-doctorants), et tout à fait juniors (étudiants). Elle est aussi inclusive, puisqu’entendants et sourds participent à ce projet.

L’équipe : Laurence Meurant (LSFB-Lab), Anthony Cleve (Informatique), Benoît Frénay (Informatique), Bruno Dumas (Informatique), Sibylle Fonzé (LSFB-Lab), Bruno Sonnemans (LSFB-Lab), Alice Heylens (LSFB-Lab), Maxime Gobert (Informatique), Jérome Fink (Informatique), Maxime André (Informatique), Pierre Poitier (Informatique), Loup Meurice (Informatique).