INTERCOM - Interprétation communautaire automatique
Ingénierie et Architecture
Le projet INTERCOM a identifié la meilleure solution possible pour des systèmes bidirectionnels de traduction automatique de la parole en temps réel, dans les domaines visés par la société Bhaasha. En effet, celle-ci offre une plateforme qui met en lien les interprètes avec celles et ceux qui ont besoin de leurs services pour communiquer, en contexte administratif, médical, scolaire, etc. et souhaite étudier les possibilité d’une assistance automatisée.
Pour atteindre son objectif, le projet a construit des données de test et d’adaptation. Les systèmes de traduction parlée sont fondés sur l'enchaînement de modules pour la reconnaissance vocale (ASR), la traduction automatique écrite (MT), et la synthèse vocale (TTS). Ces modules sont soit des services externes (commerciaux), soit des modules open-source exécutés localement. Dans les deux cas, ces modules sont comparés avec des versions locales adaptées grâce aux données du projet. INTERCOM a abordé les paires français-turc (fr-tr) et français-pachto (fr-ps).
Les données ont été récoltées dans les situations d’utilisation prévues et ont été enrichies de transcriptions et traductions correctes grâce à une procédure d'annotation efficace. Nous avons construit plusieurs systèmes de traduction en cascade, à partir de composants disponibles en open-source pour l'ASR, la MT et la TTS, mais aussi avec des composants externes accessibles via des API commerciales. Nous avons mesuré finement la qualité des systèmes construits afin de permettre à Bhaasha le choix raisonné de la meilleure pipeline. Nous avons également validé les métriques automatiques en les comparant avec des échelles de qualité humaines sur des échantillons de résultats des différents systèmes.
Nous avons par ailleurs développé un prototype de démonstrateur qui permet à des utilisateurs d’expérimenter avec les différents systèmes depuis, par exemple, un ordinateur portable muni d’un microphone. L’interface permet de changer en temps réel les composants utilisés pour la reconnaissance vocale, la traduction automatique et la synthèse vocale, selon leur disponibilité pour la direction de traduction choisie.
La méthodologie mise en place – que ce soit pour la collecte et la structuration des données, pour la définition de pipelines à composants interchangeables, pour le fine-tuning des composants, pour l’évaluation et la validation des métriques – est un investissement très prometteur pour l’automatisation de l’interprétation communautaire entre de nombreuses paires de langues.
Un appel à projets destiné aux entreprises pour stimuler leur innovation, leur compétitivité et leur durabilité
Le projet décrit ci-dessus fait partie d'un appel à projets extraordinaire intitulé "Innovation, compétitivité et durabilité", lancé par le domaine Ingénierie et Architecture de la HES-SO. Ces fonds sont destinés aux professeur-es proches des sociétés de services et d'entreprises suisses. Les hautes écoles concernées par cet appel à projets sont :
- HE-Arc Ingénierie ;
- Haute école d'ingénierie et d'architecture de Fribourg - HEIA-FR ;
- Haute école du paysage, d'ingénierie et d'architecture de Genève (HEPIA) ;
- HES-SO Valais-Wallis - Haute Ecole d'Ingénierie - HEI ;
- Haute Ecole d'Ingénierie et de Gestion du Canton de Vaud - HEIG-VD ;
- CHANGINS - Haute école de viticulture et œnologie.