Research & Master's Thesis Researcher
Travaux de recherche menés sur la traduction speech-to-speech pour le Guin, une langue tonale à faible ressource, au sein du laboratoire LARSI.
- Construction d'un corpus de 83h en Guin et 55h en Français à partir de sources existantes telles que Bible.is et la série web Ahoé.
- Fine-tuning du modèle SeamlessM4T v2 en utilisant le transfer learning et LoRA pour maîtriser les coûts de réentraînement.
- Conception d'un pipeline spécifique pour la préservation du ton intégrant l'alignement forcé (MMS-FA), l'extraction F0 via CREPE, un tenseur acoustique enrichi à 5 canaux et un module TonalPreAdapter (Conv2d).
- Atteinte d'un score BLEU de 8.6% et d'un BERTScore de 77% sur la tâche de traduction speech-to-speech, établissant un premier benchmark pour cette langue.
Environnement technique