Data Engineer

Intégration de l'équipe du LAERO à Toulouse dans le cadre d'un stage de recherche pour concevoir et maintenir des pipelines de traitement de données scientifiques à grande échelle.

• Conception et maintenance de pipelines de traitement transformant des sorties de simulation Meso-NH (format NetCDF, volumes multi-téraoctets) en produits d'analyse et de visualisation 3D exploitables.
• Développement d'une interface Fortran–Python pour connecter des codes de calcul scientifique existants à des outils modernes de traitement de données.
• Exécution de traitements en production sur le cluster HPC Nuwa sous ordonnancement SLURM.
• Gestion de données structurées sur des systèmes de stockage distribués.
• Collaboration avec des équipes scientifiques et informatiques pour fiabiliser et optimiser les flux de données.

Collaboration avec la Direction Générale de la Météorologie au Maroc pour concevoir un pipeline de données dédié au Deep Learning appliqué à l'imagerie satellite.

• Construction et assurance du contrôle qualité d'un jeu de données annoté à grande échelle à partir d'imagerie satellite MSG.
• Développement d'un pipeline de données de bout en bout comprenant l'ingestion, le prétraitement, l'entraînement, l'évaluation et la visualisation des résultats.
• Utilisation de modèles de Deep Learning tels que U-Net avec le framework TensorFlow.

Stage effectué au sein de la station synoptique d'Essaouira axé sur la maintenance des équipements et l'analyse climatique.

• Réalisation du contrôle qualité et de la maintenance d'instruments d'observation.
• Préparation d'un rapport de climatologie régionale.