Senior Software Engineer – Big Data Platform
Intervention au sein de l'équipe de Norma SAS pour travailler sur la plateforme Big Data d'Amadeus afin d'améliorer les processus d'ingestion et de qualité des données.
- A contribué au framework d'ingestion Data Mesh, en implémentant et en améliorant les composants de génération de métadonnées et de répartition de fichiers.
- A conçu et optimisé les pipelines d'anonymisation et de qualité des données sur Databricks en utilisant Spark et Scala.
- A optimisé les tests d'intégration pour l'ingestion Mesh, réduisant le temps d'exécution tout en préservant la validation.
- A automatisé les flux CI/CD en utilisant Azure DevOps Pipelines pour la séparation des environnements et les déploiements contrôlés.
- A provisionné et géré l'infrastructure Flexify et Mesh via Bicep pour garantir une infrastructure as code sécurisée.
- A renforcé la gouvernance, l'observabilité et la conformité sur Azure Data Lake avec une configuration structurée.
Environnement technique