Data Engineer – Cloud Data Platform & BI
Intervention au sein de l'équipe data de CMA CGM sur la plateforme cloud et la Business Intelligence.
- Pilotage de la migration de 110 traitements Snowflake vers 20 DAGs Airflow (AWS MWAA), de la phase de développement jusqu'au déploiement en production.
- Refactorisation de l'opérateur d'exécution partagé (réduction de 8 à 3 tâches), éliminant près de 500 lignes de code dupliqué et sécurisation des connexions via OAuth / Azure Entra ID.
- Conception d'un dashboard Qlik Sense de supervision en temps réel des traitements pour les équipes métier.
Environnement technique