Data Engineer & ML Consultant
Intégration au sein d'une équipe data d'un groupe automobile pour moderniser son infrastructure de gestion et d'optimisation des données, en passant d'une architecture legacy à une architecture cloud native.
- Migration des pipelines ETL historiques reposant sur Databricks vers une architecture ELT moderne basée sur Snowflake et DBT.
- Conception et implémentation d'une architecture médaille (Bronze/Silver/Gold) pour structurer et gouverner les données issues de sources hétérogènes (Oracle, ERP, CRM, RabbitMQ).
- Orchestration des pipelines de données via des DAGs Airflow en Python et développement des pipelines CI/CD en Groovy pour l'automatisation du cycle de déploiement (compilation, test, déploiement).
- Conception d'un modèle d'optimisation basé sur la Programmation Linéaire en Nombres Entiers couplé à des modèles de Machine Learning (Random Forest, XGBoost) pour anticiper et réduire les violations de contraintes planification.
- Développement d'une application Python intégrant ML et optimisation avec génération automatique de rapports et interface utilisateur.
- Suppression de la totalité des violations critiques (SMAJ, MAJE, MINE) et amélioration significative de l'efficacité du processus de planification.
Environnement technique