Data Engineer – Supply Chain & Logistique
Intégration de l'équipe data du groupe Michelin dans le cadre d'une alternance dédiée à la supply chain et à la logistique pour développer et industrialiser les traitements alimentant la plateforme data Azure.
- Développement en Python/PySpark des traitements alimentant la plateforme data Azure du groupe sur une vingtaine de tables métier et environ 60 millions de commandes.
- Ingestion des événements logistiques publiés sur Kafka, consommés en Spark Structured Streaming et écrits en Delta Lake, avec gestion de la reprise après interruption.
- Raccordement des sources amont (Cosmic Frog, MicroStrategy, Oracle) par SDK et API REST, puis assurance de leur normalisation dans une architecture medallion.
- Regroupement du code commun dans une librairie interne réutilisable entre pipelines, testée sous pytest et déployée par la chaîne CI/CD Azure DevOps.
- Application de règles de qualité avant injection, avec isolement des lignes non conformes et alerte automatique sur les écarts.
- Exploitation au quotidien des flux orchestrés sous Azure Data Factory, tout en assurant l'investigation des incidents et le rejeu des traitements.
- Conduite d'ateliers de cadrage avec les équipes SI, Logistique et BI pour valider les données disponibles et leur niveau de qualité.
Environnement technique