Data Engineer & Data Analyst
Intégration au département data d'un grand groupe retail afin de moderniser son architecture analytique et son processus décisionnel via une plateforme cloud native.
- Conception et déploiement d'un pipeline data end-to-end sur Microsoft Fabric, couvrant la collecte, l'ingestion, la transformation et la modélisation des données provenant de différentes sources ERP via les Lakehouse et les modèles sémantiques.
- Développement et maintenance de 5 dashboards Power BI (CA, Budget, Stock, Remises, RH) dédiés au suivi des KPI et à l'aide à la prise de décision, en collaboration étroite avec les équipes métier.
- Automatisation de l'ingestion des données via Azure Functions et pipelines Databricks, avec intégration d'un contrôle qualité end-to-end sur l'ensemble du flux de traitement.
- Orchestration des flux de données avec Azure Data Factory, assurant le stockage en fichiers Parquet dans Azure Blob Storage (ADLS Gen2) et leur consommation par les pipelines Databricks selon deux modes d'injection configurables (incrémental ou overwrite).
- Conception, développement et optimisation des requêtes SQL pour l'ensemble des pipelines de données et les remontées des tables sources (ERP : Gold / Oriane) vers Databricks.
- Réalisation d'un projet Machine Learning de segmentation des magasins via K-Means selon deux axes (fréquentation globale et volume vendu rayon boulangerie) pour optimiser les plannings de cuisson, avec restitution des résultats dans un dashboard Power BI interactif.
- Développement d'un système de monitoring des logs et des alertes à destination de l'équipe sécurité, en exploitant les API de la plateforme ELK pour assurer la transparence opérationnelle.
Environnement technique