Consultant Data
A participé à la conception et à l'industrialisation de pipelines Big Data au sein d'une équipe Data dédiée à la supervision des consommations d'eau, assurant la collecte, la transformation et la valorisation des données pour les besoins de pilotage métier.
- A conçu et industrialisé une plateforme Big Data complète destinée à la supervision des consommations d'eau.
- A développé des pipelines d'ingestion de données provenant de flux IoT (télémétrie des capteurs) et de bases de données métiers via Auto Loader sur Azure Databricks.
- A conçu et développé des notebooks Databricks en PySpark et Scala pour la transformation, l'enrichissement et la préparation des données analytiques.
- A mis en œuvre une architecture Delta Lake basée sur les couches Bronze/Silver/Gold, garantissant la traçabilité, la qualité, l'historisation et les performances des traitements.
- A développé des scripts Python pour le nettoyage, la normalisation et la détection automatisée d'anomalies (fuites, surconsommations).
- A mis en place des pipelines CI/CD sous Azure DevOps afin d'automatiser le déploiement des notebooks Databricks et de fiabiliser les mises en production.
- A orchestré et supervisé les traitements de données via Azure Data Factory, avec suivi des performances et de l'exécution des pipelines.
- A contribué à la standardisation des modèles de données et des transformations dbt, en appliquant les bonnes pratiques de développement.
- A mis en œuvre les pratiques DataOps : documentation technique, tests unitaires, contrôle qualité des données et optimisation des coûts et des temps de traitement.
- A optimisé les traitements PySpark (partitionnement, cache, tuning des clusters Databricks) afin d'améliorer les performances des pipelines.
- A mis en place un dispositif de supervision des performances et des coûts des traitements Databricks ainsi que des mécanismes de reprise automatique en cas d'échec.
- A conçu et développé des tableaux de bord Power BI connectés aux vues Gold et Azure Synapse pour le suivi des indicateurs de consommation d'eau, des seuils critiques et des alertes en temps réel.
- A développé une supervision géographique des consommations par secteur permettant de détecter précocement les incidents et de réduire les délais d'intervention.
- A collaboré étroitement avec les équipes Data, Métiers et Exploitation dans un environnement Agile afin de concevoir des solutions analytiques répondant aux besoins opérationnels.
Environnement technique