Data Engineer & Data Analyst
Conception et livraison de solutions Business Intelligence complètes et de pipelines ETL performants intégrant plusieurs sources de données au sein de l'équipe data de PwC.
- Implémentation de pipelines ETL end-to-end utilisant Azure Data Factory et Databricks en intégrant des sources multiples.
- Développement et maintenance de tableaux de bord et rapports Power BI avec des mesures DAX complexes pour le suivi des KPIs.
- Développement de workflows PySpark pour le nettoyage des données, la transformation, la déduplication, les jointures et le traitement SCD.
- Automatisation des pipelines d'ingestion de données avec des déclencheurs ADF, améliorant l'efficacité et la fiabilité.
- Optimisation des performances Spark en utilisant le partitionnement et les techniques de traitement distribué.
- Conception de modèles de données dimensionnels (tables Fact & Dimension) pour les cas d'usage analytiques.
- Construction d'une architecture Data Lake scalable avec les couches Bronze, Silver et Gold utilisant Parquet et Delta Lake.
- Centralisation des rapports dans les applications Power BI Service pour les utilisateurs métier.
- Travail dans un environnement Agile avec daily standups et planification de sprints.
Environnement technique