Data Specialist – ETL/ELT

Tech Lead au sein de l'équipe data pour piloter la modernisation des pipelines de données et la gouvernance de la plateforme data.

• A conçu et déployé des pipelines ETL/ELT robustes sur Databricks utilisant PySpark, Spark SQL et Delta Lake, assurant l'ingestion, la transformation et la livraison des données au sein d'une architecture Medallion.
• A intégré plusieurs sources de données hétérogènes dans Snowflake et construit des data pipelines avec Dbt, incluant les couches staging, intermediate et Mart.
• A implémenté les stratégies d'incrémentalité Dbt et les snapshots Dbt pour suivre les changements dans les données source.
• A créé et géré l'architecture Datavault avec création des Satellites et Hubs, et implémentation des mécanismes d'historisation.
• A automatisé les contrôles de qualité des données et les processus de gestion d'erreurs pour assurer l'intégrité et la fiabilité des datasets.
• A encadré et mentoré les développeurs juniors en fournissant des orientations sur les défis techniques et en promouvant les meilleures pratiques.
• A piloté l'implémentation des méthodologies Agile pour rationaliser les workflows de l'équipe et assurer la livraison en temps opportun.
• A géré les référentiels de code source via GitHub, assurant le contrôle de version approprié et la documentation.
• A collaboré avec les équipes métier et techniques pour diagnostiquer les problèmes de données, implémenter des améliorations et rationaliser les workflows ETL.
• A optimisé les pipelines ETL/ELT en ajustant les requêtes SQL et en améliorant les performances de traitement dans des environnements de données à haut volume.

Data Specialist au sein de l'équipe data pour renforcer les capacités d'intégration et de transformation de données.

• A développé des pipelines ETL/ELT sur Databricks en utilisant PySpark, Spark SQL et Delta Lake pour l'ingestion et la transformation de données.
• A transformé les données brutes en datasets de haute qualité prêts pour l'analytics et le reporting, améliorant l'accessibilité des données.
• A conçu et entretenu des pipelines de données scalables pour permettre l'ingestion, le traitement et le stockage efficace des données.
• A implémenté des frameworks de qualité des données robustes, des stratégies de gestion d'erreurs et des mécanismes de récupération.
• A collecté, analysé et intégré les données métier en utilisant SSIS et C# pour soutenir le traitement et le reporting des données d'entreprise.
• A automatisé les procédures stockées SQL Server pour orchestrer le chargement des données dans l'Operational Data Store (ODS), le Data Warehouse et les Data Marts.
• A profilé les données, investigué les causes des problèmes de données et collaboré avec les équipes transversales pour maintenir des standards élevés de qualité, d'intégrité et de disponibilité.
• A participé aux pipelines CI/CD et aux déploiements en production.
• A facilité l'intégration de nouvelles sources de données dans les bases de données existantes, améliorant l'accessibilité et l'usabilité des données.

Data Engineer au sein de l'équipe data pour moderniser et optimiser les processus ETL/ELT et la gouvernance des données.

• A conçu et maintenu le Data Dictionary, assurant la cohérence des données, la gouvernance et la documentation dans toute la plateforme.
• A automatisé les procédures stockées SQL Server pour orchestrer le chargement des données dans l'ODS, le Data Warehouse et les Data Marts.
• A migré les processus ETL hérités d'IBM DB2 vers SQL Server Integration Services (SSIS), améliorant la maintenabilité et les performances.
• A développé des scripts de monitoring en C# pour automatiser et superviser les processus de chargement de l'ODS et des Data Marts, permettant la détection proactive des erreurs.
• A remédié aux problèmes de qualité des données en corrigeant les incohérences de code pays et de code postal, améliorant la précision de la correspondance client et minimisant les problèmes de livraison postale.
• A facilité l'intégration de nouvelles sources de données dans les bases de données existantes, renforçant l'accessibilité et l'usabilité des données.

ETL Développeur et ETL Architect auprès de plusieurs organisations majeures pour concevoir, développer et maintenir des solutions ETL et des Data Warehouses.

• A conçu et maintenu des pipelines de données scalables pour permettre l'ingestion, le traitement et le stockage efficace des données.
• A créé des modèles de data warehouse dirigeant les aspects tels que l'approvisionnement, la transformation et l'extraction.
• A collecté, analysé et intégré les données métier pour soutenir le traitement et le reporting des données d'entreprise.
• A collaboré avec les équipes transversales pour recueillir les exigences, définir les spécifications de données et assurer la livraison réussie des projets alignée avec les objectifs métier.
• A appliqué les procédures pour maintenir l'intégrité globale des données.