Data Engineer

Intégration dans une équipe de data engineering spécialisée dans la transformation numérique d'un client du secteur industriel (transformation chimique) en utilisant la plateforme Microsoft Fabric et Azure.

• Conception d'une architecture Médaillon (Bronze, Silver, Gold) pour organiser et fiabiliser les flux de données à grande échelle.
• Mise en place d'un Lakehouse via OneLake pour centraliser les données et assurer une gouvernance robuste.
• Développement de pipelines ETL avec Azure Data Factory pour orchestrer les flux entre les différentes zones (Bronze → Silver → Gold).
• Utilisation de Notebooks PySpark pour le traitement et la transformation des données à grande échelle.
• Exploitation des Dataflows Gen2 pour la préparation et la modélisation des données dans Power BI.
• Intégration d'Azure SQL Warehouse pour l'analytique avancée et la création de modèles relationnels optimisés.
• Réalisation de la visualisation et du reporting interactif via Power BI, en développant des calculs complexes en langage DAX.
• Connexion de sources hétérogènes : fichiers Excel, systèmes Salesforce, SAP, Ariba et autres ERP.
• Mise en place de mécanismes de sécurité et de performance pour garantir la qualité et la conformité des données.

Participation à une équipe dédiée à la gestion de multiples projets pour un client majeur du secteur énergétique, en pilotant d'abord une architecture cloud Azure, puis la migration complète vers AWS.

• Conception, implémentation et maintenance de pipelines de données exploitant les services AWS (Lambda, Glue, S3, RDS, AppFlow) et Azure (Data Factory, Data Lake, Synapse Analytics).
• Utilisation de Python et SQL pour optimiser les processus de données, améliorant les mécanismes de flux et de stockage des données.
• Développement de scripts Python sur AWS Lambda pour collecter des données de sources comme Salesforce, SAP et SharePoint.
• Effectuation du mappage entre sources et destinations via AWS GlueJob avec Python et PySpark.
• Développement de procédures stockées SQL sur Amazon RDS (SqlServer) pour transformer et calculer les règles de gestion.
• Pilotage de la migration réussie de tous les projets d'Azure vers AWS, sans interruption de service.
• Initiation de l'automatisation des processus d'extraction, de transformation et de chargement, améliorant significativement l'exactitude et l'accessibilité des données.
• Création de rapports dynamiques en utilisant Power BI, donnant aux parties prenantes des insights pour une prise de décision éclairée.
• Collaboration étroite avec les équipes interfonctionnelles pour décrypter les besoins complexes en données et les traduire en spécifications techniques.
• Assurance d'une conformité rigoureuse aux normes d'intégrité, de sécurité et de conformité des données, en alignement avec les meilleures pratiques de l'industrie.

Conception et maintenance de pipelines de données robustes exploitant les services AWS pour assurer un traitement des données fluide et fiable.

• Conception, implémentation et maintenance de pipelines de données utilisant AWS Lambda, Glue, S3, RDS, AppFlow et Databricks.
• Utilisation d'une expertise en Python et SQL pour optimiser les processus de données et les mécanismes de flux et stockage des données.
• Initiation de l'automatisation des processus d'extraction, de transformation et de chargement (ETL), améliorant significativement l'exactitude et l'accessibilité des données.
• Création de rapports dynamiques et pertinents en utilisant Power BI, donnant aux parties prenantes des informations pour une prise de décision éclairée.
• Collaboration étroite avec les équipes interfonctionnelles pour décrypter les besoins complexes en données et les traduire en spécifications techniques exploitables.
• Assurance d'une conformité rigoureuse aux normes d'intégrité, de sécurité et de conformité des données.

Conception et mise en place d'un système d'aide à la décision pour stocker, centraliser et analyser les différentes sources de données d'applications hébergées dans Azure Cloud.

• Développement d'un entrepôt de données et de datamarts en utilisant SQL Server pour stocker et gérer les données extraites.
• Effectuation du nettoyage et de la transformation des données en utilisant SSIS, SQL, et chargement des données nettoyées dans l'entrepôt de données et les datamarts.
• Conception de mécanismes de gestion des erreurs et de fonctionnalités de surveillance dans le pipeline de données pour garantir la fiabilité et l'exactitude.
• Assurance que le pipeline était scalable et maintenable en le concevant avec modularité et extensibilité à l'esprit.
• Développement de tableaux de bord de visualisation percutants en utilisant Power BI pour soutenir la prise de décision basée sur les données.
• Conception de tableaux de bord attractifs et informatifs pour suivre la progression des projets, permettant aux parties prenantes d'obtenir rapidement des insights sur la performance et d'identifier les domaines nécessitant attention.
• Conception d'une architecture de données évolutive et fiable pour soutenir les tableaux de bord de visualisation.
• Construction de pipelines ETL en utilisant SSIS et SQL pour extraire des données de différentes sources.