Data Engineer

Intégration de Capgemini pour participer à divers projets internes et clients, notamment pour un projet interne autour de Microsoft Fabric et des missions pour le client Enedis axées sur la migration et la maintenance des données sur Google Cloud Platform.

• A exploré et mis en œuvre des solutions avec Microsoft Fabric pour centraliser les workflows de données complexes.
• A contribué à la mise en place d'une architecture basée sur les Data Warehouses et Lakehouses de Microsoft Fabric en intégrant des sources Azure Data Lake et SQL Server.
• A conçu des pipelines de transformation de données avec Dataflows Gen2 et Power Query pour la préparation des données brutes.
• A intégré les données transformées dans Power BI pour créer des rapports de simulation pour la recommandation de formations.
• A utilisé SharePoint comme source de stockage temporaire pour démontrer la compatibilité avec Microsoft Fabric.
• A réalisé des migrations de données et assuré leur maintenance pour le client Enedis en utilisant Google Cloud Platform (GCP).
• A contribué à la création de l'architecture de données du projet Enedis avec Google Cloud Storage et BigQuery.
• A créé des ressources de stockage pour les données avec Google Cloud Storage et des bases de données SQL/NoSQL avec BigQuery et Firestore.
• A transformé et traité les données en PySpark et Python sur Dataproc.
• A créé et orchestré des pipelines de données avec Google Cloud Dataflow et Cloud Composer.
• A créé des workflows automatisés avec Cloud Functions et Pub/Sub.
• A surveillé les jobs ETL avec Google Cloud Monitoring et Logging.
• A géré les authentifications et les accès aux données avec Identity and Access Management (IAM) de GCP.

Mission chez Groupama en tant que Data Scientist pour travailler sur deux projets distincts dans les domaines de l'assurance habitation et de l'assurance automobile.

• A réalisé des tâches de data engineering incluant le data cleaning, l'étude du jeu de données et l'élimination des variables non pertinentes.
• A effectué du feature engineering en analysant la dépendance entre variables pour la modélisation.
• A créé des modèles linéaires généralisés avec les langages R et Python sous Databricks.
• A séparé les jeux de données en bases d'entraînement et de test pour la modélisation avec Scikit-Learn.
• A mesuré la performance des modèles générés et présenté les résultats à l'aide de graphiques comparatifs.
• A développé une application en R avec le module Shiny pour présenter les positionnements tarifaires de Groupama face à ses concurrents.

Réalisation d'une nouvelle architecture de stockage de données pour le client Groupama Immobilier au démarrage d'un nouveau lot.

• A défini l'architecture de données en concevant les tables de faits et de dimensions.
• A créé des tables ODS, Dataware et de rejets en SQL pour recueillir les données aux formats d'origine.
• A créé des connecteurs aux sources de données.
• A géré les environnements de développement (DEV, REC, PROD).
• A réalisé des transformations ETL incluant la suppression de colonnes, agrégations, tris, champs calculés et fusions.
• A alimenté les tables destinations et assuré la gestion quotidienne des rejets.
• A mis en production et déployé les jobs ETL sous SSMS et SSIS.
• A effectué le monitoring des jobs déployés et appliqué des bonnes pratiques d'optimisation de pipeline.
• A rédigé des documentations de code et des spécifications techniques.