Lead Data Engineer

Il a participé à la phase de transition et d'onboarding technique dans le cadre du programme de modernisation BI de France Télévisions, intégrant un écosystème Cloud GCP complexe avec une équipe étendue et des enjeux d'intégration progressive de flux métier critiques.

• A analysé l'architecture cible Data Platform et pris en main l'écosystème Cloud mis en œuvre par les équipes AlixData.
• A contribué au cadrage technique des pipelines d'ingestion et de transformation de données.
• A participé aux ateliers techniques avec les équipes métier et Data Engineering pour préparer l'intégration progressive des nouveaux flux.
• A conçu et développé des pipelines d'ingestion de données financières depuis Google Cloud Storage vers BigQuery.
• A développé des pipelines de traitement distribués basés sur Apache Beam et Dataflow pour garantir la scalabilité des traitements.
• A mis en place une couche de métadonnées techniques permettant l'analyse automatique des structures de données MSSQL et leur conversion vers les types cibles BigQuery.
• A construit les différentes couches du Data Lake et des Data Marts via Dataform (Raw, Staging, Datamart).
• A participé à l'industrialisation des traitements et à l'automatisation des déploiements.
• A orchestré les traitements via Cloud Workflows.
• A mis en œuvre les bonnes pratiques DataOps et CI/CD.
• A développé et maintenu l'infrastructure via Terraform.
• A participé aux revues techniques et aux évaluations de profils Data Engineer Cloud.
• A contribué à la documentation technique et aux standards de développement de la plateforme.

Il a intervenu au sein de la Direction Data dans le cadre de la fiabilisation des données et du calcul des indicateurs liés aux contrats UC Entreprises, menant des projets de rapprochement des primes réelles et estimées avec des enjeux de qualité critique.

• A participé à la conception et à la mise en œuvre d'une architecture Data Lakehouse basée sur une approche Bronze / Silver / Gold.
• A développé et industrialisé des pipelines de transformation de données utilisant Spark SQL et dbt-Spark.
• A conçu un framework automatisé de Data Quality permettant la génération dynamique des contrôles à partir du catalogue de données.
• A développé les mécanismes de génération automatique des fichiers YAML à partir du catalogue fonctionnel.
• A mis en œuvre des macros dbt permettant l'automatisation et la standardisation des contrôles qualité.
• A conçu et développé le modèle central de contrôle de qualité des données (CONTROLES_DQ).
• A implémenté plus de 120 règles de Data Quality couvrant la complétude, l'unicité, la cohérence, l'exactitude et la validité.
• A mis en place des contrôles de cohérence inter-domaines entre les référentiels Client et Contrat.
• A optimisé et factorisé les modèles dbt-Spark afin d'améliorer la maintenabilité et les performances des traitements.
• A participé à la définition des standards de qualité des données.
• A mis en place une stratégie de tests automatisés et d'intégration continue pour sécuriser les déploiements.
• A collaboré avec les équipes métier, actuariat et Data afin d'améliorer la fiabilité des indicateurs UC Entreprises.
• A analysé les anomalies de données et accompagné les équipes métier dans leur résolution.
• A contribué à l'amélioration continue des processus de gouvernance et de qualité des données.

Il a intervenu au sein de l'équipe Data Lake du département Risque dans le cadre de projets de conformité, reporting, ingestion et valorisation des données pour une grande banque, gérant des flux stratégiques et des transformations critiques.

• A participé à la conception et à la modélisation des flux de données destinés au Data Lake.
• A intégré les données SAB et alimenté les plateformes décisionnelles.
• A développé et industrialisé les pipelines d'ingestion de données.
• A stocké les données au format Parquet et créé les tables Hive associées.
• A développé les traitements de transformation et de préparation des données pour les besoins de reporting.
• A mis à disposition les données pour les usages Data Factory, Cognos et Oracle Reporting.
• A créé et maintenu les scripts de déploiement automatisés sous Jenkins.
• A participé aux activités de support et de transfert de connaissances auprès des équipes Outre-Mer.
• A chiffré les évolutions fonctionnelles et techniques.
• A validé les Merge Requests et effectué la revue de code.
• A analysé et résolu les incidents de production.
• A optimisé et refactorisé les traitements existants afin d'améliorer les performances et la maintenabilité.
• A généré automatisé les fichiers CSV et PDF destinés à l'intégration par d'autres entités du groupe.
• A participé à l'amélioration continue des processus d'industrialisation et de qualité des développements.

Il a piloté deux projets stratégiques au sein du département Risque de … : la mise en œuvre d'une plateforme de surveillance continue du risque (SCR) et un projet de gestion des risques climatiques physiques, intégrant des données internes et externes sur Azure Databricks.

• Projet SCR : A participé à la conception et à la modélisation de la plateforme Data.
• A intégré les données Factiva Dow Jones et alimenté les zones de stockage via Event Hub.
• A intégré les données INSEE pour l'alimentation du référentiel des contreparties.
• A développé des traitements PySpark sur Databricks pour l'ingestion, la transformation et la préparation des données.
• A créé et industrialisé les pipelines de traitement de données.
• A développé les scripts de calcul et de mise à jour des KPI via PySpark.
• A stocké et valorisé les données dans Azure SQL.
• A orchestré les traitements sur Databricks.
• A participé à l'industrialisation des traitements de Machine Learning.
• A indexé les données dans Azure Search pour les besoins des applications Front-End.
• A validé les flux et les solutions techniques proposées aux équipes Data & IA.
• A effectué la revue de code et accompagné techniquement les développeurs.
• A maintenu en conditions opérationnelles les traitements Data.
• Projet RCP : A participé à la définition de l'architecture technique de la plateforme Data.
• A développé les traitements PySpark pour l'ingestion et la transformation des données.
• A développé et maintenu les DAGs Airflow.
• A réalisé les tests unitaires et les tests d'intégration.
• A validé les Merge Requests et Pull Requests.
• A mis en place l'ordonnancement des traitements via Airflow.
• A mis en œuvre et industrialisé les pipelines CI/CD.
• A développé les scripts CTRL-M pour l'alimentation des environnements Cloud.
• A participé aux déploiements et aux mises en production.
• A rédigé les spécifications techniques et les dossiers d'architecture.
• A conçu des modèles dimensionnels et des modèles en étoile pour les besoins BI.
• A participé aux revues de code.
• A accompagné techniquement les équipes projet.
• A maintenu en conditions opérationnelles l'infrastructure.

Il a assuré le leadership technique GCP au sein de l'équipe Marketing de BPCE, piloté la conception et l'industrialisation des pipelines Data destinés aux plateformes analytiques et décisionnelles, avec des responsabilités d'encadrement et d'architecture.

• A participé à la conception et à la modélisation des flux de données.
• A développé et industrialisé les pipelines d'ingestion et de transformation de données.
• A développé des traitements Spark pour la préparation et la valorisation des données.
• A réalisé les développements, tests unitaires et tests d'intégration.
• A mis en place et maintenu les workflows d'orchestration via Airflow.
• A déployé et industrialisé les traitements via Jenkins et pipelines CI/CD.
• A participé à la conception de l'architecture Data Platform.
• A créé et maintenu les scripts de déploiement automatisés.
• A suivi les recettes et accompagné les mises en production.
• A rédigé les spécifications techniques et les dossiers d'architecture.
• A conçu des modèles dimensionnels et des modèles en étoile pour les besoins BI.
• A validé les flux et les solutions techniques entre les plateformes GCP et les environnements Azure.
• A validé les spécifications fonctionnelles en collaboration avec les équipes métier.
• A réalisé les revues de code et validé les Merge Requests.
• A animé les échanges techniques et accompagné les développeurs.
• A maintenu en conditions opérationnelles et assuré le support de production.

Il a intervenu au sein de l'entité Phenix de … pour développer et moderniser la plateforme Big Data dédiée au traitement, à l'intégration et à la diffusion des données métiers, menant des projets majeurs de migration et d'optimisation.

• A participé à la conception et à la modélisation des flux de données de la plateforme Big Data.
• A développé et industrialisé les traitements Data Engineering.
• A réalisé les développements, tests unitaires et tests d'intégration.
• A mis en place et maintenu les workflows d'orchestration via Azkaban.
• A historisé les données sur Google Cloud Storage (GCS).
• A développé le composant Streaming Loader permettant la récupération et la diffusion des données entre BigQuery et Kafka.
• A développé et optimisé les traitements Spark pour l'intégration et la transformation des données.
• A migré les données et composants depuis Cassandra vers BigQuery.
• A participé au projet de migration des traitements Spark 2 vers Spark 3.
• A migré les applications et composants ElasticSearch de la version 6 vers la version 7.
• A créé les dossiers d'architecture technique.
• A rédigé les spécifications techniques.
• A participé aux choix d'architecture et aux évolutions de la plateforme Data.
• A réalisé les scripts de déploiement automatisés.
• A validé les Merge Requests et effectué la revue de code.
• A participé aux mises en production et aux déploiements.
• A maintenu en conditions opérationnelles et assuré le support de production.

Il a intervenu au sein des équipes … pour développer et faire évoluer des plateformes de supervision métier, des traitements temps réel et batch destinés à des applications critiques du groupe, gérant des flux d'importance stratégique.

• A participé à la conception et à l'évolution des architectures applicatives et Data.
• A développé des solutions de supervision métier et technique en temps réel.
• A conçu et réalisé des traitements batch et temps réel.
• A participé aux études d'architecture et aux choix techniques des nouvelles applications.
• A réalisé des audits techniques et des analyses d'impacts.
• A implémenté le mécanisme MongoDB Change Stream pour la gestion des flux temps réel.
• A participé à la modélisation et à la conception des solutions.
• A développé des services backend et des composants d'intégration.
• A réalisé les tests unitaires, tests d'intégration et tests de montée en charge.
• A développé les scripts d'automatisation et de déploiement sous Jenkins, Ansible et Bash.
• A participé au cadrage fonctionnel avec les Business Analysts.
• A réalisé les contrats d'interfaces et les spécifications techniques.
• A validé les User Stories et accompagné les équipes métier.
• A migré et modernisé plusieurs applications de supervision métier.
• A développé des plateformes de suivi temps réel des transactions et paiements.
• A déployé les applications sur les infrastructures du groupe.
• A coordonné avec les équipes infrastructure et production.
• A maintenu en conditions opérationnelles les applications critiques.
• A analysé et résolu les incidents de production.
• A participé aux activités de support et d'amélioration continue.

Il a assuré le rôle de Tech Lead au sein d'une squad de développement (Pizza Team) dans le cadre de la transformation de l'Architecture Réactive de …, intervenant sur des applications critiques de traitement temps réel, supervision métier et plateformes Big Data, avec des responsabilités d'encadrement technique.

• A cadré techniquement les applications développées sur les technologies Spark, Kafka, ELK, Akka, Play Framework, Cassandra et PostgreSQL.
• A participé aux choix d'architecture et aux orientations techniques des nouvelles applications.
• A conçu et modélisé les architectures applicatives et les schémas de données.
• A accompagné les Product Owners dans les phases de cadrage fonctionnel et technique.
• A réalisé les études de faisabilité et chiffrage des évolutions.
• A participé à la définition des standards de développement et des bonnes pratiques d'ingénierie.
• A encadré techniquement les développeurs et accompagné les nouveaux arrivants.
• A animé les revues de code et validé les Merge Requests.
• A réalisé des audits de code et optimisé les traitements existants.
• A participé aux développements complexes et aux sujets d'architecture.
• A réalisé les contrats d'interfaces entre applications.
• A rédigé les dossiers techniques et d'exploitation.
• A défini les stratégies de monitoring et d'observabilité.
• A mis en place les indicateurs de supervision des plateformes.
• A développé des plateformes de supervision métier en temps réel.
• A conçu et réalisé des applications événementielles basées sur Kafka.
• A développé des traitements distribués utilisant Spark.
• A participé à la migration de plusieurs applications vers des architectures plus modernes et résilientes.
• A déployé et industrialisé les applications sur les infrastructures du groupe.
• A coordonné avec les équipes infrastructure, production et exploitation.
• A maintenu en conditions opérationnelles les plateformes critiques.
• A géré les incidents et optimisé les performances applicatives.
• A optimisé les requêtes SQL et ElasticSearch.
• A réalisé les tests de charge et de montée en charge.
• A contribué à la modernisation de plusieurs plateformes stratégiques du groupe.