Senior Data Engineer

Intervention à la Société Générale en tant que Consultant Senior Data Engineer sur la migration d'une architecture Oracle/ExaData vers une architecture Big Data dédiée au calcul du risque de taux d'intérêt (IRR) et de change (FX).

• Rôle de Lead technique sur le périmètre IRR (Interest Rate Risk) & FX (Foreign Exchange).
• Développement et orchestration de jobs Spark pour le calcul de nouvelles métriques.
• Conception, mise en œuvre et déploiement en production continue de solutions techniques.
• Monitoring et analyse des données et chiffres en collaboration étroite avec les métiers.
• Conduite de la migration des jobs Spark vers Databricks.
• Pilotage de la migration des pipelines CI/CD sur les différents environnements (DEV, HOMOL, KLI, PROD).
• Migration technique des applications Spark / Scala comprenant la montée de version et le refactoring.
• Optimisation des jobs Spark en agissant sur le temps d'exécution, le tuning Spark et l'optimisation des fichiers.
• Gestion et optimisation du Data Lake Cloudera ainsi que la gestion des incidents de production N3 incluant analyse, diagnostic, correctifs et amélioration continue.

Intégration de l'équipe Data & IA de Sopra Steria Next en tant que Consultant en Big Data pour accompagner le Ministère de l'Intérieur et des Outre-Mer sur le projet Selfim de détection de fraudes des véhicules.

• Migration de l'application Selfim depuis Dataiku (DSS) vers un environnement Big Data.
• Implémentation des algorithmes et typologies de détection de fraudes dans Selfim en utilisant Spark et Airflow.
• Reconstruction de toute la chaîne de données de bout en bout afin d'assurer la bonne transmission des données depuis le SIV (Système d'Immatriculation des Véhicules).
• Développement et orchestration des jobs Spark, ainsi que des mécanismes d'alerting et de monitoring.

Intervention à la SGCIB pour travailler sur le projet SFTR, axé sur le développement de jobs Spark pour la récupération et la transformation des Alive Deals depuis le Datalake ainsi que la réalisation d'un outil de monitoring automatisé.

• Développement et configuration des jobs Spark pour le projet SFTR en extrayant les transactions financières depuis le Datalake, en les normalisant et les transformant selon les spécifications fonctionnelles, et en les préparant pour le traitement analytique.
• Implémentation et amélioration des jobs Spark traitant les données selon les spécifications fonctionnelles pour les stocker dans la couche DaaS du Datalake.
• Orchestration des jobs Spark avec Oozie et assurance du déploiement automatique en environnements de développement et de production.
• Implémentation de tableaux de bord de monitoring fonctionnel et technique avec Kibana et Elastic Search.
• Optimisation des jobs Spark pour réduire le temps de calcul et améliorer les performances globales.