Senior Data Engineer

Intégration au sein d'une équipe data en charge de la modernisation et l'industrialisation des pipelines d'ingestion sur une plateforme e-commerce de grande envergure, avec responsabilité transversale en data analysis et recrutement technique.

• Conception et industrialisation d'un pipeline d'ingestion incrémental sur Azure Data Factory orchestrant l'API REST Commerce Tools avec pagination par offset et watermarking, traitant plus de 22 000 événements historiques.
• Développement de traitements distribués PySpark sur Databricks pour la transformation événementielle incluant déduplication multi-niveaux, MERGE Delta insert-only null-safe et gestion des chevauchements inter-runs via Auto Loader streaming.
• Mise en place d'une architecture Lakehouse robuste (Bronze/Silver) avec mécanismes idempotents de reprise sur erreur, permettant le suivi des performances en temps quasi-réel.
• Conception et industrialisation de pipelines sur Microsoft Fabric (Lakehouse, Warehouse, Dataflows Gen2) avec gestion complète de la plateforme (workspaces, sécurité, capacités, monitoring, gouvernance).
• Implémentation de shortcuts entre Databricks et Fabric Lakehouse pour mutualiser les données sans duplication et optimiser les coûts de stockage.
• Identification et correction d'un bug critique lié au Spark runtime (checkpointPolicy V2), garantissant la stabilité en production.
• Conception d'un modèle sémantique global du Data Warehouse pour standardiser les KPI et sécuriser les définitions métier.
• Optimisation des performances SQL et Spark pour réduire les temps de traitement et améliorer la fiabilité des jobs.
• Mise en place de standards de développement, versioning Git et bonnes pratiques DataOps au sein de l'équipe.
• Conception et développement de rapports Power BI pour le suivi des indicateurs métiers et assurance de la validation technique et fonctionnelle avant mise en production.
• Participation au recrutement technique en évaluant les compétences des candidats Data lors des entretiens.
• Encadrement des Data Analysts dans la modélisation de données et la construction de modèles analytiques exploitables.

Enseignement de modules Big Data à des étudiants, couvrant les aspects architecturaux et opérationnels de la plateforme de données.

• Conception et dispensation d'un cours complet sur l'architecture Big Data couvrant les principes, patterns et technologies du domaine.
• Enseignement du traitement distribué des données avec Apache Spark en Scala pour la transformation et l'agrégation à grande échelle.
• Couverture de l'orchestration des workflows avec Apache Airflow pour la gestion des jobs et pipelines en production.

Pilotage de la conception et du déploiement d'une infrastructure data lake sur cluster Cloudera pour Orange Money, en charge de multiples projets critiques traitant des flux financiers et opérationnels à grande volumétrie.

• Conception et déploiement d'un Data Lake sur Minio hébergé sur cluster Cloudera pour centraliser les données métiers provenant de multiples systèmes transactionnels.
• Développement de pipelines d'ingestion avec Apache NiFi pour collecter et transférer les flux de données en temps réel vers le Data Lake.
• Développement de traitements distribués PySpark pour la transformation, le nettoyage et l'enrichissement des données à grande échelle, réduisant les doublons de 40% et améliorant significativement la disponibilité et la traçabilité.
• Utilisation d'Apache Iceberg pour la gestion de tables analytiques évolutives avec support des opérations ACID et time-travel sur les données historiques.
• Automatisation des workflows via Apache Airflow pour orchestrer les jobs quotidiens de traitement et d'agrégation.
• Automatisation des KPIs stratégiques via un pipeline robuste orchestré par Apache Airflow avec dashboards Power BI intégrant Power Automate pour notifications automatiques, atteignant +90% de fiabilité sur les indicateurs clés.
• Développement d'un pipeline d'automatisation du recouvrement basé sur Python et PySpark pour traiter les flux de créances à grande volumétrie, augmentant de 30% les recouvrements.
• Optimisation des processus d'analyse des données clients via PostgreSQL et Starburst pour prioriser les dossiers à recouvrer.
• Conception et déploiement d'une application de suivi client via Starburst avec ETL Spark Scala temps réel, réduisant de 50% le temps de traitement des réclamations.
• Conception d'un pipeline Mood Streaming intégrant Kafka, Spark Streaming et Iceberg sur Cloudera avec indexation Elasticsearch, réduisant le temps de traitement de 5 minutes à quelques secondes.
• Conception d'une architecture Data Mesh décentralisée sur Cloudera avec PySpark, NiFi, Iceberg et Starburst, améliorant la scalabilité et la gouvernance.
• Utilisation de Starburst pour interroger les données distribuées sans déplacement, optimisant les performances analytiques.

Intégration au sein d'une équipe data en charge de projets d'intégration et de modernisation d'infrastructures de données sur environnements Hadoop, avec focus sur la centralisation des données métiers et clients.

• Déploiement d'un data warehouse client sur CEM (Customer Experience Management) pour améliorer l'expérience client et prédire les erreurs de facturation.
• Réalisation de la migration des données provenant des sondes Astellia en intégrant les flux réseau dans le Data Lake via NiFi.
• Pilotage des migrations de bases de données via Sqoop et NiFi dans des environnements Hadoop, en construisant des pipelines robustes avec Spark.

Pilotage de la mise en place d'une infrastructure cloud-native sur Microsoft Azure pour centraliser les indicateurs d'une organisation, avec focus sur l'intégration temps quasi-réel et le reporting automatisé.

• Conception des reportings sur Power BI.
• Conception et déploiement d'un pipeline ETL cloud-native avec Azure Data Factory pour centraliser les indicateurs.
• Intégration des données via Azure Logic Apps et réalisation des transformations avec Azure Data Flow.
• Mise en place du stockage dans Azure SQL Database pour exploitation analytique et reporting.
• Configuration de la visualisation automatisée avec Power BI Service connecté au modèle de données centralisé.
• Mise en place du streaming temps quasi-réel via Power Automate connecté à Microsoft Forms.
• Traitement et stockage des données dans SharePoint Online et Azure SQL Database pour suivi opérationnel.
• Automatisation des flux de sélection et des alertes via Power Automate.

Centralisation et automatisation du traitement des données opérationnelles d'une plateforme de télécommunications couvrant plusieurs opérateurs.

• Réalisation de la centralisation des données multi-opérateurs.
• Automatisation des calculs de performance commerciale et paie.