Senior Data Engineer

Intervention au sein d'une équipe de scale-up pour concevoir et implémenter des plateformes de données cloud.

• A conçu et implémenté une architecture Medallion Bronze, Silver et Gold sur GCP en utilisant BigQuery et Cloud Storage pour la gestion des données brutes, la standardisation, la validation de la qualité et les produits analytiques.
• A construit et maintenu des pipelines d'ingestion par lots intégrant plus de 6 API tierces (dont Pennylane, Pliant, HubSpot, Google Ads) ainsi que des sources MongoDB et PostgreSQL dans BigQuery.
• A développé des flux de transformation SQL et dbt modulaires avec des tests automatisés de schéma, d'intégrité, de fraîcheur et de règles métier, en intégrant GitHub Actions pour la revue de code et le déploiement contrôlé.
• A implémenté DataHub pour centraliser le catalogage des données, la propriété des jeux de données, la détectabilité et la documentation des métadonnées techniques et métiers sur environ 80 tables de production.
• A implémenté un serveur MCP exposant les métadonnées DataHub au niveau des tables et des colonnes aux outils d'IA, permettant la découverte et l'interprétation assistées par IA des jeux de données.
• A construit un tableau de bord d'observabilité des données dans Google Cloud Monitoring couvrant l'état d'exécution, la fraîcheur et la qualité sur plus de 25 pipelines, réduisant le temps moyen de détection des incidents grâce à des alertes automatisées par Slack, Microsoft Teams et email.

Intervention en tant que consultant pour le client Allianz afin de concevoir et exploiter des environnements de données cloud à grande échelle.

• A conçu et exploité un lac de données Azure Medallion utilisant Azure Data Lake Storage (ADLS Gen2) et Databricks, traitant jusqu'à 500 Go de données hétérogènes par jour à travers les couches Bronze, Silver et Gold.
• A construit des pipelines ETL évolutifs en utilisant Python, SQL et Apache Spark pour ingérer, valider, transformer et agréger de grands volumes de données structurées et semi-structurées tout en maintenant un SLA de fraîcheur des données de 99,5%.
• A orchestré plus de 50 flux de production utilisant Apache Airflow, Prefect et ArgoCD, en implémentant des nouvelles tentatives tolérantes aux pannes et une planification automatisée pour les applications critiques en aval.
• A développé des modèles dimensionnels en utilisant SQL et dbt selon la méthodologie Kimball, livrant des tables de faits, des tables de dimensions et des data marts supportant plus de 100 analystes métiers et data scientists.
• A implémenté des contrôles de qualité des données en utilisant Pydantic, Pytest, Great Expectations et des tests dbt, automatisant plus de 200 validations de schémas, de contraintes et de contrats de données à travers les pipelines de production.
• A établi la surveillance des pipelines et le suivi centralisé des métadonnées en utilisant Grafana et PostgreSQL, réduisant le temps de résolution des incidents (MTTR) de 35%.
• A intégré OpenLineage à travers les modèles de transformation Spark et dbt pour fournir une traçabilité de bout en bout, une analyse d'impact, une auditabilité et un support pour la conformité réglementaire.
• A automatisé les tests d'application, la conteneurisation et le déploiement en production en utilisant Git, GitHub Actions, Docker, Kubernetes, ArgoCD et Terraform.

Assurance des opérations ferroviaires critiques pour la sécurité, la gestion des irrégularités et la prise de décision sensible au temps.

Participation à une formation aux opérations d'aviation, gestion des interventions d'urgence et communication critique pour la sécurité.