Data Engineer

Il a intégré le projet Axon, une plateforme d'intégration de données de santé multi-tenant (BE, FR, LU), pilotée par un système de Change Requests.

• A développé des pipelines ETL/ELT Python pour l'ingestion, la transformation et l'intégration de données de santé multi-pays vers le référentiel BCB, avec appels asyncio vers des APIs REST d'IA tiers pour l'enrichissement et la validation des données produit.
• A orchestré les workflows avec Prefect (flows idempotents, retries, replay) pour garantir la résilience et la traçabilité des traitements.
• A modélisé les collections MongoDB en contexte multi-tenant (BE, FR, LU) assurant l'isolation des données par client.
• A déployé via Docker et Kubernetes ; pipelines CI/CD GitLab CI couvrant build, tests et déploiement continu.
• A exécuté des requêtes SQL complexes sur SQL Server pour la validation des données métiers et les tests d'intégration.
• A conçu des dashboards Power BI de monitoring du référentiel BCB pour le contrôle qualité et la détection proactive des anomalies.
• A réalisé une étude data (13 Architecture Decision Records documentant les optimisations techniques), réduisant de 90% le temps d'exécution via optimisation des indexes MongoDB et éliminant 4 crashs liés aux timeouts d'APIs REST.

Il a rejoint Kuikops pour concevoir et industrialiser des architectures de données cloud.

• A développé des pipelines ETL Big Data avec PySpark, orchestrés via AWS Glue et Step Functions.
• A modélisé et stocké les données sur AWS : ingestion S3, bases RDS, entrepôt analytique Redshift.
• A exécuté des requêtes SQL sur RDS pour le contrôle qualité et la cohérence des flux de données.
• A mis en place des pipelines CI/CD GitLab CI pour automatiser tests et déploiement des workflows, réduisant les erreurs en production.
• A rédigé la documentation technique des architectures AWS pour faciliter la maintenabilité.

Il a réalisé son alternance dans le secteur de l'industrie 4.0, axée sur l'intégration et la valorisation des données de production industrielle.

• A conçu une architecture de données scalable intégrant des sources hétérogènes (SQL Server, SageX3, APIs REST).
• A développé des pipelines ETL avec Talend pour le chargement des données de production.
• A optimisé des flux massifs avec PySpark sur Databricks en intégrant les règles métiers, garantissant qualité et conformité.
• A formulé des requêtes SQL avancées sur SQL Server pour la transformation et l'analyse des données de production.
• A assuré la surveillance proactive des flux et la gestion des incidents via Jira pour garantir la continuité des traitements.
• A développé des dashboards Power BI interactifs pour le suivi des KPI financiers et industriels en temps réel.
• A automatisé les déploiements via GitLab CI/CD, standardisant les processus de livraison.