Data Engineer

Intégré chez SOCOTEC Monitoring France en tant que stagiaire Data Engineer pour concevoir et développer des pipelines de données au sein d'une architecture Lakehouse cloud.

• A développé des pipelines de données end-to-end sur Databricks et AWS, incluant l'ingestion, la transformation, la modélisation et l'exposition, en traitant des millions d'enregistrements sur des dizaines de milliers de tables.
• A conçu et optimisé des traitements ETL/ELT distribués avec Apache Spark, réduisant les temps de traitement de 70% grâce à l'optimisation des jointures et du partitionnement.
• A contribué à la gouvernance du Lakehouse SOCOTEC en réalisant le contrôle qualité des données via des expectations et en assurant la sécurisation et la pseudonymisation des données sensibles via Unity Catalog.
• A développé des dashboards Power BI et expérimenté des cas d'usage d'IA générative appliqués à la data engineering, notamment pour des requêtes en langage naturel.
• A conçu un pipeline de documentation automatisée du datalake exploitant le data lineage pour générer et appliquer des commentaires sur plus de 30 000 tables, automatisant un travail représentant des milliers d'heures en manuel.
• A mis en œuvre des techniques de parallélisation sur Databricks avec des tâches For Each et a industrialisé les processus via Declarative Automation Bundles (DABs) et CI/CD pour garantir un déploiement fiable et reproductible.

Occupé un poste de stagiaire Data Engineer & DevOps chez Intouch Sénégal pour automatiser la gestion et le traitement de grands volumes de données financières.

• A conçu un système automatisé de réconciliation des transactions financières entre Intouch et ses partenaires répartis dans 28 pays, réduisant le temps de réconciliation manuelle de 90 %.
• A construit des pipelines ETL automatisés avec Apache Airflow pour gérer l'extraction, la normalisation, la comparaison et le reporting, en traitant des millions de transactions par jour.
• A déployé l'ensemble de la solution sur Google Kubernetes Engine (GKE) à l'aide de Terraform, Helm et GitLab CI.
• A développé des algorithmes de matching pour la détection d'incohérences et a optimisé des requêtes SQL.

A contribué aux développements back-end et à la maintenance des solutions de paiement et de supervision de l'entreprise.

• A développé et assuré la maintenance des API transactionnelles ainsi que des systèmes internes de paiement.
• A maintenu et amélioré le backend du moteur de ticketing et du système de supervision.