Data Engineer

Intégration dans une équipe Data pour concevoir et industrialiser des pipelines ETL robustes sur cloud.

• Conception et automatisation de pipelines ETL en Python (PySpark) sur Databricks (Azure) selon l'architecture Medallion (Bronze/Silver/Gold) avec accent fort sur l'intégrité et la qualité des données.
• Mobilisation des services Azure (stockage, gestion des accès) autour de Databricks pour sécuriser et industrialiser les traitements.
• Mise en place du monitoring et du logging pour améliorer la fiabilité et l'observabilité des pipelines.
• Documentation des workflows, jobs et de l'architecture Data pour faciliter la gouvernance des données.
• Optimisation de traitements PySpark pour améliorer performance et scalabilité Cloud.

Travail sur la conception et la mise en œuvre d'une architecture Data Mesh décentralisée sur AWS avec infrastructure provisionnée via code.

• Conception et implémentation d'une architecture Data Mesh sur AWS avec gouvernance des données décentralisée.
• Automatisation du provisioning d'infrastructure via Terraform (Infrastructure as Code), incluant la gestion des accès et des rôles (IAM).
• Intégration de services AWS incluant S3, Glue, Redshift, Lake Formation, IAM.
• Développement de pipelines ETL robustes avec validation de schéma et optimisation des performances des requêtes.