Ingénieur Data
Intégration chez Efficy Brussels en tant qu'ingénieur data afin de réaliser des projets autour des pipelines ETL, de la migration de données CRM et de la préparation de données pour l'analyse.
- A contribué à la migration des données CRM vers AWS S3 et à la mise en place d'un Lakehouse Databricks évolutif avec Delta Lake.
- A mis en place de pipelines d'ingestion pour charger les données brutes dans les tables Delta des couches Bronze et Silver, stockées au format Parquet.
- A développé des transformations ETL avec PySpark entre les couches Bronze et Silver afin de nettoyer, contrôler et standardiser les données.
- A conçu des tables analytiques dans la couche Gold, adaptées au reporting et à l'exploitation par les équipes métier.
- A garanti la qualité et la cohérence des données grâce à des règles de validation et de standardisation tout au long du pipeline.
- A travaillé au sein d'une équipe Agile Scrum, en collaboration sur les tâches d'ingénierie des données organisées en sprints.
Environnement technique