Data Engineer
Intervention chez ABA Technology pour renforcer l'équipe data en concevant des architectures et des pipelines de données modernes.
- Mise en place d'une architecture Lakehouse avec couches Bronze, Silver et Business ainsi qu'une ingestion incrémentale.
- Conception et développement de pipelines de données avec AWS S3, Databricks et PySpark.
- Développement de modèles dbt/SQL incluant des modèles incrémentaux, des modèles éphémères, des tests de qualité et des snapshots.
- Mise en œuvre de Slowly Changing Dimensions (SCD) et d'un Star Schema pour la modélisation analytique.
- Conception d'un pipeline metadata-driven pour automatiser et standardiser les traitements.
- Orchestration des workflows avec Airflow et Docker, incluant l'exécution de modèles dbt et de pipelines Databricks.
Environnement technique