Data Engineer
Intégration d'une équipe transverse en charge de la qualité des données et du Self-Service BI, travaillant avec les métiers Finance, Asset Management, Exploitation, Juridique et RH.
- Pilotage de l'implémentation de Databricks sur AWS et définition de l'architecture cible avec les standards (Unity Catalog, tables Delta, pipelines, jobs, CI/CD, couche sémantique).
- Migration des modèles dbt de Trino vers Databricks en SQL ANSI.
- Réalisation d'un POC Fabric pour accélérer la démocratisation des données (Dataflow gen2, User Data Functions, OneLake).
- Conception et développement de l'ingestion des données via AWS Lambda et AWS Glue à partir d'API et de bases de données internes.
- Automatisation des règles de qualité via des formulaires en langage naturel et scripts Python (AWS Lambda, AWS EventBridge, Step Functions Map) avec envoi d'alertes email.
- Création de pipelines de traitement avec Athena (SQL) et Glue/Lambda (Python), orchestrés via Step Functions.
- Construction des datasets GOLD, snapshots et du modèle de données sémantique avec tests dbt core.
- Création et maintenance de plus de 10 dashboards critiques Power BI et pipelines complexes avec Dataiku pour la Finance.
- Management d'une équipe de 3 Data Product Owner et 3 Data Quality Leader, avec mise en place de rituels et amélioration continue des processus.
- Pilotage de la roadmap Data Produits (+100 produits en production) et du PI Planning.
Environnement technique