Data Engineer
A intégré une équipe data pour concevoir et maintenir des pipelines de données robustes et scalables traitant des volumes massifs.
- Conception et développement de pipelines de données (ETL/ELT) robustes et scalables avec Talend.
- Traitement et transformation de données massives via Apache Spark en Scala sur des notebooks Databricks.
- Administration et optimisation de la plateforme Snowflake (modélisation, gestion des schémas, optimisation des requêtes, gestion des coûts).
- Industrialisation des traitements via la mise en place de fichiers de configuration et paramétrage dynamique des pipelines.
- Développement de frameworks de tests automatisés en Scala pour garantir la fiabilité et la qualité des flux de données.
- Mise en place de contrôles de qualité de données (data validation, monitoring).
- Pilotage de la supervision et de l'amélioration continue des pipelines (performance, fiabilité, disponibilité).
- Développement de visualisations et restitutions de données avec Tableau pour les équipes métiers.
- Collaboration avec les équipes data/produit pour la mise à disposition de datasets exploitables.
Environnement technique