Data Engineer
Intégration de l'équipe data de Sopra Steria pour développer et maintenir des pipelines de données destinés à l'analyse et au reporting métier.
- Conception et développement de pipelines de données alimentant les besoins d'analyse et de reporting.
- Mise en place de l'extraction et l'ingestion de données depuis des messages Kafka via Apache NiFi.
- Traitement des données volumineuses en utilisant Apache Spark pour assurer des performances optimales.
- Orchestration et automatisation de l'ensemble des workflows à l'aide d'Apache Airflow.
- Déploiement des environnements de production et de développement via Ansible.
- Stockage des données transformées dans Hive pour les rendre accessibles à l'exploitation analytique.
Environnement technique