Data Engineer
Intégration d'une équipe data d'une plateforme bancaire pour moderniser et optimiser les traitements de données Big Data existants.
- Analyse des traitements existants pour comprendre les besoins métiers et les règles de gestion applicables.
- Participation à la migration d'une procédure IQ vers une chaîne Big Data sous Hive et Python.
- Rédaction de la documentation fonctionnelle et technique des traitements migrés.
- Collaboration avec les équipes métier et techniques pour valider l'exactitude des traitements.
- Réalisation des tests unitaires et participation aux phases de release.
- Analyse des performances des requêtes Hive et optimisation du partitionnement des données sur HDFS.
Environnement technique