Data Engineer
Intégration chez iAdvize pour gérer la Data Platform, l'analytics et l'ingestion temps réel des données d'interactions clients issues de l'assistant Shopping IA afin de piloter l'amélioration continue et évaluer l'impact sur les ventes.
- Conçu et piloté le chantier de refonte technique pour remplacer un pipeline complexe multi-étapes par une ingestion directe vers BigQuery.
- Mis en place Kafka Connect avec BigQuery Sink Connector pour automatiser l'ingestion des flux depuis les topics Kafka vers le Data Warehouse.
- Industrialisé le pipeline via la conteneurisation Docker, le déploiement automatisé et la gestion sécurisée des accès avec HashiCorp Vault.
- Déployé un système de monitoring et d'alerting complet pour assurer l'observabilité du flux de données en production.
- Développé et maintenu des pipelines de données batch et automatisé les infrastructures cloud.
- Optimisé des requêtes SQL pour améliorer les performances de traitement.
- Conçu des dashboards Tableau à destination des équipes métiers.
Environnement technique