Data Engineering Ops & Admin
BNP ParibasParisMars 2025 – Sept. 2025
Intégration de l'équipe data d'une institution bancaire de premier plan afin de renforcer la gestion, l'automatisation et la supervision des flux de données.
- Développement d'un script Python CI/CD orchestrant la suppression automatique des ressources obsolètes (topics Kafka, rôles, espaces Kibana) via API REST, générant une réduction de 90 % de la charge manuelle et économisant environ 4 jours par exécution.
- Conception d'un outil Python d'extraction de données à grande échelle depuis Elasticsearch combinant pagination API REST et filtres dynamiques, atteignant un débit de 310 Go/h (~12M documents/h), une réduction de 80 % du temps de traitement et la levée d'un blocage historique.
- Mise en place d'un dashboard Kibana sous forme de heatmap pour le monitoring temps réel des serveurs et la détection d'anomalies critiques, tout en adaptant les ingest pipelines à de nouveaux formats.
- Orchestration de la détection d'applications inactives via Kafka et Elasticsearch, avec une automatisation Python sous Rundeck et la mise en place d'un double-run pour assurer la redondance, garantissant zéro interruption sur les flux critiques.
- Correction de playbooks Ansible pour fiabiliser le déploiement et la scalabilité de l'infrastructure en production.
Environnement technique
KafkaElasticsearchPythonAnsibleREST APIKibanaRundeck