Data Engineer – Log Management
A intégré une équipe data engineering (20 personnes) en charge de la cybersécurité et du log management, intervenant sur la collecte, la centralisation et l'exploitation de données de sécurité à grande échelle.
- A conçu et déployé des pipelines Logstash automatisés via Docker et GitLab CI/CD pour le traitement de flux massifs (plus de 30 To/jour).
- A effectué l'analyse et la remédiation des événements de sécurité via SIEM avec amélioration continue des mécanismes de détection et coordination.
- A piloté la migration de Splunk vers une solution Grafana et MySQL pour le monitoring des logs, intégrant les dashboards métiers et optimisant les requêtes SQL.
- A développé une architecture Logstash-Kafka-Elasticsearch avec transformation temps réel des logs via Kafka Streams (KStream) et diffusion vers Elasticsearch.
- A automatisé la gestion de la collecte et de la centralisation des logs à grande échelle (Filebeat/Metricbeat) avec équilibrage de charge pour ingérer plus de 30 To de données par jour.
- A mis en place un projet GitLab pour la gestion centralisée des pipelines et configurations.
- A utilisé Ansible et des playbooks pour automatiser les déploiements et la gestion des accès.
- A intégré des solutions d'intelligence artificielle générative pour l'anticipation et la remédiation des fuites de données internes.
- A travaillé en méthodologie Agile (Scrum, Jira) au sein d'une équipe pluridisciplinaire (Data Engineers, Développeurs, Data Scientists).
Environnement technique