Data Engineer — Streaming & Big Data

Mission de consulting en optimisation de bases de données pour une plateforme SaaS confrontée à des enjeux de performance et de scalabilité.

• Audit et optimisation des stratégies d'indexation et de partitionnement PostgreSQL sur bases haute concurrence.
• Analyse des plans d'exécution SQL pour identifier et éliminer les goulets d'étranglement sur requêtes analytiques critiques en production.
• Refonte des modèles de données pour améliorer la scalabilité et réduire les échecs de traitement en aval.

Intégration de l'équipe data d'un opérateur télécom majeur (Djezzy) pour concevoir et industrialiser une plateforme data unifiée traitant flux temps réel et batch, supportant jusqu'à 2 000 messages/seconde avec un SLA de production < 10 minutes.

• Conception et déploiement d'une architecture distribuée NiFi → Kafka → Spark Structured Streaming capable de traiter des données télécom massives (CDR, billing, usage réseau) en temps réel et batch.
• Développement de pipelines Spark Structured Streaming avec gestion de windows glissantes (5 min / slide 1 min), watermarks (2 min) pour données tardives et checkpointing HDFS garantissant tolérance aux pannes et exactly-once processing.
• Administration et optimisation d'un cluster Kafka (4 topics, 16 partitions) sous pics de charge jusqu'à 2 000 msg/s via gestion manuelle des offsets et segmentation des consumer groups par cas d'usage.
• Mise en place de pipelines de détection de fraude télécom (SIMBOX et SIM Cloning) via analyse comportementale et corrélation IMEI/MSISDN.
• Développement de solutions Revenue & Billing analytics pour suivi des factures et identification des clients avec reste à payer < 500 DZD, déclenchant campagnes de fidélisation automatisées.
• Réalisation de l'analyse d'usage client avec corrélation temps réel entre activité réseau, statut abonné et données de facturation.
• Optimisation du Data Warehouse Teradata via requêtes analytiques complexes et réduction des temps d'exécution jusqu'à 40%.
• Industrialisation et déploiement des composants data via containerisation Docker et orchestration Kubernetes pour scalabilité, haute disponibilité et résilience en environnement de production.
• Mise en place d'une chaîne CI/CD via GitLab pour versioning des pipelines data, automatisation des déploiements sur Kubernetes et amélioration de la reproductibilité des releases.
• Déploiement de dashboards analytiques via Apache Superset pour le suivi des KPI télécom (fraude, billing, usage réseau, performance client).
• Mise en place de traitements batch enterprise ETL/ELT via Informatica PowerCenter, traitant plusieurs millions d'enregistrements/jour avec respect des SLA (< 40 min).
• Contribution aux initiatives de Data Quality et gouvernance des données via Informatica IDQ en contexte de données sensibles (PII télécom) et exigences réglementaires.

Intégration du centre R&D pour développer des solutions d'apprentissage automatique appliquées à des cas d'usage opérationnels.

• Développement de pipelines Python/SQL pour extraction, nettoyage et transformation de grands volumes de données destinées à l'entraînement ML.
• Réalisation du feature engineering et entraînement de modèles prédictifs XGBoost pour applications opérationnelles.
• Développement d'APIs Python sécurisées pour prédictions ML temps réel en production.
• Documentation de l'architecture et assurance de la reproductibilité via workflows ML basés sur Git.