Projet de Fin d'Études - Data Engineer & Machine Learning Engineer
Intégration de l'équipe de Royal Air Maroc pour concevoir et développer une architecture Data & ML end-to-end dédiée à la prédiction des retards de vols.
- Conception d'une architecture Data & ML end-to-end pour l'ingestion IATA LEG, le traitement Big Data, l'entraînement des modèles, le déploiement d'une API REST et d'un dashboard opérationnel temps réel.
- Développement d'un pipeline distribué avec Apache Spark et Apache Hive pour traiter plus de 1,5 million de lignes de données aériennes et construire un dataset de plus de 600 000 vols après nettoyage, filtrage et enrichissement météo.
- Création de plus de 60 variables prédictives avancées incluant des rolling windows anti-leakage, la congestion aéroportuaire, la météo, le risque technique et ATC, le target encoding temporel et des interactions non-linéaires.
- Entraînement et calibration de modèles LightGBM en classification et régression avec une validation temporelle stricte, une calibration isotonique et une optimisation du seuil F-beta.
- Déploiement d'une API REST Django/DRF et d'un dashboard interactif Aviation Operations Center utilisant Chart.js, Leaflet.js et une visualisation temps réel des prédictions.
Environnement technique