Data Engineer

Intervention chez Airbus pour concevoir des assistants de connaissances et des solutions d'IA d'entreprise pour les opérations de fabrication.

• A conçu des pipelines de données de bout en bout pour ingérer, nettoyer, transformer et harmoniser les connaissances de fabrication à partir de spécifications Excel complexes, de PDF et de Confluence, créant ainsi des jeux de données prêts pour l'IA.
• A conçu une architecture de données multi-corpus sur GCP, standardisant les données semi-structurées en JSON avec des métadonnées métier et une traçabilité, tout en intégrant la documentation non structurée dans une base de connaissances centralisée.
• A automatisé le pipeline DataOps de Confluence vers GCP, couvrant l'extraction, le prétraitement, Cloud Storage et la mise à jour de la base de données de connaissances pour réduire la maintenance manuelle.
• A conçu et industrialisé un assistant RAG d'entreprise pour la gestion des opérations de fabrication en utilisant Vertex AI, Gemini, FastAPI, React, Firestore et une ontologie de domaine, fournissant des réponses fondées et traçables.
• A déployé des services conteneurisés avec Docker, Cloud Build, Artifact Registry et Cloud Run, en mettant en œuvre la sécurité, la surveillance, la gouvernance des données et le contrôle d'accès.
• A collaboré avec les équipes de fabrication, Data/AI, IT, cybersécurité et gouvernance pour livrer une solution Data & AI scalable, progressant de la PoC vers la production à travers les portes Airbus LBIP+.
• A piloté des cas d'usage d'IA générative, depuis les exigences métier et l'architecture jusqu'au prototypage, la validation par des experts et la préparation de MVP.
• A conçu des workflows d'IA agentique pour automatiser les contrôles de qualité formels des livrables industriels, évaluant l'exhaustivité, la cohérence des normes et les exigences liées aux risques avec traçabilité, citations et validation humaine.
• A appliqué la gouvernance de l'IA et la classification des données pour garantir l'utilisation sécurisée et conforme des données d'entreprise.
• A collaboré avec des experts métier en France et en Allemagne pour traduire les besoins opérationnels en solutions d'IA scalables.

Intégration de l'équipe data d'INWI pour concevoir et optimiser les flux de données temps réel et les pipelines ETL.

• A conçu des pipelines Kafka et Spark/PySpark en temps réel traitant plus de 500 000 événements toutes les 15 minutes, fournissant des ensembles de données prêts pour l'analytique pour le suivi de la qualité ADSL, Fibre et 4G.
• A optimisé les pipelines ETL SSIS traitant plus de 50 millions de lignes par jour, réduisant le temps d'exécution de 2 heures à 4 minutes, la maintenance des partitions de 6 heures à moins d'une minute, et économisant environ 350 Go par mois.
• A construit des tableaux de bord de surveillance SSRS et Power BI pour l'observabilité des pipelines, la qualité des données et l'analytique opérationnelle des télécommunications.
• A collaboré au sein d'équipes Agile/Scrum pour traduire les exigences métier en pipelines de données scalables et en workflows de reporting automatisés.

Participation au développement et à la migration des flux de données pour l'ONCF.

• A construit des pipelines d'ingestion Python scalables sur GCP, traitant et chargeant plus de 10 millions d'enregistrements par jour dans BigQuery avec une validation automatisée et un traitement par lots fiable.
• A contribué à la migration des charges de travail analytiques de SQL Server vers BigQuery, en concevant des modèles dimensionnels dbt et des schémas en étoile qui ont réduit la latence des requêtes analytiques de 60%.
• A construit et orchestré des flux de travail ELT avec Apache Airflow, automatisant l'ingestion, la transformation, la validation et la planification tout en améliorant la fiabilité des pipelines et la qualité des données.
• A développé des tableaux de bord Power BI et des rapports de KPI sur des jeux de données curés, permettant aux parties prenantes de consommer des informations prêtes pour l'analytique.