Data Engineer

A intégré l'équipe Data & AI for Quality d'Airbus afin de concevoir, industrialiser et optimiser des pipelines de données industriels à grande échelle.

• A conçu et optimisé des pipelines industriels distribués en Python et PySpark pour transformer de grands volumes de données de qualité dans Skywise et Palantir Foundry.
• A développé des transformations incluant le nettoyage, la normalisation, la déduplication, des jointures complexes et des agrégations.
• A optimisé les performances de Spark en utilisant le partitionnement, le parallélisme, le cache/persist et les broadcast joins pour stabiliser les temps d'exécution.
• A traité des volumes atteignant jusqu'à 6 millions de lignes par jeu de données et des pipelines recevant jusqu'à 50 millions d'enregistrements en entrée.
• A conçu des schémas de données, des tables intermédiaires et des jeux de données finaux structurés pour les analyses et applications métier.
• A intégré des sources de données industrielles et de référence en connectant SAP, Skywise, Excel et des bases de données internes.
• A mis en place des traitements batch planifiés et des flux de streaming pour exposer rapidement l'information opérationnelle.
• A développé des composants Python pour valider, consolider et publier les données vers des tableaux de bord et applications métier.
• A produit des Data Products réutilisables, documentés et traçables pour améliorer l'usage des données de qualité.
• A mis en place le lignage des données pour tracer les transformations de la source à la publication.
• A formalisé les règles de gestion, définitions de champs, ownership, conventions de nommage et documentation fonctionnelle.
• A déployé les solutions avec Docker et GCP, tout en assurant le suivi des exécutions, des logs et le support aux utilisateurs.