Data Engineer
Intégration de l'équipe Data d'Orange France en alternance afin de participer à la conception, la migration et l'optimisation des flux de données et des traitements.
- Réalisation de l'audit technique et métier pour la migration de traitements PHP vers Python, incluant des recommandations et la conception de la nouvelle solution.
- Conception et développement de 4 pipelines ETL de bout en bout avec Python/Pandas et Apache Airflow, de l'ingestion à la mise à disposition des données.
- Gestion d'un flux quotidien de plus de 100 000 enregistrements et 3 flux hebdomadaires de plus de 20 000 enregistrements chacun.
- Optimisation du temps d'ingestion grâce à la migration des sources SAP BO vers BigQuery.
- Amélioration de la fiabilité des données grâce à la correction des erreurs de dates et de calcul.
- Collaboration avec les équipes DevOps, développement et métier pour assurer l'intégration de la solution dans l'application interne.
- Réduction des temps de traitement de 12 à 2 minutes sur une pipeline, de 1h à 15 minutes sur une autre, et obtention de gains similaires sur deux autres pipelines.
Environnement technique