Data Engineer

Mission chez Fortuneo pour participer à la conception et à l'industrialisation des pipelines de données et des applications data.

• Conception, orchestration et monitoring de pipelines ETL idempotents avec Airflow, Python, SQL, DBT et des services AWS serverless.
• Industrialisation de traitements sur AWS Lambda et AWS Batch avec gestion des évolutions de schémas, des colonnes manquantes ou ajoutées et des dimensions à évolution lente (SCD).
• Participation à la migration du data warehouse Redshift et de modèles DBT vers une modern data stack intégrant S3, Snowflake, Airflow, DBT avec contrôles de qualité et sans perte de données.
• Conception de modèles DBT selon une architecture en couches staging, intermediate et mart pour structurer les transformations et mettre à disposition des données Analytics Ready.
• Enrichissement des transactions bancaires avec les codes MCC afin de catégoriser automatiquement les dépenses et d'analyser les habitudes de consommation des clients.
• Mise à disposition d'indicateurs via des tables mart Redshift et une application Streamlit pour permettre aux équipes métiers d'explorer les dépenses par catégorie de commerçant.
• Refonte d'une application Data en remplaçant Streamlit sur ECS Fargate par Dash et AWS Lambda containerisée, réduisant les coûts cloud tout en améliorant la scalabilité et l'expérience utilisateur.

Mission chez Enedis pour concevoir et mettre en œuvre des pipelines de données et optimiser les traitements pour les métiers.

• Conception et mise en œuvre de pipelines de collecte, de transformation et de mise à disposition de grands volumes de données opérationnelles.
• Intégration de sources hétérogènes issues de bases relationnelles PostgreSQL et de systèmes NoSQL Hive avec contrôles de cohérence et fiabilisation des flux.
• Optimisation des traitements de données, permettant de réduire de 20 % le temps de traitement des flux opérationnels.
• Développement de tableaux de bord interactifs avec Power BI et Denodo afin de faciliter l'analyse de données complexes et d'améliorer la prise de décision.
• Collaboration avec les équipes métiers pour recueillir les besoins, définir les indicateurs et traduire les attentes fonctionnelles en solutions Data exploitables.
• Documentation des traitements et participation à l'amélioration continue des pipelines dans un environnement de travail agile.