Ingénieur Data

Participation à un projet Data Cloud axé sur le traitement de données météorologiques au sein de Maroc Météo.

• Collecte et préparation de données météorologiques issues d’API REST avec Python et stockage des données brutes dans Google Cloud Storage.
• Développement de traitements modulaires en Python pour l’extraction, la validation, la préparation et la structuration des données.
• Mise en place d’une architecture Medallion et de transformations analytiques avec BigQuery, SQL et dbt, incluant des contrôles de qualité des données.
• Automatisation et orchestration des flux avec Apache Airflow et assurance de la conteneurisation des composants avec Docker.

Intégration de l'équipe Data de Koesio Asset Management afin de participer à la migration et à l’industrialisation d’une Data Platform d’entreprise.

• Participation à la migration et à l’industrialisation d’une Data Platform d’entreprise, avec migration d’un Data Warehouse PostgreSQL vers Microsoft Fabric et structuration des données selon une architecture Medallion Bronze/Silver/Gold/Expose.
• Conception et maintenance de pipelines ETL/ELT pour la collecte, le traitement et la mise à disposition de données issues de plusieurs systèmes sources, sur plusieurs millions d’enregistrements.
• Développement et optimisation de traitements Python, SQL et PySpark, réduisant jusqu'à 40 % du temps d’exécution sur certains traitements.
• Mise en place de contrôles automatisés de Data Quality et de réconciliation afin de garantir la cohérence, la complétude et la fiabilité des données.
• Supervision des pipelines en production, analyse des anomalies et échecs, identification des causes et contrôle des données après correction.
• Contribution à l’amélioration continue et à l’industrialisation des flux entre Dev, Préprod et Prod avec Git, Pull Requests et Azure DevOps CI/CD.