Cloud Data Engineer

Intégration d'une équipe de data engineering pour moderniser une plateforme Azure Lakehouse destinée à l'analytique et la business intelligence.

• Développement de notebooks PySpark pour la transformation des données depuis la couche Bronze vers la couche Silver.
• Création et maintenance de tables Parquet et Delta Lake sur Azure Data Lake Storage Gen2.
• Maintenance des pipelines Azure Data Factory et optimisation des traitements Spark sur Azure Databricks.
• Gestion des mises en préproduction et en production, support applicatif et résolution des incidents en collaboration avec les équipes.
• Contribution aux décisions techniques et proposition d'améliorations d'architecture.
• Réalisation de revues de code pour assurer la qualité logicielle.
• Collaboration au quotidien avec les architectes Data, les équipes métiers et les équipes de production.

Construction d'une plateforme analytique exploitant des données issues de compteurs intelligents dans le secteur de l'énergie solaire.

• Développement de pipelines ETL horaires avec AWS Glue, PySpark et Amazon S3.
• Modélisation et chargement des données, puis optimisation des requêtes SQL dans Amazon Redshift.
• Orchestration des traitements avec Apache Airflow et assurance de leur mise en production.
• Publication des données pour Power BI et réalisation d'analyses métier.
• Collaboration avec les utilisateurs finaux et les équipes techniques.
• Participation aux revues de code et à l'amélioration continue des traitements.

Modernisation d'une plateforme Big Data traitant les CDR télécom et les transactions MVola pour les clients YAS Madagascar et MVola.

• Refactorisation entière d'un projet existant et amélioration de la qualité du code.
• Administration de Hadoop, gestion de HDFS et YARN, configuration de Hive, Spark et Airflow.
• Développement de traitements PySpark robustes et de workflows Airflow.
• Optimisation des requêtes SQL et des traitements Spark pour améliorer les performances.
• Assurance des mises en préproduction et en production avec rigueur.
• Réalisation des revues de code et résolution des incidents en production.
• Contribution aux décisions d'architecture en collaboration avec les architectes et les clients.

Analyse de l'existant et participation au cadrage d'une plateforme Data en mission de courte durée.

• Analyse de l'infrastructure existante et proposition d'une architecture On-Premise basée sur MinIO, Apache Airflow, Delta Lake et Power BI.
• Proposition d'une architecture cible Azure répondant aux besoins de scalabilité et performance.
• Développement de scripts Python d'extraction pour intégrer les données.
• Contribution aux réflexions architecturales et aux choix de composants Data.

Développement et optimisation de traitements logiciels en support d'une équipe data.

• Développement de scripts Python pour automatiser les traitements.
• Mise en place de tests unitaires et fonctionnels pour assurer la fiabilité du code.
• Refactorisation du code existant et amélioration de sa maintenabilité.