Data Engineer
Intégration dans une équipe data en tant que Data Engineer responsable de la conception et de la maintenance de pipelines de données critiques.
- Conception et maintenance de pipelines de données Azure traitant des flux IoT temps réel et batch.
- Intégration et orchestration des flux de données via Azure Data Factory et Databricks avec PySpark.
- Optimisation des clusters Databricks et des temps de réponse des APIs grâce à Azure API Management.
- Gestion du stockage des données sur Azure Blob Storage et Azure Data Lake.
- Développement et publication de dashboards Power BI (Desktop, Service, Apps) pour la visualisation et l'analyse.
- Mise en place de contrôles qualité, du monitoring et de l'application des règles de conformité RGPD sur l'ensemble des pipelines.
Environnement technique