Data Engineer BI
A intégré le Groupe Magora en tant que Data Engineer BI pour concevoir et développer des pipelines de données et des applications décisionnelles.
- A conçu et développé des pipelines de données orchestrés avec Apache Airflow en utilisant des DAGs en Python, du cadrage des besoins jusqu'à la mise en production.
- A réalisé la modélisation décisionnelle et la transformation des données avec dbt en appliquant l'architecture médaillon bronze, silver et gold.
- A mis en place des contrôles de qualité de données automatisés, ainsi que la documentation, le lineage et la revue de code.
- A analysé les besoins métier et conçu des dashboards et applications de restitution avec Streamlit in Snowflake.
- A défini les indicateurs clés et préparé les données en SQL et Python pour les mettre à disposition des équipes.
- A exploré de nouveaux usages data avec Snowflake CoWork et Cortex pour exploiter des requêtes en langage naturel et des fonctions LLM en SQL.
- A mis en œuvre la recherche sémantique Cortex Search directement sur les données du data warehouse.
Environnement technique