Data Engineer — Stage de fin d'études
A conçu et développé une plateforme Data Lakehouse de bout en bout au sein d'une équipe projet, dans le but d'automatiser la classification et la prédiction de la résolution des tickets IT.
- A conçu l'architecture globale de la plateforme Data Lakehouse suivant le modèle médaillon.
- A développé les pipelines d'ingestion et de traitement des données tickets.
- A mis en place les transformations avec dbt pour la couche transformée.
- A conçu et entraîné des modèles de Machine Learning pour la prédiction de résolution.
- A développé des dashboards interactifs dans Power BI pour la visualisation des métriques.
- A développé une interface utilisateur avec Streamlit pour l'interaction avec les prédictions.
- A automatisé le pipeline de bout en bout intégrant collecte, transformation et prédiction.
- A documenté l'architecture et les processus pour faciliter la maintenance.
Environnement technique