Data Engineer

Intégration de l'équipe data d'Intelcia dans le cadre d'un stage de fin d'études pour contribuer à un projet stratégique de modernisation et de migration d'une plateforme Business Intelligence de TotalEnergies.

• Contribution à un projet stratégique de modernisation et migration d'une plateforme Business Intelligence de TotalEnergies, depuis Microsoft BI (SQL Server, SSIS, SSAS) vers Google Cloud Platform (GCP).
• Développement de traitements Python/SQL et automatisation du chargement de +250 000 enregistrements/jour dans BigQuery à partir de plusieurs sources de données.
• Conception et orchestration des pipelines ELT avec Cloud Run, Cloud Workflows et Cloud Scheduler afin d'automatiser les chargements et transformations quotidiennes.
• Traitement et analyse de +108 000 appels et +163 000 codifications, couvrant jusqu'à 11 mois d'historique de données métier.
• Structuration et modélisation des données en couches Bronze/Silver/Gold, avec des tables de faits et dimensions pour alimenter les analyses multidimensionnelles et les KPI métier.
• Optimisation des traitements et requêtes SQL/BigQuery pour atteindre un temps d'exécution de moins de 5 secondes sur les requêtes analytiques courantes.
• Participation à la phase de recette et de validation des KPI avec les équipes métier, en comparant les résultats obtenus dans BigQuery avec les rapports de référence Vocalcom.
• Mise en œuvre de contrôles de Data Quality et Data Validation et analyse des écarts détectés afin d'assurer la cohérence et la fiabilité des indicateurs, avec 96 % des KPI validés.
• Collaboration avec les équipes Quality et Data Governance pour confirmer la qualité, la conformité et la fiabilité des données et valider les résultats des contrôles.
• Analyse et correction des écarts entre BigQuery et les résultats de référence, réduisant les écarts de recette à quelques secondes à quelques minutes.
• Documentation des différentes couches de données Bronze/Silver/Gold dans le Data Catalog, en renseignant les datasets, flux, transformations et informations nécessaires à la traçabilité et à la gouvernance des données.
• Conception de la couche sémantique avec LookML, développement de 5 Explores métier et de plusieurs dashboards Looker / Looker Studio pour l'analyse des KPI.
• Déploiement d'une architecture Cloud reposant sur GCS, BigQuery, Cloud Run, Cloud Workflows et Cloud Scheduler et gestion de l'infrastructure avec Terraform.
• Contribution à une architecture Cloud permettant une réduction estimée de 30 à 50 % des coûts d'infrastructure par rapport à l'environnement traditionnel On-Premise.
• Production et mise à jour de la documentation technique des architectures, pipelines, transformations, contrôles qualité et procédures de migration.

Participation au projet SMARTTRAFFIC-CS axé sur la collecte, le traitement, l'intégration, l'analyse et la restitution des données au sein d'Atlantic Smart Technology.

• Participation au projet SMARTTRAFFIC-CS portant sur la collecte, le traitement, l'intégration, l'analyse et la restitution des données.
• Collecte, nettoyage et transformation de données provenant de plusieurs sources à travers des processus ETL.
• Préparation et structuration des données pour leur exploitation analytique et leur restitution dans des tableaux de bord.
• Réalisation de contrôles de qualité des données et identification des anomalies et incohérences.
• Conception de tableaux de bord avec Power BI, Power Query et DAX pour le reporting et le suivi des performances.
• Définition et suivi des KPI afin de faciliter l'analyse des données et le pilotage des activités.
• Présentation des résultats et collaboration avec les parties prenantes techniques et métiers.

Stage axé sur le développement de solutions d'intelligence artificielle et le traitement de données à l'École Mohammadia d'Ingénieurs.

• Développement d'une solution d'Intelligence Artificielle avec Python, YOLOv8 et OpenCV pour la détection automatique de véhicules d'urgence.
• Préparation, nettoyage et traitement des jeux de données nécessaires à l'entraînement et à l'évaluation des modèles.
• Réalisation de tests, validations et analyses des résultats.
• Analyse des performances et identification de pistes d'amélioration.

Stage d'initiation au sein du Ministère de l'Industrie et du Commerce.

• Contribution à la digitalisation de processus administratifs et à la mise en place d'une plateforme collaborative.
• Collaboration avec les utilisateurs afin de comprendre les besoins et d'identifier des pistes d'amélioration.
• Mise en œuvre de solutions digitales visant à améliorer l'efficacité opérationnelle.