Junior Data Engineer
Spark-ITSfaxJuil. 2025 – Aujourd'hui
Intégration de l'équipe de Spark-IT pour concevoir et développer plusieurs plateformes décisionnelles et pipelines de données à grande échelle.
- Conception d'un data warehouse d'entreprise intégrant les données de paiement et de comptabilité de 4 systèmes sources opérationnels.
- Construction d'une architecture ELT en couches comprenant un Operational Data Store, un entrepôt dimensionnel, une base de quarantaine et une couche d'orchestration SSIS.
- Conception d'un modèle en constellation de faits avec 16 dimensions conformées et 3 tables de faits couvrant les transferts d'argent internationaux, le change manuel et les paiements de factures domestiques.
- Développement de 49 paquets SSIS pilotés par un paquet maître pour automatiser l'extraction, la transformation, la validation, le chargement et le suivi.
- Mise en place d'un mécanisme de qualité des données et de quarantaine routant les enregistrements invalides vers des tables de quarantaine avec identification des erreurs par colonne.
- Implémentation du chargement dimensionnel incrémental avec des procédures SQL Server MERGE et une gestion des membres inconnus pour préserver l'intégrité référentielle.
- Analyse des besoins métier et conception d'une architecture en constellation de faits de 7 schémas en étoile couvrant les congés, missions, recrutements, paie, suivi des effectifs, formation et performance.
- Développement de plus de 85 procédures stockées SQL Server optimisées pour l'ETL, prenant en charge les chargements complets et incrémentaux.
- Construction d'une couche sémantique Cube.js de niveau production avec 92 définitions de cubes exposant des KPI RH gouvernés.
- Modélisation de hiérarchies organisationnelles complexes à l'aide d'approches par pont et hiérarchies aplaties.
- Optimisation des requêtes Cube.js grâce aux pré-agrégations, au rafraîchissement incrémental, au partitionnement et au filtrage.
- Conteneurisation de l'environnement Cube.js avec Docker Compose et mise en place de l'intégration continue Jenkins pour la couche sémantique.
- Livraison d'un tableau de bord Power BI complet couvrant 7 domaines RH avec navigation interactive et rafraîchissement planifié.
- Conception d'une architecture de données à 3 couches (Landing, Staging, Data Warehouse) avec des schémas en étoile pour les bénéficiaires, partenaires et services.
- Construction d'un pipeline ETL SSIS scalable supportant les chargements complets et incrémentaux via des comparaisons d'horodatage.
- Automatisation de la planification des pipelines avec des tâches SQL Server Agent.
- Audit de l'ETL existant pour le module commercial, identifiant les goulots d'étranglement de performance.
- Refactorisation des requêtes SQL et des procédures stockées pour réduire le temps d'exécution et améliorer l'efficacité du chargement incrémental.
- Amélioration du tableau de bord des ventes Power BI en optimisant les modèles de données et en affinant les mesures DAX.
Environnement technique
SQL ServerSSISPower BICube.jsSQL Server AgentDocker ComposeJenkinsEnterprise Gateway.