Data Engineer

Intervention au sein de l'équipe data de Solimut Mutuelle de France en alternance puis en CDD pour concevoir et industrialiser une architecture Data Lakehouse en production.

• Conception d'une architecture Data Lakehouse en production (DuckLake/PostgreSQL) intégrant 161 modèles DBT, 8 DAGs Airflow et 4 sources hétérogènes dont un legacy Sybase IQ.
• Traitement de 3M+ enregistrements rafraîchis quotidiennement.
• Mise en place d'un pipeline CI/CD complet sur Gitea regroupant 556 commits et 185 PR mergées en ~10 mois.
• Réalisation d'optimisations de performance réduisant le checkout de 14 min à <5 s et le clone de 11 min à <30 s.
• Création d'une plateforme de gouvernance qualité (QDD) comprenant 65 modèles de monitoring, 254 tests automatisés et un score pondéré sur 6 composantes.
• Détection de 20+ anomalies par semaine par z-score.
• Sécurisation de la plateforme avec l'implémentation d'un contrôle d'accès RBAC sur 4 niveaux et le chiffrement de 37 Go de Parquet.
• Développement d'une API REST Flask en TLS.
• Réalisation d'une modélisation dimensionnelle avancée en star schema avec historisation SCD2 et table bridge répartie sur 4 couches DBT (raw, staging, dims/facts, gold).
• Mise en place de traitements incrémentaux.
• Alimentation de dashboards Power BI et DigDash depuis la couche gold pour la restitution et le pilotage.

Intégration de CGI en tant qu'analyste des flux EDI dans le cadre d'un stage PFE pour analyser, intégrer et sécuriser les échanges de données.

• Analyse des besoins clients en matière d'échange de données électroniques.
• Conception de dashboards de monitoring en temps réel sous Power BI pour le suivi des performances des flux EDI.
• Intégration des systèmes EDI avec les systèmes d'entreprise existants.
• Réalisation d'une analyse multidimensionnelle de l'historique des données pour identifier anomalies et risques opérationnels.
• Support technique et dépannage sur les flux EDI.
• Garantie de la sécurité et de la confidentialité des données.