Data Engineer

Intégration d'une équipe data pour concevoir et déployer une plateforme cloud data exploitant les techniques les plus modernes du secteur.

• Conception d'une architecture Medallion pour structurer l'ingestion et la transformation des données.
• Implémentation de pipelines ELT avec Matillion consommant des données provenant de Snowflake, S3, API et Webhooks.
• Déploiement de l'infrastructure sur AWS (EC2, Lambda, Step Functions, S3) en utilisant Terraform comme infrastructure as code.
• Mise en place de la synchronisation Change Data Capture (CDC) avec Airbyte pour capturer les modifications de sources multiples.
• Instanciation d'une stratégie de qualité de données avec Great Expectations pour valider les données en amont.
• Encadrement de l'équipe dans l'adoption des bonnes pratiques cloud et des patterns modernes de data engineering.

Rejointe l'équipe data pour architecturer et mettre en place une plateforme décisionnelle complexe exploitant plusieurs sources de données hétérogènes.

• Conception et déploiement d'un entrepôt de données (Data Warehouse) utilisant Data Vault comme approche de modélisation.
• Développement de jobs ETL avec Talend pour extraire, transformer et charger les données depuis des sources variées (Entity-Attribute, Kafka, MongoDB, CouchDB).
• Mise en œuvre du pattern delta (Initial, Incremental) pour gérer les chargements de façon optimale et garantir la cohérence des données (inserts et updates).
• Création d'un magasin de données opérationnel (ODS) comme zone intermédiaire avant le Data Warehouse.
• Pilotage du déploiement des jobs Talend sur Git et mise en place d'une stratégie de versioning.
• Application des meilleures pratiques d'ETL incluant la gestion des erreurs, le monitoring et la récupération après incident.

Contribution à la mise en place de solutions décisionnelles intégrées, notamment pour la centralisation et la restitution des données métier via des tableaux de bord.

• Implémentation d'un Data Warehouse pour un système ERP Sage X3 en modélisant des Data Marts pour chaque module métier (Sales, Purchase, Production).
• Création de jobs ETL avec Talend pour l'extraction de données depuis des bases de données hétérogènes et leur chargement dans le Data Warehouse.
• Conception et déploiement de tableaux de bord Power BI pour supporter la prise de décision en fournissant des KPIs clés : évolution du chiffre d'affaires par an, taux de croissance, top 10 produits, top 5 clients par chiffre d'affaires, évolution par géographie.
• Optimisation des requêtes SQL pour améliorer les performances des extractions et restitutions.
• Développement d'une solution dashboarding pour la Direction Générale de GFI Tunisia avec une vue consolidée des données RH par division et profil.
• Réalisation d'un tableau de bord analytique pour le suivi de campagne électorale pour l'ISIE (Independent High Authority for Elections) avec analyse de l'évolution des infractions, détection de dépassements budgétaires.