Data Engineer

Intégration à l'équipe data de QONTO pour moderniser et sécuriser l'infrastructure d'ingestion de données et les outils analytiques de la plateforme fintech.

• Conception et pilotage de la migration d'un pipeline ELT legacy de plus de 140 tables Notion basé sur des fichiers CSV vers une architecture moderne avec dlt, sans interruption de service pour les processus DBT en aval.
• Développement d'une stratégie de bascule de schéma atomique et réversible dans Snowflake, prévenant les lectures partielles lors du décommissionnement.
• Conception et déploiement d'un framework de validation de parité des données inter-tables ayant détecté des dérives de schéma (schema drift) critiques avant la production, prévenant ainsi les erreurs DBT.
• Automation de la refonte de l'authentification Tableau en remplaçant 14 Personal Access Tokens à rotation annuelle par une Connected App basée sur JWT, éliminant un mécanisme personnalisé de mutualisation de tokens et permettant un nombre illimité de sessions Tableau simultanées.
• Conception et développement d'un pipeline d'ingestion de métadonnées ELT extrayant les données de l'API Tableau Metadata (GraphQL) vers Snowflake via S3, avec extraction paginée et chargement idempotent.
• Mise en place d'une stratégie de polling d'API sur mesure pour contourner les limitations de la plateforme et superviser de manière fiable 62 workbooks actualisés chaque nuit.

Intégration à l'équipe data de CGI pour moderniser l'infrastructure de gestion des données et améliorer la gouvernance des workflows analytiques.

• Développement d'un système de suivi des fichiers dans S3 via Databricks, avec validation des schémas et métadonnées techniques.
• Automation d'un pipeline d'ingestion via Databricks Workflows en appliquant les règles de conformité définies dans des tables de configuration Delta Lake.
• Conception de dashboards Power BI pour le suivi des arrivées, rejets et qualité des données.
• Participation à la migration des workflows Oracle Exadata vers une architecture lakehouse (Bronze/Silver/Gold) afin d'améliorer la gouvernance et la traçabilité des données.

Contribution en télétravail auprès de Valhko pour développer une plateforme de collecte et d'analyse de données d'actualités enrichie d'intelligence artificielle.

• Développement d'un web scraper pour collecter plus de 1000 articles quotidiennement depuis Google News via Selenium et BeautifulSoup.
• Automation du processus de scraping via des Cron Jobs sur une machine virtuelle Azure.
• Assurance de la responsabilité de l'équipe Data Collection, garantissant l'optimisation des processus de flux de données.
• Développement d'un système RAG fournissant des réponses basées sur les données des articles en utilisant LangChain et LLM.
• Intégration du chatbot RAG à la plateforme web de l'entreprise.