Data Analyst

A intégré une équipe dédiée à la conception de plateformes de données fiables au service de l'analyse financière, en mettant l'accent sur la qualité des données et la reproductibilité des traitements.

• A conçu des pipelines de données et des workflows de génération de jeux de données financiers à grande échelle, dont le NIFTY 200, alimentant quotidiennement les analyses et permettant le retraitement sécurisé de plusieurs années d'historique en environ 3 minutes grâce au parallélisme.
• A conçu des étapes de transformation idempotentes et un mécanisme de cache tenant compte des données manquantes, garantissant des jeux de données complets, sans doublons et fiables pour l'analyse et les séries temporelles.
• A mis en place le suivi de la qualité des données et l'observabilité des pipelines (métriques, journaux, traces) afin de détecter les traitements incomplets et garantir la fiabilité des données analytiques.
• A automatisé les tests et les déploiements avec GitHub Actions et Makefiles, améliorant la reproductibilité et la fiabilité des environnements.

A participé au développement d'une plateforme de données temps réel garantissant une ingestion, une transformation et une préparation fiables des données pour l'analyse.

• A mis en œuvre une gouvernance des schémas avec Avro et Schema Registry afin de garantir des jeux de données cohérents et fiables pour les traitements analytiques.
• A conçu des pipelines Kafka et Flink pour l'ingestion, la validation et l'application des règles métier avant les traitements analytiques et le scoring.
• A développé des pipelines batch avec Spark intégrant des files de reprise (Dead Letter Queue), améliorant la qualité des données et facilitant le retraitement des données historiques.
• A développé des tests automatisés de qualité des données avec pytest et GitHub Actions afin de détecter les régressions avant les déploiements.

A participé au développement de solutions de Document AI pour l'extraction d'informations structurées à partir de documents financiers.

• A développé des systèmes de Document AI sans OCR pour l'extraction d'informations structurées à partir de reçus bancaires à l'aide du modèle Donut.
• A documenté les expérimentations, les résultats d'évaluation et le comportement des modèles afin d'assurer leur reproductibilité et de faciliter leur évolution.