Data Engineer

Intégration d'un cabinet de conseil pour concevoir, développer et optimiser les pipelines de données de clients sur Google Cloud, en assurant la transition de l'ingestion brute jusqu'aux data marts.

• Mise en place de pipelines d'ingestion batch et de transformation en Python et SQL à partir de fichiers bruts déposés sur Cloud Storage vers BigQuery.
• Structuration des données brutes en couches nettoyées puis en data marts organisés en schéma en étoile dans BigQuery et Snowflake.
• Conception de DAGs Airflow intégrant des dépendances, des mécanismes de reprise sur erreur, une planification et des alertes.
• Industrialisation des processus avec Git, GitLab, GitLab CI, Jenkins et Docker en automatisant les tests de données avant chaque mise en production.
• Rédaction de code dbt et Python modulaire incluant des tests d'unicité, de non-nullité et d'intégrité référentielle ainsi que la génération de documentation et de lineage.
• Optimisation des requêtes SQL et des stratégies de chargement incrémental, par partitionnement et par indexation pour réduire le temps de traitement des jobs lourds.
• Documentation des pipelines, des modèles de données et des bonnes pratiques pour les équipes clientes.

Collaboration avec un industriel des capteurs pour développer un pipeline d'ingestion, de contrôle qualité et de génération de features sur de grands volumes de données de capteurs.

• Traitement d'un volume d'environ 100 Go de séries temporelles multivariées représentant plus de 10 millions d'enregistrements.
• Développement d'un pipeline Python pour le parsing, le rééchantillonnage, le traitement des trous et le filtrage des valeurs aberrantes.
• Mise en place de contrôles automatisés sur le schéma, les plages de valeurs et les intervalles manquants en amont des modèles.

Participation au développement d'une infrastructure de données et de backtesting dédiée à la recherche quantitative sur des actifs financiers.

• Conception d'un pipeline de données pour l'ingestion, le nettoyage, la normalisation et l'alignement de données historiques multi-actifs.
• Gestion des données manquantes, des calendriers financiers et des opérations sur titres.

Mise en place de flux de données automatisés et de modèles de prévision destinés à la planification et à l'élaboration budgétaire.

• Automatisation de l'extraction, de la préparation des données et du réentraînement des modèles.
• Réduction du temps de rafraîchissement des données de trois jours à quatre heures.

Développement de modèles de prévision et de risque pour des clients des secteurs de l'énergie et de la finance.

• Élaboration de modèles statistiques en R et SQL.
• Automatisation du reporting récurrent à l'aide d'Excel et de VBA.

Parcours débuté en tant que stagiaire puis évolution vers un rôle de consultant pour modéliser des séries temporelles.

• Réalisation de modélisations de séries temporelles portant sur les prix et la demande d'énergie.