Data Engineer

Elle a intégré l'équipe data engineering d'un leader du conseil en services informatiques pour développer des solutions de réconciliation de données avancées.

• A conçu et déployé un framework de réconciliation de données scalable en Databricks utilisant PySpark, Spark SQL et les tables Delta.
• A implémenté la journalisation d'audit automatisée permettant le suivi complet de l'historique des exécutions et la comparaison dynamique entre les systèmes sources.

Elle a rejoint l'équipe data engineering d'une entreprise de services informatiques majeure pour concevoir et optimiser des pipelines de données hautement performants et rentables traitant des volumes importants de données structurées et non structurées.

• A conçu et automatisé un pipeline ETL horaire en Databricks traitant des fichiers CSV envoyés via SFTP vers une localisation S3 avec un script maître qui détecte dynamiquement les nouveaux fichiers, déclenche les jobs ETL pertinents, applique les transformations (casting, aliasing, explosion de tableaux, CASE WHEN) et charge les données dans les tables et vues staging en assurant un accès sécurisé via le partage au niveau des vues contrôlées par Databricks pour les équipes d'analyse.
• A développé et maintenu des pipelines ETL basés sur les API REST en Databricks pour ingérer quotidiennement des données CRM, de réseaux sociaux et de plateformes marketing, en gérant l'authentification API, la récupération incrémentale de données avec logique de buffer et l'élimination des doublons, en stockant les réponses API sous forme de fichiers JSON/CSV compressés en S3, en appliquant les transformations et en chargeant les données dans les tables staging avec vues construites pour l'équipe d'analyse.
• A construit et optimisé des pipelines ETL basés sur JDBC en Databricks pour ingérer les données des bases Oracle et MySQL dans les tables staging en utilisant les charges complètes et incrémentales, améliorant les performances pour les grandes tables (7M+ enregistrements) en ajustant la taille de récupération et réduisant le temps de traitement d'environ 5 heures à 15 minutes (réduction de ~95% du temps) générant une économie de coûts estimée à 80%.
• A conçu un pipeline de données temps réel rentable en migrant depuis les streams coûteux vers une approche de batch basée sur S3, permettant trois mises à jour horaires via Databricks, implémentant la logique d'insertion, mise à jour et suppression de records dans les tables Delta en utilisant MERGE, réduisant les coûts de streaming de ~70% tout en maintenant la disponibilité des données opportune pour l'analyse.

Poste de Senior Data Engineer au service des décisions métiers et de la création de valeur à partir de la donnée. MISSIONS :

• Recueil, collecte et structuration des données issues de sources multiples.
• Conception et maintenance de pipelines de données (ETL/ELT) fiables et automatisés.
• Nettoyage, préparation et modélisation des données (qualité, feature engineering).
• Analyses exploratoires et statistiques pour répondre aux problématiques métiers.
• Conception de tableaux de bord et de KPIs (BI) à destination des décideurs.
• Développement, entraînement et évaluation de modèles de machine learning.
• Mise en production et industrialisation des modèles (MLOps, monitoring, ré-entraînement).
• Mise en place de la gouvernance, de la qualité et de la documentation des données.
• Restitution et vulgarisation des résultats auprès des parties prenantes.
• Veille technologique sur les méthodes et outils data/IA.
• RÉALISATIONS CLÉS :
• Tableaux de bord ayant accéléré et fiabilisé la prise de décision.
• Modèles prédictifs générant un gain mesurable (revenus, coûts, performance).
• Automatisation de reportings manuels (gain de temps significatif).
• Amélioration de la qualité et de l'accessibilité des données pour les équipes.
• Industrialisation d'un modèle de la preuve de concept à la production.

Poste de Senior Data Engineer au service des décisions métiers et de la création de valeur à partir de la donnée. MISSIONS :

• Recueil, collecte et structuration des données issues de sources multiples.
• Conception et maintenance de pipelines de données (ETL/ELT) fiables et automatisés.
• Nettoyage, préparation et modélisation des données (qualité, feature engineering).
• Analyses exploratoires et statistiques pour répondre aux problématiques métiers.
• Conception de tableaux de bord et de KPIs (BI) à destination des décideurs.
• Développement, entraînement et évaluation de modèles de machine learning.
• Mise en production et industrialisation des modèles (MLOps, monitoring, ré-entraînement).
• Mise en place de la gouvernance, de la qualité et de la documentation des données.
• Restitution et vulgarisation des résultats auprès des parties prenantes.
• Veille technologique sur les méthodes et outils data/IA.
• RÉALISATIONS CLÉS :
• Tableaux de bord ayant accéléré et fiabilisé la prise de décision.
• Modèles prédictifs générant un gain mesurable (revenus, coûts, performance).
• Automatisation de reportings manuels (gain de temps significatif).
• Amélioration de la qualité et de l'accessibilité des données pour les équipes.
• Industrialisation d'un modèle de la preuve de concept à la production.