Senior Data Engineer | GenAI & Databricks

Intégration de l'équipe data d'ENGIE pour moderniser les flux de traitement et développer des applications GenAI.

• Migration de 26 Go de données de SharePoint vers AWS S3, incluant le transfert des documents, la gestion des métadonnées et le rattachement à PostgreSQL.
• Développement d'outils de suivi des usages de la plateforme Databricks, permettant une réduction des coûts de 15 %.
• Développement de flux d'intégration et de synchronisation entre Delta Lake, PostgreSQL et les API métier avec validation, journalisation et gestion des reprises.
• Développement de traitements d'ingestion et d'extraction documentaire, des chaînes RAG et des agents.
• Exposition des réponses via FastAPI et streaming SSE.
• Développement d'assistants analytiques pour des données de flotte énergétique et des standards réutilisables pour les projets data.

Accompagnement du client Hutchinson dans la migration et l'industrialisation de ses données industrielles.

• Adaptation de traitements Azure Data Explorer vers BigQuery et GoogleSQL.
• Développement de pipelines Dataflow pour le traitement des données industrielles.
• Réalisation de tests unitaires et de non-régression, ainsi que de la gestion de versions et de la mise en place de CI/CD.
• Refactorisation du code et standardisation des environnements de reinforcement learning.

Travail sur des projets de vision par ordinateur et de gouvernance des données d'infrastructure pour la SNCF.

• Réalisation de traitements d'images sur Azure et développement d'outils Python de labellisation.
• Conception d'un prototype sur 8 catégories d'objets et environ 600 images pour le premier jeu d'apprentissage.
• Effectué le fine-tuning de ResNet-50 avec évaluation par recall et accuracy.
• Exposition des résultats par API REST.
• Développement d'un outil cartographique Python pour le linéage et la qualité des données ferroviaires.
• Animation d'ateliers de gouvernance et création de tableaux de bord Power BI.

Réalisation de missions de data science pour différents clients grands comptes.

• Développement d'un pipeline Python d'extraction d'informations financières à partir de documents PDF pour Total.
• Réalisation de travaux de scoring et d'analyse de risque pour des solutions de paiement et d'avances pour Pledg.
• Automatisation de contrôles internes et de la détection d'anomalies avec Python dans un environnement cloud pour Nestlé.

Rejoût de TF1 pour concevoir des pipelines de traitement distribué et des systèmes de recommandation.

• Développement de pipelines PySpark sur Azure Databricks pour l'analyse de plus de 100 000 articles.
• Mise en place de processus de vectorisation, clustering et recommandations textuelles.
• Automatisation de la création de segments clients en PySpark.
• Intégration de Cassandra et Azure Blob Storage.
• Assurance de la conteneurisation et l'orchestration avec Docker et Kubernetes.