Senior Data Engineer – Cloud & DataOps

Intégration de l'équipe B4P pour participer à la construction d'un socle analytique décisionnel robuste, avec l'objectif de bâtir une architecture de données performante et une couche sémantique unifiée pour l'alimentation des KPI de suivi industriel.

• Mise en place et animation de la couche sémantique via Databricks et Unity Catalog pour garantir des définitions métier uniques.
• Conception d'architectures orientées Analytics utilisant des schémas en étoile et Datamarts adaptés aux volumes de production.
• Construction et maintenance de pipelines ETL/ELT complexes en Python, SQL et PySpark pour l'extraction et la transformation de données.
• Rédaction des spécifications techniques et développement de tableaux de bord de suivi des KPI industriels.
• Automatisation des déploiements via GitLab CI et intégration de tests pytest pour garantir la qualité du code.

Intégration de l'équipe Libé Data Team en tant que référent Data pour piloter la conception et l'industrialisation de la plateforme data du journal Libération, en définissant les architectures Lakehouse, les standards d'ingestion et de modélisation, ainsi que les pratiques DataOps garantissant scalabilité, fiabilité et performance. En collaboration étroite avec les équipes produits, techniques et métiers, structuration d'un socle data pérenne orienté décisionnel pour le pilotage du parc des abonnements et l'analyse des parcours utilisateurs.

• Déploiement d'une architecture Data Lakehouse sur AWS avec Kubernetes (EKS) et Docker pour le traitement de millions d'événements.
• Industrialisation de pipelines en PySpark (AWS Glue) et Python, unifiant des sources hétérogènes (Auth0, Actito, APIs).
• Pilotage de la migration stratégique depuis GCP (BigQuery) vers AWS et Snowflake, avec optimisation des coûts (FinOps).
• Automatisation des processus DataOps via Terraform (S3, IAM, Lambda) et sécurisation de la CI/CD avec GitLab.
• Mise en œuvre d'environnements MLOps sur SageMaker pour la prédiction de churn et l'IA générative.
• Structuration de l'entrepôt Snowflake avec des schémas en étoile et implantation d'un monitoring proactif via Datadog et CloudWatch.
• Assurance de l'excellence opérationnelle par la mise en place de workflows automatisés, de déploiements GitLab CI/CD intégrant tests unitaires, packaging Docker et environnements multi-niveaux (dev, QA, prod).
• Rédaction des documentations techniques (Confluence) incluant workflows, analyses de causes racines (RCA), meilleures pratiques et décisions d'architecture.
• Participation à la mise en place des pratiques de gouvernance des données pour assurer cohérence, qualité et conformité RGPD des traitements.

Intégration de l'équipe Global Pricing and Quotation Devops pour contribuer activement à la conception, au développement et au déploiement de produits de données sur la plateforme Inteldatastore. Collaboration avec des équipes interfonctionnelles dans un environnement Agile, participation à l'ensemble du cycle de vie des produits de données, de la conception au déploiement en production.

• Développement et maintenance du Pricing Engine, framework Python-PySpark-SQL, pour ingérer des données provenant de systèmes hétérogènes (Salesforce, CPQ, SAP) via le cadre UDL.
• Orchestration de pipelines via Lambda (Java) et jobs planifiés, manipulation de RDD, DataFrame et Dataset avec Pyspark (ETL/ELT).
• Pilotage du cycle de vie complet des produits de données en collaboration avec Business Analysts et architectes, traduction des besoins métier en solutions techniques.
• Développement et maintenance de pipelines robustes utilisant Python, Pyspark, Informatica et services AWS (EC2, S3, EMR, DynamoDB, Lambda, Redshift) et technologies Big Data (Apache Spark, Kafka).
• Assurance de la maintenance du pipeline CI/CD avec tests automatisés, analyse de compatibilité du code et déploiement en production.
• Fourniture d'un support technique de niveau 3, diagnostic de pannes complexes et rectification d'erreurs.
• Présentation de rapports mensuels au comité CAB détaillant tous les changements apportés, améliorations de sécurité et optimisations de performance.
• Implémentation de processus ETL/ELT via Informatica et IICS pour automatiser l'intégration et garantir la qualité des données.
• Construction et optimisation de modèles de données analytiques dans AWS Redshift, application de partitionnement et clustering.
• Développement et gestion de l'infrastructure AWS (clusters, workloads) avec Terraform (S3, IAM, VPC, EC2, RDS, Lambda).
• Implémentation de politiques et procédures de gouvernance des données via Collibra DIP pour maintenir l'intégrité et la cohérence.
• Développement du cycle de vie complet des API et collaboration avec développeurs tiers pour assurer l'intégration transparente.
• Intégration de tests automatisés : tests unitaires Python/SQL, tests de validation de schéma, qualité et fraîcheur des données.
• Déploiement de workflows reproductibles avec versioning de code, environnement et données pour faciliter l'auditabilité et rollback.
• Animation des comités CAB mensuels : synthèse des changements, suivi des risques, validation des mises en production et conformité sécurité.
• Mise en place de logs structurés, tableaux de bord, métriques de performance et alertes automatisées.
• Contribution à l'optimisation continue : tuning des traitements, réduction des incidents, fiabilisation des SLA/KPI production.
• Contribution à la mise en place des règles de gouvernance (qualité, métadonnées, nomenclature, lifecycle des données).

Intégration du département informatique de PwC en tant qu'ingénieur data pour contribuer au Digital Lab et à la plateforme de données. Prise en charge de la modernisation des plateformes data de l'entreprise en intégrant les suggestions des décideurs et parties prenantes des domaines conseil, fiscalité et assurance. Travail également sur des projets clients externes, notamment une importante migration Oracle vers SAP Hana pour Engie.

• Développement et implémentation de règles de transformation et de contrôle des données via Alteryx, garantissant l'intégrité et la cohérence.
• Soutien et suivi des initiatives POC au sein du Digital Lab et de la Data Platform.
• Conception et implémentation de flux de travail Alteryx pour intégrer les données de SAP et Salesforce vers Azure Blob Storage et Azure Synapse.
• Orchestration de workflows PySpark via Azure Data Factory avec gestion des dépendances, reprise sur erreur et monitoring des performances via Databricks Jobs API.
• Automatisation du déploiement des notebooks et jobs Databricks avec gestion Unity Catalog via CI/CD (Azure DevOps / Git).
• Centralisation des données entre Dremio et Azure SQL via Jobs PySpark customisés avec optimisation des lectures/écritures et gestion des schémas évolutifs.
• Construction et déploiement de modèles ML POC utilisant Azure Databricks et Dataiku pour obtenir des insights basés sur les données.
• Création de tableaux de bord visuellement captivants avec Power BI et Tableau pour communiquer efficacement les données aux parties prenantes.
• Assurance du monitoring et de la maintenance de la performance et scalabilité des clusters Azure Databricks, avec mise en place de dashboards et alertes proactives.

Membre clé de l'équipe Data de Timsoft, intervenant sur la conception, le développement et le déploiement de solutions BI et Data Analytics destinées à fournir aux clients des insights fiables et actionnables. Collaboration étroite avec les équipes métiers (finance, fabrication), les analystes fonctionnels et les architectes data dans des environnements complexes multi-ERP.

• Développement d'un module personnalisé de gestion de la construction utilisant Odoo, Django et Python, améliorant la visibilité et l'efficacité des projets.
• Création et mise à jour d'indicateurs de performance liés à l'avancement du projet, à la gestion des stocks et à la performance en matière de coûts (JCS vs. EP) via Tableau et SQL.
• Conception, modélisation et optimisation de schémas analytiques dans BigQuery, application des bonnes pratiques (partitionnement, clustering, optimisation des coûts).
• Implémentation de pipelines de traitement de données sur GCP en exploitant Dataflow pour le batch et/ou streaming, permettant l'ingestion, la transformation et le chargement vers BigQuery.
• Réalisation d'analyses de causes profondes et implémentation de mesures correctives pour les incidents de production.
• Développement et implémentation d'un protocole d'échange de données entre SAP et CEGID ORLI via IICS et Python, assurant un flux de données transparent.
• Développement de pipelines de données en IICS (ETL/ELT).
• Implémentation d'une logique métier complexe en Java dans des jobs IICS.