Lead Data Engineer

Intégration au pôle data d'EDF en tant que lead data engineer pour apporter expertise en architecture data/big data et assurer la maîtrise d'œuvre technique de projets de transformation data.

• Conception et déploiement de pipelines de données de bout en bout (ingénierie d'ingestion, stockage, transformation, modélisation, orchestration et exposition).
• Rédaction de documentation technique et fonctionnelle des solutions data mises en place.
• Animation de points de suivi et de coordination avec les parties prenantes (MOA, MOE, équipes transversales).
• Communication et présentations de solutions big data aux décideurs et aux équipes métier.
• Conduite de la migration d'une application big data vers une nouvelle plateforme de données (conception de l'architecture fonctionnelle et applicative, réalisation de POC).
• Gestion du traitement des demandes d'évolution (changements fonctionnels, adaptations techniques).
• Identification de points faibles récurrents et proposition d'actions d'amélioration au travers d'analyses et de démarches d'amélioration continue.
• Participation à la recette technique (tests de non-régression, vérification de la cohérence des données).
• Assurance de la maintenance en condition opérationnelle (MCO) d'une application big data critique.

Rejointe l'équipe data d'Air France pour développer des solutions big data et de business intelligence, en étroite collaboration avec les métiers.

• Analyse des spécifications métiers et contribution à la rédaction des user-stories et à leur déclinaison fonctionnelle.
• Conception des modèles de données et des processus de traitement des données adaptés aux besoins métier.
• Réalisation et optimisation de traitements d'alimentation en Java, Spark et Teradata pour des volumes importants.
• Conception et réalisation des univers SAP Business Object (BO) pour l'exposition des données analytiques.
• Développement et exécution des tests unitaires et d'intégration pour valider la qualité des traitements.
• Assurance du support de la recette utilisateur et de la mise en production des développements.
• Suivi de production, traitement des incidents et analyse des anomalies.
• Réalisation de requêtes ad hoc et analyses de données à la demande des équipes métier.
• Rédaction de documentation technique et fonctionnelle de l'ensemble des développements.

Assurance du support de niveau 3 et développement big data sur la plateforme data d'Orange France, en gérant la résolution des problèmes complexes et l'optimisation des traitements.

• Résolution de dysfonctionnements infra et de défaillances de jobs big data en analyse approfondie des journaux (logs).
• Gestion des problématiques d'indisponibilité, d'accès et de permissions sur la plateforme.
• Accompagnement technique et processuel aux équipes utilisatrices.
• Implémentation de correctifs et mises à jour correctives et évolutives.
• Optimisation des jobs Spark et des requêtes Hive et BigQuery pour améliorer les performances.
• Rédaction de documentation technique des analyses et des solutions mises en place.
• Suivi de l'activité et des SLA/KPI de disponibilité de l'équipe support.

Contribution au développement big data d'une plateforme de traitement de données financières, en gérant l'ensemble du cycle de vie des données de l'ingestion à la livraison.

• Réalisation de l'ingestion et de l'organisation des données dans HDFS et Hive depuis différentes sources métier.
• Développement des transformations et scripts de mise au format, de mapping et de constitution des flux de données.
• Conception et développement de programmes Spark et Scala pour les traitements complexes (calculs de chiffres d'affaires, indicateurs clés).
• Optimisation des traitements Spark et Hive pour traiter efficacement les volumes importants.
• Rédaction des scénarios de test fonctionnel et réalisation des tests unitaires pour valider les traitements.
• Rédaction de documentation technique complète de chaque développement.
• Préparation des packages de livraison et rédaction de documentation de mise en production.
• Traitement des tickets d'anomalies et d'évolutions.
• Animation d'ateliers de travail avec les équipes métier pour recueillir et clarifier les besoins.

Pilotage du développement d'un Work Package sur un projet collaboratif de l'Agence Nationale de la Recherche (ANR) impliquant Thales, la Police Technique et Scientifique, et les laboratoires de recherche XLIM-SIC et GREyC-IRF, axé sur l'optimisation du traitement vidéo.

• Conception et réalisation d'outils permettant d'optimiser le temps de traitement des algorithmes de recherche dans les vidéos.
• Gestion du chargement et de l'organisation de données issues de différentes applications tierces.
• Développement des interrogations et visualisations de données pour exploiter les métadonnées vidéo.
• Conception et développement de traitements Spark pour la transformation des métadonnées issues des vidéos.
• Optimisation des performances des traitements Spark et des requêtes associées.
• Traitement des tickets d'anomalies et production des livrables scientifiques et techniques attendus.

Pilotage des projets de développement Java du Groupe SIA, en analysant les besoins métiers et en concevant les solutions techniques.

• Analyse des besoins métiers et conception des architectures techniques adaptées.
• Développement des solutions Java/Java EE en respectant les bonnes pratiques (design patterns, SOLID).
• Conception et implémentation des architectures micro-services et des API REST.
• Suivi des développements et coordination des équipes impliquées.
• Déploiement des applications en environnement de production.

Conception et développement d'une plateforme web de gestion et de planification des projets pour le Groupe SIA.

• Conception de l'architecture générale et modélisation de la base de données.
• Développement des modules web en Java (Hibernate, Swing).
• Réalisation des tests unitaires et d'intégration.
• Déploiement de la plateforme en environnement de production.
• Assurance de la formation des utilisateurs finaux.