Data Engineer

Intégration du Data & AI Hub de SOCOTEC, groupe international de contrôle et certification présent dans 26 pays, afin de participer à la construction du datalake groupe sur AWS Databricks, de l'ingestion au reporting.

• Conception et déploiement d'un framework de qualité de données configurable pour garantir la fiabilité du Lakehouse.
• Implémentation de 34 types de contrôles, dont 5 détections d'anomalies sur mesure, avec 33 règles en production réparties sur les couches Bronze, Silver et Gold.
• Automatisation de l'exécution en batch quotidien et mise en place d'une quality gate bloquante dans les pipelines avec historisation et alerting.
• Développement de pipelines d'ingestion incrémentale de 11 objets complexes issus d'une API SAP FSM vers Databricks (Delta Lake).
• Gestion de l'idempotence via PySpark et Spark SQL avec authentification OAuth2, pagination et contrôle d'exhaustivité garantissant une reprise sur erreur sans doublons.
• Décodage des champs personnalisés SAP (UDF) et réalisation du rattachement MDM avec des clés de jointure métier identifiées en 2 jours d'investigation avec Genie (Databricks) contre environ 2 semaines d'ateliers métier.
• Contribution à un Datalake couvrant 34 domaines métiers en architecture Medallion à travers un environnement de 76 pipelines déployés via CI/CD GitLab sur 3 environnements.
• Migration de dashboards Power BI vers le Datalake, validée par un rapprochement complet sur une année de données en production depuis mai 2026, avec accompagnement des métiers.
• Diagnostic des incidents data et BI en production via l'analyse de lineage, le time travel Delta et la simulation RLS Power BI.
• Pilotage de la conception et de la gestion des projets Data Quality et FSM avec suivi de leur intégration, documentation et reporting auprès du management.

Intervention sur une plateforme IoT de stationnement intelligent supervisant un parc de parkings connectés en temps réel, réalisation de l'analyse de l'existant, du choix d'architecture et de la mise en œuvre en autonomie.

• Développement de pipelines de distribution de données en continu pour centraliser les flux de 15 parkings connectés représentant 15 sources de données temps réel.
• Gestion d'une volumétrie de 20 topics Kafka dédiés absorbant des milliers d'événements et de logs véhicules au quotidien.
• Mise en place d'une architecture de réplication avec une distribution directionnelle par table et clés UUID pour éliminer les conflits de synchronisation bidirectionnelle.
• Automatisation des migrations de schéma avec Alembic et SQLAlchemy.
• Développement d'une API FastAPI pour les opérations CRUD, le reporting, l'administration et la supervision du réseau de parkings.
• Assurance de la conteneurisation et de l'orchestration sous Kubernetes avec DigitalOcean et l'opérateur Strimzi.
• Configuration d'un réseau privé sécurisé Tailscale avec WireGuard entre le cloud et les parkings on-premise.

Collaboration avec un éditeur LegalTech automatisant l'analyse de documents juridiques pour alimenter des applications d'intelligence artificielle à destination d'experts métiers.

• Conception d'un pipeline en architecture Medallion pour traiter et structurer plus de 80 documents juridiques complexes.
• Exploitation d'outils d'OCR comme Tesseract et EasyOCR ainsi que des LLMs Cohere pour l'extraction automatisée de plus de 15 champs de métadonnées par document.
• Gestion du stockage vectoriel des embeddings sous MongoDB pour alimenter les applications d'IA.
• Automatisation complète du traitement de bout en bout via Apache Airflow.
• Conteneurisation avec Docker d'une interface de validation développée sous FastAPI et React pour les experts métiers.