Data Engineer

Intégration d'une plateforme sécurisée de données de santé pour traiter et fiabiliser des datasets volumineux en architecture distribuée Azure/Spark.

• Développement de traitements Python/PySpark pour préparer des datasets massifs aux formats CSV.GZ et Parquet avec normalisation de schémas, dédoublonnage et structuration analytique.
• Contribution à l'évolution d'une code base Python de validation de données en implémentant des contrôles qualité robustes.
• Participation à la mise en place de détection de données sensibles et de validation de pseudonymisation.
• Génération automatique de rapports d'audit pour la conformité.
• Analyse et résolution de problématiques techniques sur traitements PySpark à forte volumétrie : incohérences de schémas, encodage et optimisation des lectures.
• Amélioration des performances de traitements distribués sur données volumineuses.

Participation à la conception et à l'évolution de pipelines data pour l'ingestion et la transformation de données IoT en temps quasi réel sur une plateforme cloud AWS.

• Contribution à un POC data pour cadrer l'ingestion, la validation et les transformations initiales de données IoT servant de base à l'industrialisation d'un nouveau pipeline.
• Maintenance et évolution de pipelines streaming capables de gérer des pics de charge de 5 à 10k événements par seconde.
• Contribution à la mise en place de data contracts et de contrôles qualité pour sécuriser l'évolution des flux et la compatibilité des schémas.
• Structuration de couches analytiques sur data lake S3 en formats colonnes (Parquet) avec partitionnement et catalogage.
• Renforcement de la fiabilité opérationnelle des pipelines via monitoring, gestion des erreurs et orchestration des replays/backfills.

Pilotage du déploiement et de la mise en service d'une solution IoT multi-sites avec connectivité longue portée pour le monitoring de capteurs de présence.

• Déploiement et mise en service d'une solution IoT sur environ 7 000 capteurs de présence distribués sur plusieurs sites.
• Configuration et optimisation de la connectivité Sigfox et LoRaWAN pour assurer la couverture et la fiabilité des remontées de données.
• Analyse d'anomalies de télémétrie incluant pertes de données, latence et incohérences de remontées.
• Implémentation de contrôles de cohérence des données de capteurs.
• Support post-déploiement et accompagnement des utilisateurs finaux.
• Rédaction de la documentation technique et des guides d'utilisation.