Data Engineer

Intervention au sein du pôle Usages, Risques et Finance de Bpifrance afin de mettre en place une plateforme Data dédiée à la gestion, la gouvernance et l'exploitation des données sur AWS.

• A conçu et développé des jobs PySpark batch et streaming pour l'ingestion, la transformation et l'historisation des données dans Amazon S3.
• A consommé des topics Kafka pour l'ingestion de flux de données en temps réel avec traitement via PySpark Structured Streaming.
• A développé des jobs AWS Glue en environnement multi-environnements (dev/staging/prod) avec gestion des versions des librairies Python via AWS SSM.
• A orchestré les pipelines Data avec Apache Airflow en concevant des DAGs, la gestion des dépendances, des retries et le monitoring avec alerting Slack/email.
• A développé un microservice temps réel en Java Spring Boot avec Kafka Producer/Consumer et stockage des données dans MongoDB.
• A mis en place une pipeline CI/CD avec Jenkins pour automatiser le build, les tests et le déploiement.
• A mis en place une anonymisation RGPD automatisée des données sensibles selon les règles d'éligibilité métier.
• A automatisé l'exposition des données S3 via AWS Glue Data Catalog et Athena avec gestion dynamique des partitions et métadonnées.
• A implémenté des tests unitaires et d'intégration avec pytest et moto incluant le mock des services AWS.

Contribution au développement d'une solution Data Analytics sur AWS pour centraliser et analyser des données pharmaceutiques issues de différentes sources.

• A développé et maintenu une solution Big Data sur AWS.
• A automatisé l'ingestion de données depuis Salesforce et Sharepoint via AWS Lambda et S3.
• A développé des pipelines ETL avec AWS Glue, PySpark et SQL pour l'ingestion et la transformation des données vers Amazon Redshift.
• A utilisé les AWS Glue Crawlers pour la découverte et la gestion des schémas de données.
• A créé et configuré un entrepôt de données Redshift pour centraliser les données analytiques.
• A collaboré avec l'équipe BI pour garantir l'exactitude des KPIs et des tableaux de bord.

Participation à un projet de modélisation et prédiction de traitements médicaux visant à analyser les comportements de patients.

• A analysé et traité des jeux de données avec Python et SQL.
• A implémenté des modèles d'apprentissage non supervisé pour identifier le profil type des patients sous traitement.

Réalisation du développement d'un crawler YouTube pour collecter des commentaires en arabe.

• A effectué le prétraitement et l'analyse de données textuelles incluant la traduction, la segmentation, la tokenisation et la lemmatisation.
• A utilisé un modèle pré-entraîné pour l'analyse des textes.