Data Engineer

Intégration de l'équipe data pour la mise en place d'une plateforme Data dédiée au pôle Usages, Risques et Finance de Bpifrance, afin d'assurer la gestion, la gouvernance et l'exploitation des données sur AWS.

• Conception et développement de jobs PySpark batch et streaming pour l'ingestion, la transformation et l'historisation des données dans Amazon S3.
• Consommation de topics Kafka pour l'ingestion de flux de données en temps réel, avec un traitement via PySpark Structured Streaming.
• Développement de jobs AWS Glue en environnement multi-environnements (dev/staging/prod), avec une gestion des versions des librairies Python via AWS SSM.
• Orchestration des pipelines de données avec Apache Airflow en concevant des DAGs, la gestion des dépendances, les retries et le monitoring avec alerting Slack/e-mail.
• Développement d'un microservice temps réel en Java Spring Boot, intégrant Kafka Producer/Consumer et le stockage des données dans MongoDB.
• Conception et développement d'une pipeline CI/CD avec Jenkins pour automatiser le build, les tests et le déploiement.
• Conception et implémentation d'une anonymisation RGPD automatisée des données sensibles (PII) selon les règles d'éligibilité métier.
• Automatisation de l'exposition des données S3 via AWS Glue Data Catalog et Athena, avec une gestion dynamique des partitions et métadonnées.
• Implémentation de tests unitaires et d'intégration avec pytest et moto, incluant le mock des services AWS.

Participation au développement d'une solution Data Analytics sur AWS pour centraliser et analyser des données pharmaceutiques issues de sources variées.

• Développement et maintenance d'une solution Big Data sur AWS.
• Automatisation de l'ingestion de données depuis Salesforce et SharePoint via AWS Lambda et S3.
• Développement de pipelines ETL avec AWS Glue, PySpark et SQL pour l'ingestion et la transformation des données vers Amazon Redshift.
• Utilisation des AWS Glue Crawlers pour la découverte et la gestion des schémas de données.
• Création et configuration d'un entrepôt de données Redshift pour centraliser les données analytiques.
• Collaboration étroite avec l'équipe BI pour garantir l'exactitude des KPIs et des tableaux de bord.

Réalisation d'un projet de modélisation et de prédiction de traitements médicaux visant à analyser en profondeur les comportements de patients.

• Analyse et traitement de jeux de données avec Python (Pandas, Matplotlib) et SQL.
• Implémentation de modèles d'apprentissage non supervisé (K-means, DBSCAN) pour identifier le profil type des patients sous traitement « DrugA » pour chaque professionnel de santé.

Contribution à la collecte et au traitement automatisé de données textuelles issues des réseaux sociaux.

• Développement d'un crawler YouTube via l'API YouTube Data pour collecter des commentaires en langue arabe.
• Réalisation du prétraitement et de l'analyse de données textuelles incluant la traduction, la segmentation, la tokenization, la lemmatisation et l'utilisation d'un modèle pré-entraîné.