Stagiaire Data Engineer - Projet SkillGap
Conception et gestion d'une plateforme de job matching basée sur la vectorisation sémantique pour Digital School of Paris.
- Conception et gestion d'une base de données PostgreSQL avec extension pgvector pour le matching d'offres d'emploi par similarité vectorielle.
- Développement d'un pipeline ETL complet (Airflow + MinIO) assurant l'ingestion, le nettoyage et la vectorisation des offres d'emploi.
- Mise en place d'une architecture entièrement conteneurisée avec Docker incluant un backend Python et une interface Streamlit.
- Optimisation de la chaîne de traitement pour assurer la fiabilité et la performance du matching.
Environnement technique