Data Engineer
Intégration de Stratify Ops pour concevoir des pipelines de données et des architectures d'intelligence artificielle générative.
- Développement et maintenance de scrapers pour plusieurs sites avec génération de sitemap et crawl de pages produits via curl_cffi et Playwright.
- Extraction de contenu markdown, de tables JSON, de documents PDF et d'images pour alimenter le pipeline d'ingestion.
- Conception et développement d'un agent RAG de bout en bout intégrant une ingestion multi-formats et un retrieval hybride avec ChromaDB, BM25 et RRF ainsi que du reranking.
- Mise en œuvre de la génération via LangChain et LangGraph.
- Développement d'une application web complète avec FastAPI et un frontend gérant des utilisateurs multiples, des dossiers privés isolés par session, l'upload de fichiers et un historique persistant sous PostgreSQL.
- Réalisation de la dockerisation et du déploiement de l'application en architecture multi-services sur un serveur VPS.
Environnement technique