AI Engineer Intern — GenAI Platform
Intégration de l'équipe GenAI d'une plateforme bancaire pour construire et déployer en production une plateforme agentic RAG voice-to-voice répondant aux questions des équipes de vente sur 900+ documents internes.
- Conception d'un système RAG hybride dense+sparse (bge-m3, Qdrant HNSW, Reciprocal Rank Fusion, filtrage ACL) répondant en ~80 ms sur 14 780 vecteurs.
- Atteinte de 0% hallucination et 90% couverture de citations sur un ensemble de validation certifié de 50 questions en déployant un gate de refus calibré à base de cross-encoder (bge-reranker-v2-m3) refusant gracieusement sous un score de confiance de 0.30.
- Construction d'une couche GraphRAG inspirée de RAPTOR : arbre de résumé incrémentalisé mis à jour avec 946 nœuds permettant des briefings au niveau du corpus.
- Réduction du coût et de la latence en déployant un routeur à trois étages — gate d'intention, cache sémantique Redis (hits en 150 ms), workflow agentic borné sur LlamaIndex — atteignant 92% de précision de routage et un classifieur gpt-4o-mini à 96.7% pour un coût ~17× inférieur.
- Livraison d'une UX voice-to-voice temps réel avec Azure OpenAI gpt-realtime (WebRTC, barge-in) ancrée via function calling plus un avatar parlant; réduction du temps jusqu'à la première réponse vocale de 4.85 s à 2.9 s avec routage spéculatif.
- Ingestion de 900+ documents multi-formats (PDF, DOCX, PPTX, XLSX, transcription vidéo, OCR d'écran) en 9 933 chunks dédupliqués (MinHash LSH, chunking conscient de la structure); accélération du reranking GPU de 20 s à 4.5 s (Tesla T4).
- Déploiement seul en production : GPU VM Azure, FastAPI sous systemd, Caddy auto-HTTPS, Qdrant + Redis en Docker, pipeline GitLab CI 5 étapes, portail Next.js sur Azure App Service; migration de 14 780 vecteurs point-par-point après corruption de snapshot cross-OS.
- Instrumentation de l'observabilité LLM (Langfuse auto-hébergé : latence par étage, coût en tokens, redaction PII) et d'un regression harness sur golden-set utilisé comme quality gates de style CI; architecture entièrement résidente en UE (RGPD by design).
Environnement technique