Lead Observabilité IA & Performance
Mise en production et assurance de l'observabilité d'un assistant IA destiné à un client, avec mise en place de Langfuse et d'une chaîne RAG couvrant l'identification des sources documentaires, leur intégration, la traçabilité des traitements et le suivi en production.
- Mise en place de l'observabilité de la solution IA avec Langfuse afin de centraliser et exploiter les traces d'exécution.
- Structuration du suivi de la performance et de la qualité : temps de réponse, erreurs, cohérence des réponses, traçabilité des sources et comportement des chaînes RAG.
- Analyse des traces et anomalies afin d'identifier les causes récurrentes, prioriser les corrections et améliorer la fiabilité du service.
- Pilotage de la chaîne RAG depuis l'identification des sources documentaires jusqu'à l'indexation, la recherche et la mise en production.
- Définition des règles de qualité et de traçabilité permettant de relier les réponses produites aux sources documentaires exploitées.
- Coordination des travaux entre besoins métier, Data/IA, développement et mise en production, avec suivi des actions d'amélioration.
- Mise en place d'une capacité de suivi opérationnel d'un assistant IA en production et amélioration de la visibilité sur son comportement.
- Renforcement de la traçabilité de bout en bout des traitements RAG et des sources utilisées.
- Mise en place d'une boucle d'analyse et d'amélioration continue basée sur les données d'observabilité.
Environnement technique