AI Engineer / Data Analyst
Intégration de l'équipe d'évaluation des LLMs chez Toloka AI afin de mettre en place des méthodologies de qualification et de monitoring des modèles de langage générative.
- Conception de méthodologies d'évaluation des LLMs basées sur des annotations expertes pour mesurer la qualité et la fiabilité des réponses générées.
- Mise en place de tableaux de bord Databricks permettant le monitoring en temps réel de plus de 20 KPIs de qualité et de performance.
- Développement de pipelines Python pour le traitement de jeux de données JSON issus des évaluations de LLMs, permettant l'analyse comparative de GPT-5, Claude et Gemini selon des critères de qualité définis par les experts.
Environnement technique