Research AI Engineer
Intégration de l'équipe de recherche d'Abundant afin de concevoir des protocoles d'évaluation avancés pour les grands modèles de langage.
- Conception et implémentation de tâches complexes d'évaluation de LLM pour tester rigoureusement le raisonnement multi-étapes, l'utilisation d'outils et la gestion des cas limites, mettant en évidence les modes de défaillance ignorés par les benchmarks publics standard.
- Construction de suites de tâches cohérentes simulant des flux de travail professionnels réalistes de bout en bout, améliorant la détection des pannes subtiles de modèles et des hallucinations dans plusieurs domaines.
- Développement de jeux de données structurés, de grilles de notation et de frameworks de scoring rendant les comparaisons inter-modèles reproductibles et directement exploitables pour la sélection de modèles et les décisions de gouvernance.
- Examen et validation des tâches d'évaluation selon des critères de vérifiabilité, de calibration de la difficulté et de reproductibilité, augmentant les taux d'acceptation au premier passage et réduisant les retouches.
Environnement technique