Ingénieur Data / Machine Learning / IA

Mission chez Aitenders pour concevoir et mener des protocoles d'évaluation avancés sur des systèmes d'intelligence artificielle.

• Conception de protocoles d'évaluation pour des systèmes LLM d'analyse de documents contractuels : jeux de référence, métriques automatiques et campagnes d'expérimentation reproductibles.
• Développement et évaluation d'une méthode de présélection sémantique par embeddings sur 1 021 couples critère–projet, et comparaison de modèles avec Recall@K, MAP@K et tests statistiques appariés.
• Conception et benchmarking d'architectures mono-agent et multi-agents, atteignant jusqu'à 95 % de réponses correctes sur le protocole testé, tout en analysant les compromis qualité, latence, coût et fiabilité d'orchestration.
• Automatisation de campagnes d'évaluation allant jusqu'à 600 exécutions : exécution d'agents, collecte et structuration des résultats, LLM-as-a-Judge et analyse statistique.