Ingénieur IA Senior — Plateforme LLM
Intégration de l'équipe de la plateforme LLM fondatrice d'une grande banque pour concevoir et exploiter l'infrastructure LLM de production au service de plusieurs applications GenAI internes.
- Architecture et exploitation de la plateforme LLM fondatrice de la banque sous des SLOs stricts en latence, coût et conformité.
- Conception d’une passerelle d’inférence de production FastAPI dockerisée sur EC2 exposant des endpoints synchrones, en streaming et en batch.
- Optimisation des déploiements d’inférence via batching de requêtes, mise en cache et autoscaling pour respecter les SLAs produit.
- Développement de GenLib, un SDK Python et Lambda Layer AWS centralisant l’authentification, le suivi des tokens et la logique de retry.
- Conception d’une architecture à plugins extensible basée sur les Protocols Python et les patterns Registry / Factory.
- Développement d’une suite de fonctions AWS Lambda pour les opérations GenAI cœur déployées via Terraform et pipelines CI/CD.
- Intégration de guardrails pour la validation entrée/sortie, la détection de prompt injection et l’anonymisation PII.
- Conception du cœur orchestrateur d’agents parsant des workflows déclaratifs et activant le tool calling et l'extensibilité MCP.
- Mise en place d’un système de mémoire long terme et court terme pour les agents via des stores DynamoDB.
- Réduction du taux d’erreur de retrieval de 62% grâce à une stratégie de Contextual Chunking enrichissant chaque chunk avec son contexte hiérarchique.
- Mise en place d’une stack d’observabilité complète avec CloudWatch, Grafana, Prometheus et OpenTelemetry.
- Construction de pipelines d’évaluation automatisés avec DeepEval et RAGAS mesurant fidélité, pertinence et taux d’hallucination.
Environnement technique