Data Engineer / Data Analyst
Intégration dans l'équipe data pour construire une couche de données centralisée et industrialisée alimentant les usages analytiques et décisionnels, avec mise en place d'une solution de monitoring et de gouvernance des usages d'IA générative.
- Conception d'un modèle de données consolidant plusieurs domaines fonctionnels (offres, candidatures, alertes, déclarations).
- Développement de pipelines ELT pour intégrer, transformer et consolider les données provenant d'une infrastructure data.
- Mise en œuvre de règles de qualité de données et contrôles de cohérence pour fiabiliser les indicateurs.
- Optimisation des traitements via partitionnement, filtrage et optimisation des jointures réduisant les temps d'exécution sur des volumes importants.
- Industrialisation des flux de chargement et automatisation des traitements batch.
- Gestion des évolutions du modèle de données et accompagnement des équipes consommatrices.
- Conception d'un modèle de données dédié au suivi des usages LLM et à la consolidation des métriques de consommation.
- Construction d'une couche d'agrégation permettant le calcul des indicateurs de volumétrie, consommation de tokens et coûts d'inférence.
- Mise en œuvre de traitements batch automatisés pour l'alimentation quotidienne des données de monitoring.
- Mise en place de contrôles de cohérence et de validation des métriques garantissant la fiabilité des données.
- Industrialisation des processus de mise à disposition des données de supervision.
- Définition de quotas de consommation et de seuils permettant de prévenir les surconsommations.
Environnement technique