Qualité et exploitation d'une IA en production

Une IA en service doit être mesurée avant sa mise en production, puis suivie dans la durée, et ses dépenses doivent être chiffrées. Trois sites du réseau couvrent l'évaluation, l'observation en production et les coûts. Ils se complètent : une baisse de qualité peut passer inaperçue sans suivi, et une hausse de facture peut venir d'une réponse qui s'allonge.

Les sujets et les pages à lire

Sujet	Hôte et page du réseau	Ce qu'il faut vérifier avant
Définir une bonne réponse	evaluation : La méthode d'évaluation	Des critères précis et mesurables, écrits avant de noter quoi que ce soit.
Jeu de test	evaluation : Jeu de test	Des questions réelles, posées par vos équipes ou vos clients, avec la réponse attendue.
Noter avec un modèle juge	evaluation : LLM as a judge	Vérifier la fiabilité du juge avant de s'y fier : il a des biais connus, sur la position, la longueur et ses propres réponses.
Non-régression	evaluation : Tests de non-régression	Relancer les tests à chaque changement de modèle, de consignes ou de documents.
Journal ou trace	observabilite : Définition, traces et vocabulaire	Un journal enregistre un événement daté ; une trace relie toutes les étapes d'une même requête.
Conversations et RGPD	observabilite : Journaliser les conversations et le RGPD	Ce que l'on garde des conversations, et pour combien de temps.
Signaux d'alerte	observabilite : Six signaux à surveiller	Une IA peut répondre sans erreur technique tout en répondant moins bien : l'erreur ne suffit pas comme alerte.
Modèle remplacé par l'éditeur	observabilite : Dérive après une mise à jour	Les éditeurs retirent leurs modèles à date fixe : sans suivi, le changement passe inaperçu.
Coût d'un projet	couts : Coûts d'un projet IA en entreprise	Trois familles : jetons, infrastructure, temps humain. Le temps humain ne figure sur aucune page tarifs.
Coût d'un appel	couts : Calculer le coût d'un appel API	Nombre de jetons d'entrée et de sortie, multiplié par les prix du modèle à la date de relevé.
Plafond de dépense	couts : Plafonner les dépenses	Fixer une limite mensuelle avant de donner l'accès au premier utilisateur.
Réduire la facture	couts : Réduire la facture	Cache, traitement par lots, petit modèle pour les tâches simples, réponses plus courtes.
Maintenance dans la durée	couts : Coût de maintenance d'une IA en production	La relecture, l'évaluation, la surveillance et les migrations quand un modèle est retiré.

Mesurer avant, suivre après

Les guides d'évaluation proposent la même méthode en quatre gestes : définir le succès, réunir un jeu de test, noter les réponses, puis relancer les tests et surveiller la production. Un classement public ne suffit pas, car il mesure le modèle sur des questions qui ne sont pas les vôtres. Pour noter, on combine trois moyens : le code pour ce qui se vérifie mécaniquement, un modèle juge pour le reste, et une personne du métier pour calibrer le juge.

Le guide d'observabilité ajoute quatre familles à suivre : les traces, les journaux, les coûts et la qualité. Une hausse de dépense sans hausse de trafic peut venir d'une réponse plus longue. Une baisse de qualité sans erreur peut venir d'un modèle remplacé par son éditeur. Ces situations se détectent seulement si l'on a choisi ce qu'on observe avant la mise en service.

Pour les coûts, le guide dédié renvoie aux pages tarifs des éditeurs, qui changent souvent : c'est pourquoi le réseau indique à chaque fois la date de relevé et ne recopie pas les prix sur chaque page.

Trois questions à se poser

Quels tests refait-on à chaque changement de modèle ou de consigne, et qui les valide ?
Quels signaux déclenchent une alerte, et qui la reçoit, en dehors des heures de bureau comprises ?
Quel plafond de dépense et quel temps humain avez-vous chiffrés avant de donner l'accès aux utilisateurs ?

Pour aller plus loin

La qualité dépend d'abord des données et des choix du modèle : voir Données et connaissances et Choisir son modèle d'IA et son hébergement. Les tests d'attaque et la journalisation de sécurité sont traités dans Règles et sécurité, et l'ordre complet d'un projet dans Mettre en place une IA, les sept étapes.

Qui édite ce site

Cercle IA Tech est édité par IArche, à Bayonne, qui édite aussi ALMA, la plateforme IA pour PME d'IArche. ALMA n'est pas comparé sur ces pages. Les outils cités ne sont pas édités par IArche ; leurs caractéristiques et leurs prix ont été relevés sur leurs pages officielles le 15/11/2026.