IA · Nouvelle offre
FZ AI Auditor : audit des agents IA déployés
Périmètre, valeur réalisée et rayon d'impact : trois questions auxquelles la plupart des organisations ne peuvent pas répondre avec des preuves.
Le constat
L'avantage de l'IA est de déployer une solution à tous les cas en même temps. C'est aussi son exposition : elle multiplie ce que la solution est réellement, erreurs comprises, et certaines erreurs sont critiques. Presque toutes les organisations savent lister les agents et automatisations qu'elles ont déployés. Presque aucune ne peut dire, preuves à l'appui, ce que ces agents font réellement par rapport à ce pour quoi ils étaient autorisés, si le résultat vaut ce qu'il coûte, et quels dégâts une seule mauvaise décision pourrait causer avant qu'un humain s'en aperçoive. FZ AI Auditor répond à ces trois questions avec des preuves, à intervalles réguliers.
Fidélité au périmètre
Que fait l'agent, comparé à ce qu'on l'a autorisé à faire ?
Source : traces d'exécution et journaux, pas le document de conception.
Valeur réalisée
Combien coûte-t-il à exploiter, et que fait-il vraiment économiser ?
Coût d'exploitation, coût évité et qualité face à une référence humaine.
Rayon d'impact
S'il se trompe, jusqu'où cela va-t-il, et pendant combien de temps ?
Nombre de cas, gravité de chacun, délai avant qu'on s'en aperçoive.
Adéquation du confinement
Les contrôles en place correspondent-ils à ce que le risque exige ?
Chaque contrôle est vérifié, pas supposé.
Ce que couvre l'audit
Fidélité au périmètre
Ce que l'agent était autorisé à faire, comparé à ce qu'il fait réellement en production, à partir des traces d'exécution et des journaux plutôt que du document de conception. La dérive de périmètre est l'état normal d'un agent déployé ; la vraie question est de savoir si quelqu'un la surveille.
Valeur réalisée
Volume traité, coût d'exploitation (calcul, supervision, nettoyage des incidents) face au coût évité, et revue d'échantillon de la qualité par rapport à une référence entièrement humaine. Un vrai chiffre, pas l'analyse de rentabilité qui a justifié le projet.
Rayon d'impact
Si cet agent se trompe, combien de cas touche-t-il, quelle est la gravité de chacun (réversible ou irréversible, courant ou critique sur le plan financier, de la sécurité ou de la conformité), et combien de temps avant qu'un humain s'en aperçoive ? C'est la question RTO/RPO appliquée à un agent : combien peut-il aller de travers, et à quelle vitesse peut-on l'arrêter.
Adéquation du confinement
Les contrôles en place (validations, déploiement progressif, revue par échantillonnage, interrupteur d'arrêt, responsable humain) vérifiés par rapport à ce que le rayon d'impact exige réellement, et non par rapport à ce qui a été construit pour des raisons de commodité.
Pourquoi c'est important
Les erreurs se multiplient, pas seulement la production
Une erreur humaine touche un cas. Une erreur d'agent touche tous les cas traités avant que quelqu'un regarde : le même défaut, répété au volume de l'agent.
Les promesses de valeur vieillissent vite
L'analyse de rentabilité qui justifiait un agent il y a six mois est rarement revérifiée. La dérive de périmètre et les changements de modèle ou de consigne déplacent le vrai chiffre sans que personne ne le recalcule.
Les régulateurs posent la question de l'audit
La surveillance après mise sur le marché du règlement européen sur l'IA (avec les autres obligations des systèmes à haut risque, désormais attendue à partir du 2 décembre 2027 pour l'annexe III et du 2 août 2028 pour l'annexe I, depuis le « Digital Omnibus »), ISO/IEC 42001, le NIST AI RMF et les régimes de risque de modèle déjà en vigueur pour les institutions financières attendent tous qu'une organisation puisse montrer ce qu'un modèle ou un agent déployé fait et comment il est supervisé, pas seulement qu'il a été validé une fois avant le lancement.
Notre intervention
Les durées sont indicatives ; elles dépendent du nombre d'agents dans le périmètre et de la disponibilité des preuves.
- 1 à 2 sem.InventaireAutorisé contre observé
- 2 à 3 sem.ValeurCoût réel contre valeur
- 2 à 3 sem.Rayon d'impactGravité et détection
- 1 sem.Tableau de bordPriorités selon l'exposition
- TrimestrielCadenceÀ chaque changement
- 01
Inventaire et carte du périmètre
1 à 2 semaines
Recenser chaque agent et automatisation dans le périmètre. Comparer le périmètre autorisé au comportement observé : journaux, traces et, s'il existe, le plan de contrôle Citadel ou passerelle.
- 02
Registre de valeur
2 à 3 semaines
Établir le vrai coût face à la valeur pour chaque agent, avec une revue d'échantillon de l'exactitude par rapport à une référence humaine.
- 03
Évaluation du rayon d'impact
2 à 3 semaines
Évaluer la gravité des défaillances et le délai de détection de chaque agent. Mettre à l'épreuve les contrôles de confinement, avec un exercice d'injection de pannes lorsque le niveau de risque le justifie.
- 04
Tableau de bord et feuille de route
1 semaine
Un tableau de bord d'audit par agent (fidélité au périmètre, valeur réalisée, rayon d'impact) et une liste de correctifs classés selon l'exposition, pas selon la facilité.
- 05
Cadence d'audit continue
Trimestrielle ou à chaque changement important
Refaire la carte du périmètre et l'évaluation du rayon d'impact chaque fois qu'un modèle, une consigne ou une permission change, et suivre la dérive d'un cycle à l'autre au lieu de la redécouvrir à zéro.
Ce que vous recevez
- Inventaire des agents avec périmètre autorisé et observé pour chacun
- Un registre de valeur par agent : coût d'exploitation face à la valeur évitée, avec l'échantillon d'exactitude qui le soutient
- Une cote de rayon d'impact par agent, avec délai de détection et gravité du pire scénario
- Une liste des écarts de confinement, rapportés à ce que la cote exige réellement
- Un tableau de bord d'audit et une feuille de route de correctifs priorisée
- Un modèle de tableau de bord reproductible pour la reprise trimestrielle par votre propre équipe
Référentiels
Pourquoi FZ Consultation
Nous appliquons la même démarche (évaluer, tester, mesurer plutôt que croire la conception sur parole) à la continuité des activités, à la reprise après sinistre et à la cybersécurité, pour des services financiers, la santé, l'énergie et le secteur public, depuis 2012. Les agents IA deviennent des systèmes critiques : ils ont des accès, prennent des décisions et tombent en panne. Nous les auditons comme tout ce qui peut mettre l'entreprise à l'arrêt, et nous remettons le tableau de bord et la méthode à votre équipe plutôt que de créer une dépendance envers nous.
Questions fréquentes
Pourquoi auditer un agent qui a été validé avant son lancement ?
Parce que la validation décrit l'agent le jour du lancement. En production, le périmètre dérive, les modèles et les consignes changent, et les volumes évoluent. L'audit mesure l'agent tel qu'il est aujourd'hui.
Et si nous n'avons presque aucune trace ni journalisation ?
L'audit repose sur des preuves. Si elles n'existent pas, nous en discutons au cadrage : l'absence de preuve est elle-même un constat important, et nous convenons avec vous de la meilleure façon de combler ce manque avant ou pendant l'audit.
Testez-vous sur nos systèmes de production ?
Cela dépend de votre tolérance au risque. Au cadrage, nous choisissons avec vous l'approche pour l'exercice d'injection de pannes : une copie de test ou parallèle, ou une simulation à partir des journaux.
Combien cela coûte-t-il ?
Cela dépend du nombre d'agents et de leur niveau de risque. Nous en discutons lors d'un premier appel de 30 minutes, sans engagement, et vous remettons une proposition écrite.
Quelle différence avec la gouvernance de l'IA ?
La gouvernance construit le cadre : politiques, inventaire, rôles, plateforme. L'audit vérifie, preuves à l'appui, que les agents réellement déployés respectent ce cadre et valent ce qu'ils coûtent. Les deux se complètent, et nous pouvons les mener ensemble.
Que reste-t-il à notre équipe à la fin ?
Le tableau de bord et la méthode. Nous remettons un modèle reproductible pour que votre équipe refasse l'audit chaque trimestre, plutôt que de créer une dépendance envers nous.
À voir aussi
- Gouvernance et risques de l'IA
- Conception d'agents IA
- Microsoft Foundry CitadelUne plateforme de gouvernance pour déployer des agents IA à grande échelle sur Azure.
- Tableau d'audit d'agents IAUn tableau pour suivre, agent par agent, la fidélité au périmètre, la valeur réalisée et le rayon d'impact, et le refaire chaque trimestre.
- Questionnaire de vision IA