Module 7 — Risques IA : 8 catégories de base, 8 risques à l'échelle agentique
Les 8 catégories de risques IA de base
| # | Catégorie | Description |
|---|---|---|
| 7.1 | Hallucination | Production d'une information plausible mais fausse ou non vérifiable, présentée comme un fait. |
| 7.2 | Fuite de données & confidentialité | Exposition de données sensibles via les entrées, les sorties ou les outils d'un agent. |
| 7.3 | Biais & équité | Décisions ou sorties systématiquement défavorables à un groupe. |
| 7.4 | Dérive (drift) | Dégradation progressive de la qualité des sorties par changement des données ou du modèle. |
| 7.5 | Dépendance excessive | Perte de compétence ou de maîtrise humaine sur une tâche déléguée. |
| 7.6 | Sécurité & cyber | Injection de prompt, détournement d'outils, compromission de la chaîne d'agents. |
| 7.7 | Non-conformité réglementaire & propriété intellectuelle | Violation d'une obligation légale, contractuelle ou de droits de tiers. |
| 7.8 | Réputationnel | Atteinte à l'image par une sortie ou une décision d'agent rendue publique. |
§7.9 — Les 8 risques spécifiques à l'échelle agentique
| # | Risque | Description | Mitigation AIPM | Statut de preuve |
|---|---|---|---|---|
| 7.9.1 | Perte simultanée d'exécution et de maîtrise humaine | Le risque naît quand le canal de recours humain disparaît en même temps que l'exécution. | Champ obligatoire « canal d'escalade humaine garanti » dans la Fiche Directive. | Confirmé opérationnel |
| 7.9.2 | Rupture au moment du handoff humain, pas au moment du volume | Le système tient à grande échelle jusqu'au point de transfert vers un humain : c'est ce point précis qui casse. | Le tableau d'exceptions documente le propriétaire humain et le délai de reprise à chaque seuil. | Confirmé opérationnel |
| 7.9.3 | Hallucination non mesurée en production | Le risque n'est pas le taux d'hallucination lui-même mais l'absence de mesure continue une fois le pilote terminé. | Méthode de vérification anti-hallucination explicite pour toute Directive à fort enjeu documentaire. | Confirmé (agrégat sectoriel) |
| 7.9.4 | Sous-gouvernance à l'échelle (coûts, valeur, contrôle) | Un déploiement lancé sans owner de gouvernance ni budget de contrôle échoue pour des raisons prévisibles. | Checklist de pré-lancement obligatoire au-delà d'un seuil de volume/impact. | Recherche/projection + Annoncé/projeté |
| 7.9.5 | Dérive collective d'une flotte d'agents | Agents qui se valident mutuellement à tort — aucun cas opérationnel de défaillance documenté à ce jour. | Séparation agent-producteur / agent-vérificateur (principe 11). | Théorique — non confirmé |
| 7.9.6 | Concentration de la valeur : l'échec silencieux de la majorité | L'IA agentique échoue silencieusement dans la majorité des organisations pendant qu'une minorité capte la valeur. | Modèle de maturité calibré sur le cas majoritaire, pas seulement sur les pointes avancées. | Confirmé + Recherche/projection |
| 7.9.7 | Métrique trompeuse : l'automatisation progresse, le coût total progresse plus vite | Un excellent taux d'automatisation peut coexister avec une dégradation économique réelle. | Chaque métrique rapportée à une base de volume/demande, jamais en avant/après brut. | Confirmé opérationnel |
| 7.9.8 | Confusion « annoncé » et « opérationnel » dans le calibrage du risque | Calibrer une exigence de gouvernance sur une promesse non vérifiée plutôt que sur un fait mesuré. | Statut de fiabilité à 3 niveaux exigé pour tout cas tiers cité en référence. | Règle méthodologique transversale |
Le risque 7.9.5 (dérive collective d'une flotte d'agents) est conservé malgré l'absence de cas opérationnel confirmé : son statut « théorique, non confirmé » est affiché explicitement, conformément à la règle de preuve.
Le comité de gouvernance IA
- Owner de gouvernance nommé pour toute Directive à fort volume (principe 5).
- Checklist de pré-lancement issue des trois causes d'échec : coûts sous-estimés, valeur floue, contrôles insuffisants.
- Protocole d'escalade / désescalade de l'autonomie méritée.
- Revue de calibration en fin de Directive.
- Correspondances documentées avec ISO/IEC 42001 (système de management de l'IA) et le NIST AI RMF (Govern, Map, Measure, Manage). Une table de correspondance n'est ni un audit, ni une certification, ni une déclaration de conformité : ISO ne réalise pas de certification, et le NIST AI RMF est explicitement d'usage volontaire, sans mécanisme de conformité.
Les huit catégories de risque de base, avec détection et garde-fou
| Catégorie | Comment ça se détecte | Garde-fou type |
|---|---|---|
| 7.1 Hallucination | Contrôle par échantillon contre une source de vérité ; contradiction interne entre deux sorties ; signal d'incertitude de l'agent lui-même. | Méthode de vérification anti-hallucination explicite, mesurée en continu et pas seulement pendant le pilote. Un agent doit pouvoir dire qu'il ne sait pas — c'est l'Andon. |
| 7.2 Fuite de données & confidentialité | Audit des entrées et sorties ; inventaire des outils accessibles à l'agent ; test d'exfiltration. | Périmètre de données explicite dans la Fiche Directive ; validation stricte de schéma en entrée et en sortie ; interdiction dure d'accès aux données hors périmètre. |
| 7.3 Biais & équité | Analyse des décisions par sous-population sur une période ; taux de rejet comparés. | Revue humaine obligatoire sur les décisions défavorables ; traçabilité permettant de reconstituer le motif d'une décision individuelle. |
| 7.4 Dérive (drift) | Suivi du taux de résultats vérifiés du premier coup dans le temps ; comparaison à une référence figée. | Seuil de risque sur la dégradation ; réévaluation à chaque changement de modèle, de prompt ou de source de données. |
| 7.5 Dépendance excessive | Test périodique : l'équipe sait-elle encore faire la tâche déléguée ? Délai de reprise en mode dégradé. | Exercice de reprise manuelle documenté ; le principe 1 exige que la compétence humaine reste réelle et vérifiable, jamais une façade. |
| 7.6 Sécurité & cyber | Tests d'injection de prompt ; revue des permissions d'outils ; journalisation des appels sortants. | Moindre privilège sur les outils ; garde-fous durs de dépense et de volume ; validation stricte des entrées. AIPM ne fournit pas de contre-mesures techniques détaillées — voir les référentiels de sécurité applicative dédiés. |
| 7.7 Non-conformité & propriété intellectuelle | Revue juridique du périmètre avant lancement ; contrôle des sources utilisées par l'agent. | Filtre de délégabilité appliqué avec un critère réglementaire ; interdiction explicite des périmètres à obligation légale forte tant qu'ils ne sont pas cadrés. |
| 7.8 Réputationnel | Revue des sorties rendues publiques ; signalements clients ; veille sur les mentions externes. | Revue humaine systématique des sorties publiques au-delà d'un seuil d'exposition ; canal d'escalade joignable au moment où l'incident devient visible. |
Pourquoi huit risques agentiques en plus
Les huit catégories ci-dessus existent dès qu'on utilise un modèle. Les huit risques du §7.9 n'apparaissent qu'à partir du moment où l'exécution est massivement déléguée à une flotte : ils portent sur l'échelle, sur les points de transfert, et sur la mesure elle-même. Un registre qui ne contient que les huit premières catégories est un registre d'usage d'IA, pas un registre de gouvernance agentique.
Un registre honnête est court. Huit lignes remplies sérieusement, avec un garde-fou et un propriétaire par ligne, valent mieux que quarante lignes recopiées d'un modèle. Le registre s'ouvre avant le lancement — c'est le principe 5.
Exercice — Qualifier trois incidents
Trois incidents remontent la même semaine. Pour chacun : quelle catégorie de risque, et quelle mitigation AIPM ?
- Un agent cite un article de loi qui n'existe pas, dans une réponse envoyée au client.
- Le volume traité a doublé ; le taux de transfert vers un humain est resté stable, mais les clients transférés attendent désormais quarante minutes.
- Le taux d'automatisation atteint un record trimestriel ; le coût total du service augmente plus vite que le volume.
Voir la correction
1 — 7.1 Hallucination, et plus précisément 7.9.3 si le taux n'est plus mesuré depuis la fin du pilote. Mitigation : une méthode de vérification anti-hallucination explicite pour toute Directive à fort enjeu documentaire, et une mesure continue, pas seulement pendant le pilote.
2 — 7.9.2, rupture au moment du handoff. Le système tient à l'échelle jusqu'au point de transfert : c'est ce point précis qui casse. Mitigation : le tableau d'exceptions documente, pour chaque seuil, le propriétaire humain nommé et le délai de reprise attendu — et ce délai se mesure.
3 — 7.9.7, métrique trompeuse. Un excellent taux d'automatisation coexiste avec une dégradation économique réelle. Mitigation : toute métrique rapportée à une base de volume, jamais en avant/après brut (principe 10).
Pour aller plus loin : cas approfondis
Des cas réels, lus à la source, qui mettent en situation le contenu de ce module. Chaque fiche porte son statut de preuve.
- Quand le fournisseur déclare lui-même franchir un seuil Annoncé/projeté
- Quand la chaîne de pensée cesse d'être une preuve Annoncé/projeté
Risques IA : 8 catégories de base, 8 risques à l'échelle agentique. Article suivi d'un quiz de 4 questions.
Bewertung
0
0
Momentan sind keine Kommentare vorhanden.
1.
Combien de catégories de risques IA de base compte le Standard, et combien de risques spécifiques à l'échelle agentique ?
2.
Quel risque est explicitement marqué « théorique, non confirmé par un cas opérationnel » ?
3.
Quelle est la mitigation AIPM du risque 7.9.1 (perte simultanée d'exécution et de maîtrise humaine) ?