L'inévitabilité des incidents liés à l'IA

La réponse aux incidents liés à l'IA est le processus structuré qu'une organisation suit lorsqu'un système d'IA cause un préjudice, connaît une défaillance catastrophique, produit des résultats biaisés ou inexacts, ou fait l'objet d'une enquête réglementaire. Toute organisation utilisant l'IA à grande échelle connaîtra tôt ou tard un incident lié à l'IA ; la question est de savoir si vous le découvrez grâce à votre propre surveillance ou par l'intermédiaire d'un régulateur, d'un journaliste ou d'une action en justice. Ce guide présente le cadre pratique de réponse : détection, escalade, confinement, investigation, remédiation et signalement.

La plupart ne le sont pas. Les processus standard de réponse aux incidents informatiques sont conçus pour les défaillances technologiques : les systèmes tombent en panne, des données sont perdues, la sécurité est compromise. Les incidents liés à l'IA présentent des caractéristiques différentes que les processus standard ne prennent pas en compte. Ils peuvent affecter des personnes avant d'être détectés : un outil de recrutement biaisé peut écarter des candidats qualifiés pendant des mois avant que le schéma ne soit identifié. Ils peuvent être difficiles à attribuer : il peut être véritablement difficile de déterminer si un résultat préjudiciable a été causé par le système d'IA, par les données qu'il a traitées, par la manière dont il a été déployé, ou par une combinaison de ces facteurs. Et leur ampleur peut être difficile à quantifier : le nombre de personnes affectées par une erreur de décision de l'IA ne peut parfois qu'être estimé, et non connu avec précision.

Catégories d'incidents liés à l'IA

Défaillance de performance : le système d'IA produit des résultats incorrects, inexacts ou peu fiables à un rythme ou à une échelle qui cause un préjudice significatif. Cela inclut les systèmes d'IA qui se dégradent avec le temps en raison de la dérive du modèle, les systèmes qui échouent en cas de changement de distribution des données, et les systèmes qui n'ont jamais été suffisamment précis pour l'usage auquel ils étaient déployés. La défaillance de performance est souvent progressive et peut passer inaperçue en l'absence de surveillance active.

Défaillance d'équité : le système d'IA produit systématiquement des résultats différents pour des groupes démographiques identifiables, d'une manière qui cause un préjudice discriminatoire. Les défaillances d'équité peuvent ne pas être apparentes dans les indicateurs de performance agrégés : un modèle qui performe bien en moyenne peut performer nettement moins bien pour un sous-groupe minoritaire. Leur détection nécessite une stratification démographique des données de performance, et non uniquement une surveillance globale de la précision.

Incident de sécurité : le système d'IA est manipulé au moyen d'entrées adverses, les données d'entraînement ou le modèle sont compromis, ou le système est utilisé d'une manière non prévue par ses concepteurs. Les attaques adverses contre les systèmes d'IA, des entrées conçues pour provoquer une classification erronée ou des résultats inattendus, constituent un vecteur de menace documenté et croissant.

Manquement réglementaire ou de conformité : le système d'IA est jugé non conforme au droit applicable, fonctionne sans l'évaluation de conformité requise, traite des données en violation du droit de la protection des données, ou produit des résultats qui enfreignent la législation anti-discrimination. Les manquements de conformité peuvent être découverts par les régulateurs plutôt que par la surveillance interne.

Ce qu'exige la réponse aux incidents liés à l'IA

Capacité de détection : on ne peut pas répondre à un incident qui n'est pas détecté. L'infrastructure de surveillance de l'IA doit être capable de détecter les indicateurs de chaque catégorie d'incident : déclencheurs de dégradation de performance, anomalies des indicateurs d'équité, schémas d'entrée inhabituels pouvant indiquer une activité adverse, et signaux de risque de conformité. La surveillance doit être continue, et non périodique.

Réponse transversale dès le premier instant : les incidents liés à l'IA ne sont pas des événements purement techniques. Dès qu'un incident lié à l'IA est identifié, la réponse doit impliquer le service juridique et conformité (pour évaluer les obligations de notification réglementaire et préserver le secret professionnel), la communication (pour gérer le risque réputationnel et la notification aux parties prenantes), et l'équipe technique (pour contenir l'incident et mener l'analyse des causes profondes). Attendre de connaître la cause technique profonde avant de faire intervenir le service juridique ou la communication constitue une défaillance de gouvernance qui aggrave l'incident initial.

Notification réglementaire : le règlement européen sur l'IA (AI Act) impose aux fournisseurs et aux déployeurs de systèmes d'IA à haut risque de notifier les incidents graves aux autorités nationales de surveillance du marché sans retard injustifié. Les incidents graves sont définis comme incluant les décès, les atteintes graves à la santé ou aux droits fondamentaux, ainsi que les dommages matériels importants imputables au système d'IA. La plupart des organisations soumises à cette obligation n'ont aucun processus pour identifier les incidents d'IA devant être signalés ni pour effectuer les notifications requises.

Notification aux personnes concernées : lorsqu'un incident lié à l'IA a causé un préjudice à des personnes identifiables, celles-ci peuvent disposer d'un droit à être notifiées. L'obligation de notification appropriée dépend de la nature de l'incident, de la juridiction et du régime réglementaire applicable, mais cette analyse doit être menée rapidement, et non traitée après coup.

Examen post-incident

L'examen post-incident des défaillances de l'IA doit poser deux questions distinctes. La première est la question technique : qu'est-ce qui n'a pas fonctionné avec le modèle, les données ou le déploiement ? La seconde, plus importante, est la question de gouvernance : quelles défaillances de gouvernance ont permis que cela se produise et perdure jusqu'à devenir un incident ?

Les défaillances techniques de l'IA sont presque toujours précédées de défaillances de gouvernance : une surveillance inadéquate qui n'a pas permis de détecter la dégradation, une validation insuffisante qui n'a pas identifié un problème de performance avant le déploiement, l'absence de structures de responsabilité faisant qu'il n'incombait à personne de détecter le problème, ou une culture qui traitait les préoccupations relatives aux systèmes d'IA comme des problèmes d'ingénierie plutôt que comme des problèmes de gestion des risques.

Un examen post-incident qui n'identifie que des causes techniques, sans examiner les défaillances de gouvernance, produira une remédiation technique qui n'empêchera pas la récurrence. C'est la remédiation de gouvernance, à savoir le renforcement de la surveillance, de la validation, de la responsabilité et de la culture, qui permet de prévenir le prochain incident.

Mai 2026 : précédent d'application de l'ASIC (Australian Securities and Investments Commission) et escalade au niveau du conseil d'administration

La lettre ouverte de l'ASIC du 8 mai 2026, adressée à tous les titulaires de licence AFS, établit un précédent pratique pour la réponse aux incidents liés à l'IA. Deux points sont directement pertinents :

Premièrement, l'action coercitive de 2,5 millions de dollars engagée par l'ASIC contre FIIG Securities Limited pour des défaillances de cybersécurité démontre que les obligations de réponse aux incidents sont opposables. L'ASIC a décrit la norme comme devant être « manifestement efficace et proportionnée à la taille, à la nature et à la complexité d'une entreprise ». Les organisations incapables de démontrer que leurs plans de réponse aux incidents sont testés et à jour s'exposent à un risque réglementaire important.

Deuxièmement, l'ASIC a demandé à toutes les entités réglementées de présenter formellement cette lettre à leur conseil d'administration et à leurs comités de gouvernance des risques. Cela établit l'attente que la réponse aux incidents liés à l'IA et à la cybersécurité relève de la gouvernance au niveau du conseil d'administration, et non d'une simple question opérationnelle.

Source primaire : Communiqué de presse de l'ASIC 26-092MR, 8 mai 2026

Pour aller plus loin