Ce qu'est un audit de l'IA, et ce qu'il n'est pas

Un audit de l'IA est un examen systématique d'un système d'IA selon plusieurs dimensions : ses données d'entraînement et ses pratiques de gouvernance des données, sa performance technique, ses propriétés d'équité, ses mécanismes de supervision humaine, et sa conformité aux exigences réglementaires applicables. Il produit des constats documentés et, point essentiel, des décisions documentées sur la manière dont ces constats seront traités.

Un audit de l'IA n'est pas un test d'intrusion, une revue de code, ni un benchmark de performance, même si chacun de ces éléments peut faire partie d'un programme d'audit plus large. Ce n'est pas non plus une certification de conformité fournisseur. Et ce n'est pas un exercice ponctuel : un audit de l'IA efficace est une pratique récurrente, pas une simple case à cocher.

Cette distinction compte, car les organisations mènent fréquemment des revues techniques qu'elles qualifient d'audits, mais qui passent à côté des dimensions de gouvernance à l'origine des risques organisationnels et réglementaires les plus importants. Un modèle techniquement exact mais produisant des résultats discriminatoires a réussi une revue technique et échoué à un audit.

Quand un audit de l'IA est-il requis

L'audit de l'IA passe du statut de bonne pratique à celui d'exigence légale dans de nombreuses juridictions.

L'AI Act de l'UE exige une évaluation de conformité pour les systèmes d'IA à haut risque avant leur déploiement, une évaluation structurée de la conformité aux exigences techniques et de gouvernance de l'AI Act. Pour la plupart des systèmes à haut risque de l'annexe III, il s'agit d'une auto-évaluation. Pour les systèmes d'identification biométrique, une évaluation par un tiers, un organisme notifié, est obligatoire. La surveillance post-commercialisation, une activité de type audit continue, est requise pour tous les systèmes à haut risque tout au long de leur cycle de vie opérationnel.

La Local Law 144 de la ville de New York impose aux employeurs utilisant des outils automatisés de décision en matière d'emploi de faire réaliser des audits annuels de biais par des auditeurs indépendants, et de publier une synthèse des résultats. Il s'agit de la première exigence obligatoire d'audit de l'IA pour les employeurs privés aux États-Unis, et une législation similaire est envisagée dans d'autres juridictions.

Au-delà des exigences légales, l'audit de l'IA devient de plus en plus une attente de diligence raisonnable. Les processus d'achat en entreprise, la diligence raisonnable des investisseurs et la souscription d'assurance pour le risque technologique exigent tous, de plus en plus, des preuves documentées d'audit des systèmes d'IA.

Les cinq domaines d'un audit de l'IA

Domaine 1 : Gouvernance des données

Questions d'audit : D'où proviennent les données d'entraînement ? L'organisation dispose-t-elle des droits appropriés pour utiliser ces données à cette fin ? Comment les données ont-elles été collectées, étiquetées et traitées ? Quels contrôles qualité ont été appliqués ? Dans quelle mesure les données d'entraînement sont-elles représentatives de la population à laquelle le système sera appliqué ? Quel est le processus de traitement des problèmes de qualité des données identifiés après le déploiement ?

Constats fréquents : données d'entraînement issues de contextes où certains groupes démographiques sont sous-représentés ; processus d'étiquetage ayant intégré des biais humains dans les données d'entraînement ; documentation insuffisante de la provenance des données ; absence de processus pour intégrer les retours de performance à la gouvernance des données.

Domaine 2 : Performance du modèle

Questions d'audit : Quels indicateurs de performance ont été définis avant le développement, et sont-ils adaptés au cas d'usage ? Comment la performance a-t-elle été mesurée, et par rapport à quel jeu de données de test ? La performance a-t-elle été mesurée dans l'environnement de déploiement réel, et pas seulement dans des conditions de test contrôlées ? Quel est le processus de détection et de réponse à la dérive de performance ?

Constats fréquents : indicateurs de performance définis après le développement pour correspondre aux résultats observés ; jeux de données de test ne représentant pas les conditions de déploiement ; absence de surveillance de la dérive de performance ; performance mesurée uniquement au moment du déploiement, et non de manière continue.

Domaine 3 : Équité et biais

Questions d'audit : Le système a-t-il été testé pour détecter un impact disparate selon les caractéristiques protégées pertinentes ? Quels indicateurs d'équité ont été utilisés, et sont-ils adaptés au cas d'usage ? Quelles disparités ont été identifiées, et comment ont-elles été traitées ? Une surveillance continue des biais est-elle en place ?

Constats fréquents : absence de test de biais avant déploiement ; tests de biais réalisés sur des données agrégées plutôt que stratifiées par sous-groupes pertinents ; disparités identifiées mais non corrigées ; absence de surveillance continue après le déploiement.

Domaine 4 : Supervision humaine

Questions d'audit : Qui est responsable de la performance et de la conformité de ce système ? Quelles décisions le système prend-il ou influence-t-il, et quels mécanismes de révision humaine existent ? Les personnes concernées peuvent-elles demander une révision humaine des décisions de l'IA ? Qu'est-ce qui déclenche l'escalade d'une décision automatisée vers une décision humaine ? Existe-t-il un processus de suspension du système en cas de détection de risques graves ?

Constats fréquents : absence de responsable désigné ; mécanismes de supervision humaine existant sur le papier mais non utilisés en pratique ; absence de mécanisme permettant aux personnes concernées de demander une révision ; absence de critères clairs pour la suspension du système.

Domaine 5 : Conformité réglementaire

Questions d'audit : Quelles obligations réglementaires s'appliquent à ce système dans chaque juridiction où il est déployé ? Une évaluation de conformité a-t-elle été réalisée lorsque celle-ci est requise ? Le système est-il enregistré dans les bases de données réglementaires applicables ? La documentation technique est-elle complète et à jour ?

Constats fréquents : obligations réglementaires non identifiées ou non cartographiées ; absence d'évaluation de conformité pour les systèmes à haut risque ; documentation technique incomplète ou obsolète ; statut réglementaire non réexaminé lors d'une modification du système ou d'un déploiement dans de nouvelles juridictions.

Qui doit mener l'audit

Un audit de l'IA efficace requiert une combinaison d'examens internes et externes. Les audits internes, menés par des fonctions d'audit, de conformité ou de gestion des risques indépendantes de l'équipe responsable du système d'IA, permettent d'évaluer efficacement les processus, la documentation et les contrôles opérationnels. Ils sont utiles et doivent être menés régulièrement.

Les audits externes apportent l'indépendance, l'expertise spécialisée et la crédibilité qu'un examen interne ne peut fournir. Pour les systèmes à haut risque, les contextes de déploiement réglementés, ou les situations où les constats d'audit seront partagés avec des régulateurs, des investisseurs ou des clients entreprises, un examen externe indépendant est approprié.

L'équipe menant l'audit doit inclure : une expertise technique suffisante pour comprendre l'architecture du modèle et évaluer les allégations de performance ; une expertise en gouvernance des données pour évaluer la provenance et la qualité des données ; une expertise juridique ou de conformité pour évaluer les obligations réglementaires ; et une expertise du domaine pertinente pour le cas d'usage.

Que faire des constats d'audit

Les constats d'audit exigent des réponses documentées. Pour chaque constat significatif, l'organisation doit décider : accepter le constat et documenter la justification de l'acceptation du risque associé ; corriger le constat dans un délai défini avec une responsabilité documentée ; ou suspendre ou modifier le système en attendant la correction.

Les constats qui sont notés, classés et non suivis d'effet ne constituent pas de la gouvernance. Ils constituent la preuve d'un échec de gouvernance qui peut s'avérer plus préjudiciable lors de procédures réglementaires que de n'avoir mené aucun audit du tout.

Lectures complémentaires

Pour aller plus loin : Principes de l'IA de l'OCDE