Ce que signifie réellement la gouvernance de l'IA
La gouvernance de l'IA est l'ensemble des politiques, structures, processus et contrôles qui permettent à une organisation de développer, déployer et exploiter des systèmes d'IA de manière responsable, redevable et alignée sur les valeurs et les obligations de l'organisation. Cette définition peut sembler abstraite, mais ses composantes sont concrètes. Les politiques définissent ce que l'organisation fera et ne fera pas avec l'IA. Les structures déterminent qui est responsable des décisions de gouvernance de l'IA. Les processus définissent comment les systèmes d'IA sont évalués, approuvés, déployés, surveillés et mis hors service. Les contrôles sont les mesures techniques et opérationnelles qui empêchent les systèmes d'IA de causer un préjudice.
L'objectif de la gouvernance de l'IA n'est pas d'abord la conformité, c'est la capacité. Les organisations dotées d'une gouvernance de l'IA mature peuvent déployer l'IA plus rapidement, car elles disposent de processus établis d'approbation et d'évaluation des risques. Elles peuvent déployer l'IA avec plus de confiance, car elles disposent d'une surveillance permettant de détecter les problèmes. Elles peuvent justifier leur utilisation de l'IA auprès des régulateurs, des clients et du public, car elles disposent d'une documentation qui démontre leur gouvernance. Et elles peuvent faire évoluer et améliorer leur IA, car elles bénéficient des boucles de rétroaction qu'une bonne gouvernance crée.
Les cinq composantes d'une gouvernance de l'IA efficace
Un inventaire de l'IA constitue le socle. On ne peut pas gouverner ce dont on ignore l'existence. Un inventaire complet, à jour et précis de tous les systèmes d'IA utilisés dans l'organisation, y compris l'IA intégrée dans les plateformes des fournisseurs, est le point de départ de toute autre activité de gouvernance. La plupart des organisations, lorsqu'elles réalisent un inventaire honnête, découvrent qu'elles possèdent nettement plus d'IA qu'elles ne le pensaient. L'IA fantôme (shadow AI) déployée par les unités opérationnelles, les fonctionnalités d'IA ajoutées aux plateformes logicielles existantes, les outils d'IA utilisés par des employés à titre individuel, tout cela relève de l'obligation de gouvernance.
Un cadre de gestion des risques fournit la structure d'une gouvernance proportionnée. Tous les systèmes d'IA ne présentent pas le même niveau de risque, une IA qui génère des brouillons de documents internes est différente d'une IA qui prend des décisions de crédit. Un cadre de gestion des risques classe chaque système d'IA selon la nature et l'ampleur des risques qu'il crée et applique des exigences de gouvernance proportionnées à ce risque. Les systèmes d'IA à haut risque, c'est-à-dire ceux qui prennent ou influencent de manière substantielle des décisions affectant les droits, les opportunités ou la sécurité des personnes, font l'objet de la gouvernance la plus poussée. Les systèmes d'IA à faible risque font l'objet d'une gouvernance plus légère, centrée sur un usage approprié et le traitement des données.
Les contrôles sont les mesures qui gèrent les risques identifiés dans le cadre de gestion des risques. Les contrôles techniques comprennent : les tests de biais avant déploiement, les mécanismes d'explicabilité qui permettent de comprendre les décisions de l'IA, les systèmes de surveillance qui détectent la dérive des modèles et la dégradation des performances, les contrôles d'accès qui limitent qui peut modifier les systèmes d'IA, et la journalisation qui crée une piste d'audit des opérations de l'IA. Les contrôles opérationnels comprennent : des exigences de supervision humaine imposant un examen réel des décisions de l'IA, des procédures de réponse aux incidents, des voies d'escalade pour les préoccupations relatives à l'IA, et des exigences de gestion des fournisseurs pour l'IA tierce.
La surveillance est l'évaluation continue visant à vérifier si les systèmes d'IA fonctionnent comme prévu et dans des paramètres acceptables. Un système d'IA bien conçu mais non surveillé en production finira par dériver, le monde change, la distribution des données change, le système rencontre des situations qui n'avaient pas été anticipées lors de sa conception. La surveillance permet de détecter ces problèmes avant qu'ils ne deviennent des incidents.
La redevabilité, à savoir des personnes nommément désignées et responsables de résultats précis de gouvernance de l'IA, est ce qui rend la gouvernance réelle plutôt que nominale. Un cadre de gouvernance sans redevabilité nommée est un cadre de gouvernance sans application effective. Le responsable de la gouvernance de l'IA, le propriétaire de modèle pour chaque système d'IA à haut risque, le dirigeant responsable du risque lié à l'IA, ce sont ces personnes qui font fonctionner la gouvernance, parce qu'elles sont responsables de ses résultats.
Pour aller plus loin : ISO/IEC 42001
Lectures connexes
- Qu'est-ce que la gouvernance de l'IA ? Un guide en langage clair
- Quelles questions votre conseil d'administration doit-il se poser sur l'IA ?
- Qu'est-ce que la gouvernance des données ? En quoi elle diffère de la gouvernance de l'IA et pourquoi vous avez besoin des deux
- Évaluation de la maturité de la gouvernance de l'IA : où en est réellement votre organisation ?
Pour aller plus loin : ISO 42001