La FCA et le Consumer Duty

Le Consumer Duty de la Financial Conduct Authority, entré pleinement en vigueur en juillet 2023, constitue l'évolution la plus déterminante en matière de gouvernance de l'IA pour les entreprises de services financiers britanniques ces dernières années. Ses quatre exigences de résultats, produits et services, prix et valeur, compréhension du consommateur, et assistance au consommateur, créent un cadre qui s'applique aux systèmes d'IA tout au long du parcours client sans nommer explicitement l'IA. Un système de tarification par IA qui facture aux clients fidèles un montant nettement supérieur à celui des nouveaux clients peut échouer au regard du résultat prix et valeur. Un système de communication par IA générant des informations produit incompréhensibles pour les clients peut échouer au regard du résultat compréhension du consommateur. Un système de service client piloté par l'IA qui ne fournit pas d'assistance accessible aux clients vulnérables peut échouer au regard du résultat assistance au consommateur.

La FCA a indiqué explicitement que le Consumer Duty s'applique à l'IA. Ses attentes en matière de supervision incluent que les entreprises comprennent l'incidence de leurs systèmes d'IA sur les résultats pour les clients, qu'elles surveillent régulièrement ces résultats et qu'elles agissent lorsque les résultats sont médiocres. Le principe de proportionnalité du Duty, selon lequel les entreprises doivent prendre des mesures raisonnables au regard de leur taille et de leurs ressources, signifie que les plus petites structures disposent d'une certaine flexibilité dans la mise en œuvre, mais pas dans l'obligation de comprendre et de gérer l'incidence de l'IA sur les résultats pour les clients.

Gestion du risque de modèle de la PRA : SS1/23

Le Supervisory Statement SS1/23 de la Prudential Regulation Authority sur la gestion du risque de modèle s'applique aux banques constituées au Royaume-Uni, aux building societies et aux entreprises d'investissement désignées par la PRA disposant d'une approbation de modèle interne pour le capital réglementaire (il ne s'applique pas aux assureurs). Le texte traite explicitement des modèles d'IA et de machine learning et établit que les exigences fondamentales de gestion du risque de modèle, définition du modèle, propriété, validation, utilisation et contrôle, s'appliquent aux modèles d'IA de la même manière qu'aux modèles statistiques traditionnels, moyennant des adaptations appropriées tenant compte des caractéristiques propres à l'IA.

Les principales exigences du SS1/23 applicables à l'IA : les entreprises doivent tenir un inventaire des modèles incluant les systèmes d'IA utilisés dans les décisions significatives. Les modèles doivent être développés avec une documentation appropriée. Une validation indépendante doit être menée avant le déploiement et après tout changement significatif. Les performances doivent être surveillées en production. Le risque de modèle doit être pris en compte dans le cadre d'appétit pour le risque de l'entreprise. Et il doit exister une responsabilité claire, un propriétaire de modèle nommément désigné, pour chaque modèle significatif. La difficulté d'appliquer le SS1/23 aux modèles d'IA réside dans le déficit d'explicabilité : la méthodologie de validation traditionnelle suppose des modèles pouvant être pleinement compris et validés mathématiquement. Les modèles d'IA ne peuvent pas toujours être validés de cette manière, et la PRA attend des entreprises qu'elles adaptent leur méthodologie de validation en conséquence, en documentant les limites et l'incertitude propres à la validation des modèles d'IA et en appliquant des garanties supplémentaires lorsque la méthodologie de validation est limitée.

Banque d'Angleterre : stabilité financière et IA

L'attention que porte la Banque d'Angleterre à l'IA relève principalement de son mandat de stabilité financière, le risque qu'une adoption généralisée de l'IA dans les services financiers crée des comportements corrélés qui amplifient le risque systémique. Si de nombreuses institutions financières utilisent des modèles d'IA similaires pour leurs décisions de négociation, de crédit ou de gestion des risques, ces modèles peuvent réagir de manière similaire aux événements de marché, amplifiant la volatilité plutôt que de la diversifier. La supervision de ce risque par la Banque se manifeste à travers ses programmes de tests de résistance (qui incluent de plus en plus des scénarios liés à l'IA), sa surveillance des infrastructures de marché financier, et sa participation aux discussions internationales sur la gouvernance de l'IA au sein du Conseil de stabilité financière (FSB) et de la Banque des règlements internationaux (BRI).

Pour aller plus loin : Guide de l'ICO sur l'IA

Lectures complémentaires

Pour aller plus loin : Guide de l'ICO sur l'IA