Cette étude de cas illustre la manière dont les établissements de santé abordent la gouvernance de l'IA lorsque les systèmes d'IA couvrent la prise de décision clinique, l'imagerie diagnostique, le tri des patients et l'automatisation administrative. Elle met en évidence le défi propre à la gouvernance de l'IA en santé : la nécessité d'intégrer la réglementation des dispositifs médicaux, le droit de la protection des données, les normes de sécurité clinique et la gouvernance générale de l'IA au sein d'un cadre cohérent.

Remarque : il s'agit d'un scénario illustratif construit pour démontrer des schémas de gouvernance pratiques dans le secteur de la santé. Les exigences réglementaires et les références aux cadres cités sont factuellement exactes.

Le scénario

Un réseau hospitalier de taille moyenne déploie l'IA dans quatre domaines : l'aide à la décision clinique (alertes sur les interactions médicamenteuses, prédiction du sepsis, alerte précoce de détérioration de l'état du patient), l'imagerie diagnostique (radiologie assistée par IA pour les radiographies thoraciques et les mammographies), le tri des patients (priorisation aux urgences pilotée par l'IA) et les systèmes administratifs (optimisation des plannings, gestion des lits, automatisation du codage et de la facturation, aide à la documentation clinique).

Le défi de gouvernance

La gouvernance de l'IA en santé est plus complexe que dans la plupart des secteurs, car les systèmes d'IA relèvent simultanément de plusieurs cadres réglementaires. Les systèmes d'IA clinique qui éclairent le diagnostic ou le traitement peuvent être qualifiés de dispositifs médicaux, soumis au règlement européen relatif aux dispositifs médicaux (MDR 2017/745), au cadre de la FDA sur les logiciels en tant que dispositif médical fondés sur l'IA et le machine learning, ou à la réglementation de la TGA sur les dispositifs médicaux logiciels en Australie. Le droit de la protection des données s'applique à tous les systèmes traitant des données de patients : les données de santé constituent une catégorie particulière au titre du RGPD (article 9), des informations sensibles au sens de l'Australian Privacy Act, et des informations de santé protégées au titre de la loi américaine HIPAA. L'AI Act européen classe comme à haut risque l'IA destinée à être utilisée comme composant de sécurité de dispositifs médicaux. Les normes de sécurité clinique (telles que les référentiels DCB0129/DCB0160 de NHS Digital au Royaume-Uni) imposent des exigences spécifiques en matière de gestion du risque clinique pour les technologies de l'information en santé.

Conception du cadre de gouvernance

L'établissement met en œuvre un modèle de gouvernance à deux volets. Le premier volet couvre l'IA clinique, c'est-à-dire les systèmes qui éclairent les décisions cliniques ou interviennent dans les soins aux patients. Ces systèmes sont encadrés par le comité de sécurité clinique, selon des exigences spécifiques : validation clinique avant le déploiement (tests portant sur les résultats cliniques, et non uniquement sur la performance technique), classification réglementaire (dispositif médical ou non), évaluation du risque clinique (que se passe-t-il lorsque l'IA se trompe), exigences de supervision humaine (l'IA assiste le jugement clinique mais ne le remplace pas) et circuits de signalement des incidents cliniques. Le second volet couvre l'IA administrative, c'est-à-dire les systèmes qui soutiennent les opérations sans affecter directement les soins cliniques. Ceux-ci suivent les pratiques standard de gouvernance de l'IA : évaluation des risques, surveillance des biais, conformité en matière de protection des données et gestion des fournisseurs.

Décisions clés en matière de gouvernance

Le système de prédiction du sepsis illustre bien ce défi de gouvernance. Il surveille les signes vitaux, les résultats de laboratoire et les notes cliniques afin d'alerter les cliniciens en cas de sepsis potentiel. S'il ne détecte pas un cas (faux négatif), un patient risque de ne pas recevoir un traitement en temps voulu. S'il génère trop d'alertes (faux positifs), les cliniciens développent une lassitude face aux alertes et finissent par les ignorer. Le cadre de gouvernance doit traiter les points suivants : normes de validation clinique (sensibilité, spécificité, valeur prédictive positive au regard de la population de patients locale), calibrage du seuil d'alerte (équilibre entre faux négatifs et faux positifs), documentation des dérogations humaines (chaque alerte annulée doit être justifiée sur le plan clinique), suivi continu de la performance (performance du modèle au regard des résultats réels des patients), et signalement réglementaire (événements indésirables liés à des décisions influencées par l'IA).

Pour aller plus loin : OMS, l'IA pour la santé | ISO/IEC 42001

Lectures complémentaires

Pour aller plus loin : OMS, l'IA pour la santé | ISO 42001