L'architecture réglementaire de l'IA dans le secteur de la santé australien

L'IA dans le secteur de la santé australien se situe à l'intersection de la réglementation fédérale et étatique, ce qui rend la gouvernance particulièrement complexe. Au niveau fédéral : la Therapeutic Goods Administration réglemente les dispositifs médicaux dotés d'IA ; le Privacy Act 1988 régit les informations de santé en tant que catégorie d'informations sensibles ; les obligations de conformité à Medicare s'appliquent à l'IA utilisée pour la facturation et le codage clinique ; et les organismes d'enregistrement professionnel fixent des normes pour la pratique clinique. Au niveau étatique : la législation sur les dossiers de santé dans l'État de Victoria et en Nouvelle-Galles du Sud crée des obligations supplémentaires ; les politiques des départements de santé des États régissent l'IA dans les systèmes de santé publics ; et les cadres de gouvernance clinique varient selon l'État et le service de santé.

La réglementation de la TGA sur l'IA clinique en tant que logiciel en tant que dispositif médical

La TGA réglemente les logiciels, y compris l'IA, destinés à être utilisés à des fins thérapeutiques en tant que dispositif médical. Un système d'IA clinique est susceptible de répondre à la définition d'un dispositif médical (et plus précisément d'un logiciel en tant que dispositif médical) s'il est destiné à : diagnostiquer, prévenir, surveiller, traiter ou soulager une maladie ou un état pathologique ; diagnostiquer, surveiller, traiter, soulager ou compenser une blessure ou un handicap ; examiner, remplacer ou modifier l'anatomie ou un processus physiologique ; ou soutenir ou maintenir la vie.

Parmi les applications courantes d'IA clinique susceptibles de constituer un SaMD : l'IA d'imagerie diagnostique qui identifie une pathologie ; l'aide à la décision clinique qui recommande des diagnostics ou des traitements ; l'IA de surveillance des signes vitaux qui génère des alertes cliniques ; l'IA qui trie les patients selon le risque ou l'urgence ; et l'IA de documentation qui génère un codage clinique à des fins de facturation Medicare. Si votre IA relève de l'une de ces catégories, une autorisation de la TGA peut être requise avant le déploiement dans la pratique clinique australienne. Déployer un SaMD non autorisé crée une exposition réglementaire et une exposition en matière de responsabilité importantes.

La voie réglementaire de la TGA pour les SaMD dépend de la classification, laquelle dépend à son tour de la finalité prévue et du niveau de risque. Les SaMD de classe I (risque faible) peuvent faire l'objet d'une autodéclaration de conformité. Les SaMD de classe IIa, IIb et III (risque croissant) nécessitent une évaluation de conformité par un organisme d'évaluation de la conformité reconnu par la TGA. Le processus de classification n'est pas simple pour les systèmes d'IA et devrait faire intervenir une expertise en affaires réglementaires.

Les obligations du Privacy Act pour l'IA traitant des informations de santé

Les informations de santé constituent des informations sensibles au titre du Privacy Act, ce qui entraîne des obligations renforcées par rapport aux informations personnelles ordinaires. Les implications pratiques pour l'IA dans le secteur de la santé sont les suivantes : l'APP 3 exige un consentement explicite pour la collecte d'informations sensibles, sauf si une exception relative à la santé s'applique. L'utilisation de dossiers de patients existants pour entraîner des modèles d'IA peut ne pas satisfaire à ce seuil si le consentement n'a pas été obtenu au moment de la collecte à des fins d'entraînement de l'IA. L'APP 6 restreint l'utilisation et la divulgation des informations de santé à la finalité première de la collecte ou aux finalités secondaires autorisées par exception. Cela crée une friction directe avec les pipelines d'entraînement de l'IA qui utilisent des données historiques de patients à des fins allant au-delà des soins initiaux du patient. L'APP 11 exige des mesures de sécurité raisonnables pour les informations sensibles ; les systèmes d'IA traitant des informations de santé doivent être évalués selon une norme de sécurité plus élevée que les systèmes traitant des informations personnelles générales.

Le biais d'automatisation dans les établissements cliniques : un impératif de gouvernance

Le biais d'automatisation, à savoir le fait que les cliniciens accordent un poids disproportionné aux recommandations de l'IA par rapport à leur propre jugement clinique, est un risque documenté dans le déploiement de l'IA clinique. La pression temporelle, la charge cognitive et l'apparente objectivité des résultats produits par l'IA contribuent tous à ce phénomène. Les conséquences cliniques ne sont pas hypothétiques : plusieurs études ont documenté des cas où le biais d'automatisation a entraîné un retard de diagnostic ou un traitement inapproprié parce que les cliniciens n'ont pas suffisamment remis en question des recommandations de l'IA qui étaient incorrectes.

La gouvernance de l'IA dans le secteur de la santé australien doit traiter explicitement le biais d'automatisation. Cela implique : de former les cliniciens aux limites des systèmes d'IA spécifiques qu'ils utilisent ; d'établir des protocoles exigeant une évaluation clinique indépendante avant d'agir sur la base de recommandations de l'IA dans des décisions à fort enjeu ; de surveiller la dépendance excessive à l'IA au moyen d'un audit des schémas de décision clinique ; et de concevoir les systèmes d'IA de manière à présenter l'incertitude d'une façon qui encourage plutôt qu'elle ne supprime le jugement clinique indépendant. Les lignes directrices de l'Australian Commission on Safety and Quality in Health Care sur l'IA considèrent la gestion explicite du biais d'automatisation comme un élément du déploiement sûr de l'IA.

Pour aller plus loin : OAIC (Office of the Australian Information Commissioner), Privacy guidance for organisations

Lectures complémentaires

Pour aller plus loin : OAIC, Privacy guidance for organisations