La gouvernance de la robotique en IA est la discipline qui consiste à gérer les risques de sécurité, de responsabilité, d'éthique et de conformité réglementaire créés lorsque l'intelligence artificielle contrôle des systèmes physiques interagissant avec des personnes et le monde physique. Cela inclut les robots de fabrication industrielle, les robots chirurgicaux, l'automatisation des entrepôts et de la logistique, les robots agricoles, les drones autonomes, les robots de livraison, les robots de service dans l'hôtellerie et le commerce de détail, ainsi que les robots collaboratifs (cobots) qui travaillent aux côtés des humains. L'enjeu de gouvernance est fondamentalement différent de celui de l'IA purement logicielle : lorsqu'un système d'IA contrôlant un robot physique commet une erreur, les conséquences sont physiques, blessure, dommage matériel, atteinte à l'environnement ou décès. Cela crée une intersection de gouvernance entre la réglementation de l'IA, le droit de la sécurité des produits, le droit de la sécurité au travail et la responsabilité du fait des produits, que la plupart des cadres de gouvernance de l'IA n'ont pas été conçus pour traiter.

Paysage réglementaire de l'IA dans la robotique

Le règlement européen sur les machines (2023/1230), qui remplace la directive Machines et entre en vigueur en janvier 2027, introduit des exigences spécifiques pour les composants de sécurité intégrant de l'IA dans les machines. Les fabricants doivent réaliser des évaluations des risques qui tiennent compte des modes de défaillance propres à l'IA, notamment les comportements inattendus, la dérive liée à l'apprentissage et les entrées adverses (adversarial inputs). Le règlement européen sur l'intelligence artificielle (l'AI Act) classe les systèmes d'IA utilisés comme composants de sécurité de produits couverts par la législation européenne sur la sécurité des produits comme systèmes à haut risque en vertu de l'article 6, paragraphe 1, et de l'annexe I, la mise en conformité étant désormais exigée pour août 2028 à la suite de la prolongation prévue par l'Omnibus numérique (Digital Omnibus).

La directive européenne révisée sur la responsabilité du fait des produits défectueux (2024/2853), que les États membres doivent transposer d'ici décembre 2026, couvre explicitement l'IA et les produits numériques. Elle introduit une présomption de défectuosité lorsqu'un fabricant ne divulgue pas les informations pertinentes concernant son système d'IA, et étend la responsabilité aux fournisseurs de logiciels, et pas seulement aux fabricants de matériel. Il s'agit d'un changement important pour les entreprises de robotique qui intègrent de l'IA tierce.

Les normes ISO relatives à la sécurité des robots, ISO 10218 (robots industriels), ISO/TS 15066 (robots collaboratifs) et ISO 13482 (robots d'assistance à la personne), établissent des exigences de sécurité physique qui doivent être intégrées à la gouvernance de l'IA. Ces normes traitent de la sécurité mécanique, de la limitation des forces, de la surveillance de la vitesse et de la distance de séparation, ainsi que de l'interaction homme-robot, mais elles ont été rédigées avant que l'autonomie pilotée par l'IA ne devienne courante et ne traitent pas pleinement des risques spécifiques à l'IA, tels que la dérive des modèles, les comportements appris inattendus ou la manipulation adverse.

Principales exigences de gouvernance

Les organisations qui déploient des robots alimentés par l'IA devraient mettre en place une gouvernance fondée sur un dossier de sécurité (safety case), un argumentaire documenté et fondé sur des preuves démontrant que le système est raisonnablement sûr pour le contexte d'utilisation prévu, maintenu et actualisé tout au long de la vie opérationnelle du système. Cela comprend des tests de validation spécifiques à l'IA (qui ne testent pas seulement la sécurité mécanique mais aussi la prise de décision de l'IA dans des cas limites, des conditions adverses et des entrées dégradées), des mécanismes de supervision humaine (procédures claires d'intervention humaine, d'arrêt d'urgence et de prise de contrôle manuelle), une surveillance continue des performances du système d'IA en production (détection de la dérive, des comportements inattendus et de la dégradation), des procédures de réponse aux incidents propres aux défaillances des robots dotés d'IA (distinctes de la réponse aux incidents informatiques), et une gouvernance de la chaîne d'approvisionnement pour les composants d'IA (garantissant que les modèles d'IA tiers intégrés dans les systèmes robotiques répondent à vos exigences de sécurité et de gouvernance).

Pour aller plus loin : AI Act européen | ISO 10218, sécurité des robots industriels | Recommandations du Five Eyes sur l'IA agentique

Lectures complémentaires

Pour aller plus loin : AI Act européen | ISO 10218, sécurité des robots industriels | Recommandations du Five Eyes sur l'IA agentique