Qué significa realmente la gobernanza de la IA

La gobernanza de la IA es el conjunto de políticas, estructuras, procesos y controles que permiten a una organización desarrollar, implementar y operar sistemas de IA de forma responsable, con rendición de cuentas y en consonancia con los valores y obligaciones de la organización. La definición suena abstracta, pero sus componentes son concretos. Las políticas definen qué hará y qué no hará la organización con la IA. Las estructuras determinan quién es responsable de las decisiones de gobernanza de la IA. Los procesos definen cómo se evalúan, aprueban, implementan, monitorizan y retiran los sistemas de IA. Los controles son las medidas técnicas y operativas que impiden que los sistemas de IA causen daño.

El propósito de la gobernanza de la IA no es principalmente el cumplimiento normativo, sino la capacidad. Las organizaciones con una gobernanza de la IA madura pueden implementar la IA más rápido, porque cuentan con procesos establecidos de aprobación y evaluación de riesgos. Pueden implementar la IA con más confianza, porque cuentan con mecanismos de monitorización para detectar problemas. Pueden defender su uso de la IA ante reguladores, clientes y el público, porque cuentan con documentación que demuestra su gobernanza. Y pueden iterar y mejorar su IA, porque cuentan con los ciclos de retroalimentación que genera una buena gobernanza.

Los cinco componentes de una gobernanza de la IA eficaz

Un inventario de IA es la base. No se puede gobernar lo que no se sabe que se tiene. Un inventario completo, actualizado y preciso de todos los sistemas de IA utilizados en la organización, incluida la IA integrada en las plataformas de los proveedores, es el punto de partida de cualquier otra actividad de gobernanza. La mayoría de las organizaciones, cuando completan un inventario honesto, descubren que tienen mucha más IA de la que creían. La IA en la sombra (shadow AI) desplegada por las unidades de negocio, las funciones de IA añadidas a las plataformas de software ya existentes, las herramientas de IA utilizadas por empleados a título individual, todo ello forma parte de la obligación de gobernanza.

Un marco de riesgos aporta la estructura necesaria para una gobernanza proporcional. No todos los sistemas de IA son igual de arriesgados, una IA que genera borradores de documentos internos es distinta de una IA que toma decisiones de crédito. Un marco de riesgos clasifica cada sistema de IA según la naturaleza y la magnitud de los riesgos que genera y aplica requisitos de gobernanza proporcionales a ese riesgo. Los sistemas de IA de alto riesgo, aquellos que toman o influyen sustancialmente en decisiones que afectan a los derechos, las oportunidades o la seguridad de las personas, reciben la gobernanza más intensiva. Los sistemas de IA de bajo riesgo reciben una gobernanza más ligera, centrada en el uso adecuado y el tratamiento de datos.

Los controles son las medidas que gestionan los riesgos identificados en el marco de riesgos. Los controles técnicos incluyen: pruebas de sesgo antes del despliegue, mecanismos de explicabilidad que permiten comprender las decisiones de la IA, sistemas de monitorización que detectan la deriva del modelo y la degradación del rendimiento, controles de acceso que limitan quién puede modificar los sistemas de IA, y registros que crean un rastro de auditoría de las operaciones de IA. Los controles operativos incluyen: requisitos de supervisión humana que exigen una revisión genuina de las decisiones de la IA, procedimientos de respuesta ante incidentes, vías de escalado para las preocupaciones relacionadas con la IA, y requisitos de gestión de proveedores para la IA de terceros.

La monitorización es la evaluación continua de si los sistemas de IA funcionan según lo previsto y dentro de parámetros aceptables. Un sistema de IA bien diseñado que no se monitoriza en producción acabará derivando, el mundo cambia, la distribución de los datos cambia, el sistema se encuentra con situaciones que no se anticiparon en el diseño. La monitorización detecta estos problemas antes de que se conviertan en incidentes.

La rendición de cuentas, es decir, personas designadas responsables de resultados concretos de la gobernanza de la IA, es lo que hace que la gobernanza sea real y no meramente nominal. Un marco de gobernanza sin una rendición de cuentas designada es un marco de gobernanza sin capacidad de ejecución. El responsable de gobernanza de la IA, el propietario del modelo de cada sistema de IA de alto riesgo, el directivo responsable del riesgo de IA, estas personas son quienes hacen que la gobernanza funcione, porque son responsables de sus resultados.

Lecturas adicionales: ISO/IEC 42001

Lecturas relacionadas

Lecturas adicionales: ISO 42001