Qué es un marco de controles de IA y por qué es importante

Las políticas de gobernanza de la IA son tan eficaces como los controles que las hacen operativas. Una política que indique que "los sistemas de IA deben supervisarse para detectar sesgos" no significa nada sin controles que especifiquen: quién supervisa, qué supervisa, cómo se comprueba la existencia de sesgos, qué constituye un nivel inaceptable de sesgo y qué ocurre cuando se detecta un sesgo. Un marco de controles de IA es el documento que responde a estas preguntas para cada riesgo material de IA en su organización.

La necesidad de contar con un marco de controles documentado se ha hecho explícita en las expectativas regulatorias. Los requisitos de documentación técnica del Reglamento de IA de la UE (AI Act) para la IA de alto riesgo exigen, en la práctica, un enfoque de documentación de controles. La CPS 230 de la APRA (Australian Prudential Regulation Authority, la autoridad australiana de regulación prudencial) exige marcos de gestión del riesgo operativo que incluyan controles para los riesgos operativos materiales, y la IA entra ahora claramente dentro de su alcance. El Consumer Duty de la FCA (Financial Conduct Authority, la autoridad de conducta financiera del Reino Unido) exige a las entidades demostrar, no solo afirmar, que su IA produce buenos resultados. El Boletín Modelo de la NAIC exige un programa de gobernanza de la IA con elementos de control documentados. Los auditores internos y externos solicitan cada vez más evidencia de los controles de IA como parte de las evaluaciones de riesgo habituales.

Los tres tipos de controles de IA

Los controles preventivos evitan que se produzcan los riesgos de IA. Incluyen: los procesos de revisión previa a la implementación (que exigen evaluación de riesgos, pruebas de sesgo y aprobación antes de que un sistema de IA entre en funcionamiento); la gobernanza de datos de entrenamiento (requisitos de aprobación para los conjuntos de datos de entrenamiento, normas de calidad de los datos, documentación del consentimiento); los controles de acceso (que limitan quién puede modificar los parámetros de un modelo de IA o reentrenar los modelos); y los controles de gestión del cambio (que exigen validación cuando se actualizan los modelos de IA).

Los controles detectivos identifican los riesgos de IA que ya se han producido. Incluyen: la supervisión del rendimiento (seguimiento de la exactitud, la precisión, la exhaustividad y otras métricas del modelo frente a umbrales definidos); las pruebas de disparidad demográfica (comprobación periódica de si los resultados de la IA difieren de forma significativa entre grupos demográficos); la revisión de la calidad de los resultados (revisión humana de los resultados de la IA en decisiones de alto impacto, o muestreo estadístico de las decisiones de IA para su revisión de calidad); la detección de anomalías (identificación de patrones inusuales en las entradas o salidas de la IA que puedan indicar un fallo del sistema o un ataque); y la supervisión de reclamaciones (seguimiento de las reclamaciones de los clientes que puedan señalar problemas de calidad en las decisiones de la IA).

Los controles correctivos subsanan los riesgos de IA identificados. Incluyen: los procedimientos de respuesta a incidentes (procesos definidos para responder a los fallos de la IA, incluida la autoridad para suspender los sistemas de IA); la capacidad de reversión del modelo (capacidad técnica para volver a versiones anteriores del modelo); la reparación a las partes afectadas (procesos para identificar y compensar a las personas perjudicadas por las decisiones de la IA); el análisis de causa raíz (investigación estructurada de los incidentes de IA para identificar y abordar las causas subyacentes); y la notificación a los reguladores (procesos para notificar a los reguladores los incidentes materiales de IA cuando así se exija).

Vinculación de los controles con los riesgos

Cada control debe vincularse al riesgo de IA específico que aborda. Una simple tabla de correspondencia entre riesgos y controles constituye la base: enumere cada riesgo material de IA, identifique los controles que abordan ese riesgo (preventivos, detectivos, correctivos), especifique el responsable del control y defina la metodología y la frecuencia de las pruebas.

Categorías habituales de riesgo de IA y sus controles principales: la degradación de la precisión del modelo se detecta mediante la supervisión del rendimiento frente a métricas de referencia y se corrige mediante protocolos de reentrenamiento. El sesgo en los datos de entrenamiento se previene mediante la revisión de la gobernanza de datos, incluida la evaluación de la representatividad demográfica, y se detecta mediante pruebas de disparidad demográfica de los resultados del modelo. El fallo de la IA de terceros se previene mediante la debida diligencia de los proveedores, se detecta mediante la supervisión de los acuerdos de nivel de servicio (SLA) de los proveedores y verificaciones de calidad de los resultados, y se corrige mediante remedios contractuales y planificación de contingencias. Las alucinaciones en la IA generativa se previenen limitando las aplicaciones de alto impacto, se detectan mediante muestreo de revisión humana y se corrigen mediante procesos de corrección de resultados. La inyección de instrucciones (prompt injection) se previene mediante la validación de las entradas y las listas de admisión (allowlisting), y se detecta mediante la supervisión de los resultados en busca de contenido anómalo.

Pruebas de los controles y evidencia

Cada control de IA debe someterse a pruebas periódicas para confirmar que funciona con eficacia. Las pruebas de los controles deben especificar: qué se comprueba (el control concreto), cómo se comprueba (la metodología de prueba), con qué frecuencia se comprueba, quién lo comprueba (el responsable) y qué evidencia se genera (la documentación que demuestra que la prueba se llevó a cabo y cuál fue el resultado). Esta evidencia de las pruebas es lo que revisará auditoría interna y lo que solicitarán los reguladores cuando examinen la gobernanza de la IA.

En el caso de los controles preventivos, las pruebas suelen consistir en examinar una muestra de los casos en los que el control debería haber actuado (por ejemplo, revisar una muestra de las revisiones previas a la implementación para confirmar que se realizaron, se documentaron y contenían los elementos exigidos). En el caso de los controles detectivos, las pruebas consisten en ejecutar el control frente a un escenario conocido (por ejemplo, comprobar si el sistema de supervisión de sesgos identifica correctamente un conjunto de datos sintético con una disparidad demográfica conocida). En el caso de los controles correctivos, las pruebas consisten en revisar una muestra de incidentes para confirmar que se siguió el proceso correctivo (por ejemplo, revisar los registros de incidentes para confirmar que el análisis de causa raíz se completó dentro del plazo exigido).

Las tres líneas de defensa aplicadas a la IA

El modelo de las tres líneas de defensa se aplica directamente a la gobernanza de la IA. La primera línea (equipos de negocio y tecnología): opera los sistemas de IA, es propietaria de los controles de primera línea, realiza la supervisión diaria y responde de los riesgos de IA en su ámbito. La segunda línea (riesgo y cumplimiento normativo): diseña el marco de controles de IA, define el apetito de riesgo y los umbrales, supervisa la eficacia de los controles de primera línea e informa a la alta dirección y al consejo de administración. La tercera línea (auditoría interna): evalúa de forma independiente si el marco de controles de IA está diseñado adecuadamente y si los controles funcionan con eficacia.

Es esencial que quede claro qué línea es responsable de cada función. Entre los modos de fallo habituales se encuentran: que la primera línea trate la IA como una cuestión puramente tecnológica y no asuma el riesgo de negocio; que la segunda línea intente operar los controles en lugar de supervisarlos (difuminando los límites con la primera línea); y que auditoría interna no cuente con la experiencia en IA necesaria para poner a prueba los controles de IA con eficacia. Cada uno de estos casos genera lagunas que, tarde o temprano, los reguladores y los propios acontecimientos pondrán al descubierto.

Lecturas adicionales: ISO/IEC 42001

Lecturas relacionadas

Lecturas adicionales: ISO 42001