Qué es una auditoría de IA, y qué no es

Una auditoría de IA es un examen sistemático de un sistema de IA a través de múltiples dimensiones: sus datos de entrenamiento y sus prácticas de gobernanza de datos, su rendimiento técnico, sus propiedades de equidad, sus mecanismos de supervisión humana y su cumplimiento de los requisitos normativos aplicables. Produce hallazgos documentados y, de forma crucial, decisiones documentadas sobre cómo se abordarán esos hallazgos.

Una auditoría de IA no es una prueba de penetración, una revisión de código ni una prueba de referencia de rendimiento, aunque cualquiera de ellas puede formar parte de un programa de auditoría más amplio. Tampoco es una certificación de cumplimiento de proveedores. Y no es un ejercicio puntual: una auditoría de IA eficaz es una práctica recurrente, no una simple casilla que marcar.

Esta distinción importa porque las organizaciones suelen realizar revisiones técnicas que describen como auditorías, pero que pasan por alto las dimensiones de gobernanza que generan el riesgo organizativo y regulatorio más significativo. Un modelo que es técnicamente preciso pero que produce resultados discriminatorios ha superado una revisión técnica y ha suspendido una auditoría.

Cuándo se requiere una auditoría de IA

La auditoría de IA está pasando de ser una buena práctica a convertirse en un requisito legal en múltiples jurisdicciones.

La Ley de IA de la UE exige una evaluación de conformidad para los sistemas de IA de alto riesgo antes de su despliegue, una evaluación estructurada del cumplimiento de los requisitos técnicos y de gobernanza de la Ley. Para la mayoría de los sistemas de alto riesgo del anexo III, se trata de una autoevaluación. Para los sistemas de identificación biométrica, es obligatoria una evaluación por parte de un organismo notificado. El seguimiento poscomercialización, una actividad de tipo auditoría continua, es obligatorio para todos los sistemas de alto riesgo a lo largo de toda su vida operativa.

La Ley Local 144 de la ciudad de Nueva York exige a los empleadores que utilizan herramientas automatizadas de decisión en materia de empleo que realicen auditorías anuales de sesgos llevadas a cabo por auditores independientes, y que publiquen un resumen de los resultados. Se trata del primer requisito obligatorio de auditoría de IA para empleadores privados en los Estados Unidos, y se está considerando legislación similar en otras jurisdicciones.

Más allá de los requisitos legales, la auditoría de IA se está convirtiendo cada vez más en una expectativa de diligencia debida. Los procesos de contratación empresarial, la diligencia debida de los inversores y la suscripción de seguros para riesgos tecnológicos exigen cada vez más pruebas documentadas de la auditoría de los sistemas de IA.

Los cinco ámbitos de una auditoría de IA

Ámbito 1: Gobernanza de datos

Preguntas de auditoría: ¿De dónde proceden los datos de entrenamiento? ¿Tiene la organización los derechos adecuados para utilizar estos datos con este fin? ¿Cómo se recopilaron, etiquetaron y procesaron los datos? ¿Qué controles de calidad se aplicaron? ¿En qué medida son los datos de entrenamiento representativos de la población a la que se aplicará el sistema? ¿Cuál es el proceso para gestionar los problemas de calidad de los datos detectados después del despliegue?

Hallazgos habituales: datos de entrenamiento procedentes de contextos en los que ciertos grupos demográficos están infrarrepresentados; procesos de etiquetado que incorporaron sesgos humanos a los datos de entrenamiento; documentación insuficiente sobre la procedencia de los datos; ausencia de un proceso para incorporar la retroalimentación sobre el rendimiento a la gobernanza de datos.

Ámbito 2: Rendimiento del modelo

Preguntas de auditoría: ¿Qué métricas de rendimiento se definieron antes del desarrollo y son adecuadas para el caso de uso? ¿Cómo se midió el rendimiento y con qué conjunto de datos de prueba? ¿Se ha medido el rendimiento en el entorno real de despliegue, y no solo en condiciones de prueba controladas? ¿Cuál es el proceso para detectar y responder a la deriva del rendimiento?

Hallazgos habituales: métricas de rendimiento definidas después del desarrollo para ajustarse a los resultados observados; conjuntos de datos de prueba que no representan las condiciones de despliegue; ausencia de seguimiento de la deriva del rendimiento; rendimiento medido únicamente en el momento del despliegue, sin seguimiento continuo.

Ámbito 3: Equidad y sesgos

Preguntas de auditoría: ¿Se ha probado el sistema para detectar impactos dispares en función de las características protegidas relevantes? ¿Qué métricas de equidad se utilizaron y son adecuadas para el caso de uso? ¿Qué disparidades se identificaron y cómo se abordaron? ¿Existe un seguimiento continuo de los sesgos?

Hallazgos habituales: ausencia de pruebas de sesgos previas al despliegue; pruebas de sesgos realizadas sobre datos agregados en lugar de estratificados por subgrupos relevantes; disparidades identificadas pero no corregidas; ausencia de seguimiento continuo tras el despliegue.

Ámbito 4: Supervisión humana

Preguntas de auditoría: ¿Quién es responsable del rendimiento y del cumplimiento de este sistema? ¿Qué decisiones toma o influye el sistema, y qué mecanismos de revisión humana existen? ¿Pueden las personas afectadas solicitar una revisión humana de las decisiones de la IA? ¿Qué desencadena la escalada de la toma de decisiones automatizada a la humana? ¿Existe un proceso para suspender el sistema si se detectan riesgos graves?

Hallazgos habituales: ausencia de un responsable designado; mecanismos de supervisión humana que existen sobre el papel pero no se utilizan en la práctica; ausencia de un mecanismo para que las personas afectadas soliciten una revisión; ausencia de criterios claros para la suspensión del sistema.

Ámbito 5: Cumplimiento normativo

Preguntas de auditoría: ¿Qué obligaciones normativas se aplican a este sistema en cada jurisdicción en la que se despliega? ¿Se ha realizado una evaluación de conformidad cuando así se requiere? ¿Está el sistema registrado en las bases de datos regulatorias aplicables? ¿Está la documentación técnica completa y actualizada?

Hallazgos habituales: obligaciones normativas no identificadas ni mapeadas; ausencia de evaluación de conformidad para los sistemas de alto riesgo; documentación técnica incompleta u obsoleta; estado normativo no revisado cuando el sistema se modifica o se despliega en nuevas jurisdicciones.

Quién debe realizar la auditoría

Una auditoría de IA eficaz requiere una combinación de escrutinio interno y externo. Las auditorías internas, realizadas por funciones de auditoría, cumplimiento o riesgo independientes del equipo responsable del sistema de IA, pueden evaluar eficazmente los procesos, la documentación y los controles operativos. Son valiosas y deben realizarse con regularidad.

Las auditorías externas aportan independencia, experiencia especializada y la credibilidad que una revisión interna no puede ofrecer. Para los sistemas de alto riesgo, los contextos de despliegue regulados o las situaciones en las que los hallazgos de la auditoría se compartirán con reguladores, inversores o clientes empresariales, resulta adecuada una revisión externa independiente.

El equipo que realice la auditoría debe incluir: experiencia técnica suficiente para comprender la arquitectura del modelo y evaluar las afirmaciones sobre su rendimiento; experiencia en gobernanza de datos para evaluar la procedencia y la calidad de los datos; experiencia jurídica o de cumplimiento para evaluar las obligaciones normativas; y experiencia en el ámbito específico pertinente para el caso de uso.

Qué hacer con los hallazgos de la auditoría

Los hallazgos de la auditoría requieren respuestas documentadas. Para cada hallazgo relevante, la organización debe decidir: aceptar el hallazgo y documentar los motivos para aceptar el riesgo asociado; corregir el hallazgo dentro de un plazo definido con una responsabilidad documentada; o suspender o modificar el sistema hasta que se lleve a cabo la corrección.

Los hallazgos que se registran, se archivan y no dan lugar a ninguna acción no constituyen gobernanza. Constituyen evidencia de un fallo de gobernanza que puede resultar más perjudicial en procedimientos regulatorios que no haber realizado ninguna auditoría en absoluto.

Lecturas relacionadas

Más información: Principios de IA de la OCDE