Die Unvermeidlichkeit von KI-Vorfällen

Jede Organisation, die KI im Maßstab einsetzt, wird irgendwann einen KI-Vorfall erleben. Das ist keine Pessimismus, es ist die versicherungsmathematische Realität des Deployments komplexer Systeme, die mit der realen Welt interagieren, imperfekte Daten verarbeiten und von Menschen gewartet werden. Die Frage ist nicht ob ein KI-Vorfall eintreten wird, sondern ob die Organisation vorbereitet ist, effektiv zu reagieren.

Kategorien von KI-Vorfällen

Leistungsversagen: Das KI-System produziert fehlerhafte, ungenaue oder unzuverlässige Outputs in einem Ausmaß oder Maßstab, der materiellen Schaden verursacht. Leistungsversagen ist oft graduell und kann ohne aktive Überwachung unerkannt bleiben.

Fairness-Versagen: Das KI-System produziert systematisch unterschiedliche Ergebnisse für identifizierbare demographische Gruppen auf Weisen, die diskriminierende Schäden verursachen. Fairness-Versagen sind möglicherweise nicht aus aggregierten Leistungsmetriken erkennbar, ein Modell, das insgesamt gut funktioniert, kann für eine Minderheitsuntergruppe erheblich schlechter abschneiden.

Sicherheitsvorfall: Das KI-System wird durch adversarielle Inputs manipuliert, die Trainingsdaten oder das Modell werden kompromittiert, oder das System wird auf Weisen verwendet, die von seinen Designern nicht beabsichtigt wurden.

Was KI-Vorfallreaktion erfordert

Funktionsübergreifende Reaktion von der ersten Minute: Ab dem Moment, in dem ein KI-Vorfall identifiziert wird, muss die Reaktion Legal und Compliance (um regulatorische Meldepflichten zu beurteilen und Privilege zu verwalten), Kommunikation (um Reputationsrisiken und Stakeholder-Benachrichtigung zu managen) und das technische Team (um den Vorfall einzudämmen und Ursachenanalysen durchzuführen) einbeziehen.

Regulatorische Benachrichtigung: Der EU AI Act verpflichtet Anbieter und Betreiber von Hochrisiko-KI-Systemen, schwerwiegende Vorfälle den nationalen Marktüberwachungsbehörden unverzüglich zu melden. Die meisten Organisationen, die dieser Anforderung unterliegen, haben noch keinen Prozess zur Identifizierung meldepflichtiger KI-Vorfälle oder zur Erstellung der erforderlichen Meldungen.

Post-Vorfall-Überprüfung

Post-Vorfall-Überprüfungen von KI-Versagen sollten zwei unterschiedliche Fragen stellen: Was war technisch falsch am Modell, den Daten oder dem Deployment? Und, wichtiger für Governance, welche Governance-Versagen ermöglichten das Eintreten und Fortdauern dieses Vorfalls? KI-technische Versagen werden fast immer von Governance-Versagen vorangegangen: unzureichende Überwachung, ungenügende Validierung, fehlende Rechenschaftsstrukturen oder eine Kultur, die KI-System-Bedenken als technische Probleme statt als Risikomanagement-Probleme behandelt.