Wenn KI schiefläuft: Aufbau einer KI-Incident-Response-Fähigkeit
Jede Organisation mit KI wird irgendwann einen KI-Vorfall erleben. Die meisten haben keinen Plan dafür.
Key Takeaways
Der EU AI Act verpflichtet Anbieter und Betreiber von Hochrisiko-KI-Systemen, schwerwiegende Vorfälle den nationalen Marktüberwachungsbehörden zu melden.
KI-Vorfälle haben unterschiedliche Merkmale als Standard-IT-Vorfälle: Sie können Personen betreffen, bevor sie erkannt werden, sind schwer zuzuschreiben und ihr Umfang ist schwer zu quantifizieren.
Die drei häufigsten Kategorien von KI-Vorfällen: Leistungsversagen, Fairness-Versagen und Sicherheitsvorfälle.
Post-Vorfall-Überprüfungen von KI-Versagen sollten nicht nur fragen, was mit dem Modell falsch lief, sondern welche Governance-Versagen den Vorfall ermöglichten.
"Nur zu Informationszwecken. Dieser Artikel stellt keine rechtliche, regulatorische, finanzielle oder professionelle Beratung dar. Konsultieren Sie einen qualifizierten Spezialisten für spezifische Beratung."
Die Unvermeidlichkeit von KI-Vorfällen
Jede Organisation, die KI im Maßstab einsetzt, wird irgendwann einen KI-Vorfall erleben. Das ist keine Pessimismus — es ist die versicherungsmathematische Realität des Deployments komplexer Systeme, die mit der realen Welt interagieren, imperfekte Daten verarbeiten und von Menschen gewartet werden. Die Frage ist nicht ob ein KI-Vorfall eintreten wird, sondern ob die Organisation vorbereitet ist, effektiv zu reagieren.
Kategorien von KI-Vorfällen
Leistungsversagen: Das KI-System produziert fehlerhafte, ungenaue oder unzuverlässige Outputs in einem Ausmaß oder Maßstab, der materiellen Schaden verursacht. Leistungsversagen ist oft graduell und kann ohne aktive Überwachung unerkannt bleiben.
Fairness-Versagen: Das KI-System produziert systematisch unterschiedliche Ergebnisse für identifizierbare demographische Gruppen auf Weisen, die diskriminierende Schäden verursachen. Fairness-Versagen sind möglicherweise nicht aus aggregierten Leistungsmetriken erkennbar — ein Modell, das insgesamt gut funktioniert, kann für eine Minderheitsuntergruppe erheblich schlechter abschneiden.
Sicherheitsvorfall: Das KI-System wird durch adversarielle Inputs manipuliert, die Trainingsdaten oder das Modell werden kompromittiert, oder das System wird auf Weisen verwendet, die von seinen Designern nicht beabsichtigt wurden.
Was KI-Vorfallreaktion erfordert
Funktionsübergreifende Reaktion von der ersten Minute: Ab dem Moment, in dem ein KI-Vorfall identifiziert wird, muss die Reaktion Legal und Compliance (um regulatorische Meldepflichten zu beurteilen und Privilege zu verwalten), Kommunikation (um Reputationsrisiken und Stakeholder-Benachrichtigung zu managen) und das technische Team (um den Vorfall einzudämmen und Ursachenanalysen durchzuführen) einbeziehen.
Regulatorische Benachrichtigung: Der EU AI Act verpflichtet Anbieter und Betreiber von Hochrisiko-KI-Systemen, schwerwiegende Vorfälle den nationalen Marktüberwachungsbehörden unverzüglich zu melden. Die meisten Organisationen, die dieser Anforderung unterliegen, haben noch keinen Prozess zur Identifizierung meldepflichtiger KI-Vorfälle oder zur Erstellung der erforderlichen Meldungen.
Post-Vorfall-Überprüfung
Post-Vorfall-Überprüfungen von KI-Versagen sollten zwei unterschiedliche Fragen stellen: Was war technisch falsch am Modell, den Daten oder dem Deployment? Und — wichtiger für Governance — welche Governance-Versagen ermöglichten das Eintreten und Fortdauern dieses Vorfalls? KI-technische Versagen werden fast immer von Governance-Versagen vorangegangen: unzureichende Überwachung, ungenügende Validierung, fehlende Rechenschaftsstrukturen oder eine Kultur, die KI-System-Bedenken als technische Probleme statt als Risikomanagement-Probleme behandelt.