Warum öffentliche Sektor KI-Governance anders ist
Die Kernprinzipien der KI-Governance, Rechenschaftspflicht, Transparenz, menschliche Aufsicht, Fairness, gelten sowohl für den öffentlichen als auch für den privaten Sektor. Was sich unterscheidet, ist die Rechenschaftsstruktur, der diese Prinzipien dienen müssen. Eine private Organisation, die KI verwendet, ist gegenüber ihren Regulatoren, Kunden und Aktionären rechenschaftspflichtig. Eine Regierungsbehörde, die KI verwendet, ist gegenüber Bürgern rechenschaftspflichtig, der Öffentlichkeit insgesamt, und gegenüber den demokratischen Aufsichtsmechanismen, die der Regierung ihre Legitimität verleihen.
Robodebt: Eine Fallstudie in öffentlicher KI-Governance-Versagen
Das australische automatisierte Schulden-Wiederherstellungsprogramm verwendete Einkommens-Durchschnittswerte, um Schulden gegenüber ungefähr 443.000 Sozialleistungsempfängern zwischen 2015 und 2019 zu erheben. Das rechtliche Problem war, dass die Einkommens-Durchschnittsbildung keine gültige Methode zur Berechnung von Schulden nach der relevanten Gesetzgebung war, das Programm erhob rechtswidrig Schulden, die es rechtlich nicht begründen konnte.
Die Governance-Lektionen erstrecken sich über den Rechtsfehler hinaus. Das Programm wurde ohne angemessene rechtliche Überprüfung der automatisierten Methodik implementiert. Bedenken von Frontline-Mitarbeitern und externen Anwälten wurden nicht effektiv eskaliert. Das Volumen der Beschwerden wurde als System-Management-Problem behandelt, nicht als Signal des systemischen Irrtums. Und die Beweislast wurde effektiv umgekehrt, Empfänger mussten Schulden widerlegen, die algorithmisch ohne gesetzliche Grundlage generiert wurden.
EU AI Act und öffentliche Sektor-Pflichten
Der EU AI Act gibt KI im staatlichen Einsatz besondere Aufmerksamkeit. KI-Systeme in Strafverfolgung, Migration und Grenzkontrolle, Rechtspflege und Management kritischer Infrastruktur sind als Hochrisiko eingestuft. KI-gestützte Echtzeit-Biometrie-Identifikation in öffentlich zugänglichen Räumen ist grundsätzlich verboten, mit engen und streng regulierten Ausnahmen für die Strafverfolgung.