«Die EU wird der erste Kontinent, der klare Regeln für die Benutzung von KI setzt»: Doch welche Künstliche Intelligenz wird verboten, und was gilt als Hochrisikosystem?

Es war ein Marathon. Zuletzt 36 Stunden über drei Tage und zum Teil Nächte haben Delegierte des EU-Parlaments und der EU-Mitgliedstaaten (Ministerrat) über die Eckwerte der geplanten Regeln für Systeme mit künstlicher Intelligenz (KI) verhandelt. Das Parlament fordert strengere Regeln, die Mitgliedländer drückten auf die Bremse. Eine bedeutende Rolle spielt in diesen Verhandlungen auch die EU-Kommission auf Basis ihres technischen Wissens. In der Nacht am Samstag verkündeten die Verfechter der Einigung – naturgemäss ein Kompromiss. Damit sollte es möglich sein, das Geschäft noch unter diesem Parlament endgültig unter Dach zu bringen und erhebliche Verzögerungen zu vermeiden (die EU wählt im Juni 2024 ein neues Parlament).

„Die EU wird der erste Kontinent, der klare Regeln für die Benutzung von KI setzt“, verkündete der EU-Kommissar Thierry Breton. Die EU wird die globale Pionierin sein und damit ihren regulatorischen Einfluss weit über ihre Grenzen hinaus geltend machen. Als die EU-Kommission im April 2021 ihren Vorschlag für eine KI-Regulierung präsentierte, sei sie im globalen Kontext noch „einsam“ gewesen, erklärte jüngst ein Vertreter der Kommission: Doch seither habe sich weltweit die Erkenntnis durchgesetzt, dass es eine Regulierung brauchen. Doch was für eine?

Seit dem Vorschlag der EU-Kommission haben Sprachmodelle à la Chat-GPT, die unter anderem Gedichte schreiben, Aufsätze verfassen, Fragen zu Gott und der Welt beantworten und Fotos generieren können, die Welt in Aufregung versetzt und das EU-Parlament zu Ideen für die spezifische Regulierung solcher Modelle inspiriert.

Ein weites Feld

Was ist überhaupt KI? Die geplanten EU-Regeln lehnen sich laut Angaben vom Samstag an die Definition des Ländervereins OECD an. Gemeint ist mit KI demnach ein Maschinen-basiertes System, das für von Menschen definierte Ziele aus dem erhaltenen Input Prognosen, Empfehlungen und Entscheide mit Einfluss auf das reale oder virtuelle Umfeld ableiten kann. Das kann vieles umfassen – zum Beispiel Systeme für selbstfahrende Rasenmäher und Autos, Medikamentenforschung, medizinische Diagnosen, Personalmanagement, polizeiliche Überwachung, juristische Analysen, Waffensteuerung und, und, und.

Das Potenzial für Innovationen gilt als enorm groß und weitreichend, doch es gibt auch viele Befürchtungen – bis zum Szenario einer Übernahme der Welt durch «die Maschinen». Über Prognose manche werden spätere Generationen lachen – aber wir wissen heute nicht, über welche. Die EU-Kommission und das Parlament folgen ihrem antrainierten Reflex (im Zweifelsfall regulieren), während die Mitgliedstaaten die Innovation nicht zu stark behindern wollen.

War hier Hochrisiko?

Der Grundansatz der vorgesehenen EU-Regulierung ist wenig umstritten: Je größer die Risiken eines KI-Systems sind, desto strenger soll die Regulierung sein. Für unbedenkliches System soll es keine besonderen Regeln geben, bei Tiefrisikosystemen sind gewisse Transparenzvorgaben vorgesehen, wie etwa die Angabe, dass der Inhalt durch KI generiert worden sei. Für Hochrisikosysteme gelten strengere Vorgaben. Dann gibt es noch die Kategorie «inakzeptable Systeme», die verboten werden.

Zu den großen Kontroversen gehörte die Frage: Was wird verboten, und was gilt als Hochrisikosystem? Zu den verbotenen Anwendungen gehören zum Beispiel: das flächendeckende Absaugen von Bildern von Gesichtern aus dem Internet oder von Überwachungskameras; Systeme zur sozialen Verteilung von Noten für Bürger nach dem Muster Chinas; Systeme für die Eruierung der Emotionen von Personen am Arbeitsplatz und in Bildungseinrichtungen; Systeme zur Verwendung biometrischer Daten für die Ableitung sensibler Informationen über Einteilung wie etwa religiöse und sexuelle Orientierung; Systeme, die das Verhalten von Personen manipulieren.

Ausnahmen für Strafverfolgung

Bis zuletzt besonders umstritten war der Umgang mit KI-Systemen zur Gesichtserkennung für die Polizei. Das Parlament wollte ein möglichst weitgehendes Verbot, damit die Bürger nicht das Gefühl bekommen, an öffentlichen Plätzen ständig überwacht zu werden. Mitgliedstaaten wollten ihren Polizeikräften dagegen Optionen offenhalten. Im Kompromiss sind nun für polizeiliche Anwendungen gewisse Ausnahmen vom Verbot der Verwendung von Gesichtserkennungssystemen an öffentlichen Orten vorgesehen. Für solche Ausnahmen bedarf es einer Genehmigung des zuständigen Richters. Zudem sind die Ausnahmen auf die Verfolgung gewisser schwerer Verbrechen beschränkt.

Möglich ist die Verwendung von Gesichtserkennungssystemen nicht nur im Rückblick, sondern auch in Echtzeit – mit zeitlicher und örtlicher Beschränkung. Solche Ausnahmen sind etwa für die gezielte Suche nach Opfern bestimmter Verbrechen (wie etwa Entführung), die Verhinderung spezifischer Terrorakte und das Aufspüren von Personen, die schwereren Verbrechen wie etwa Terrorismus, Mord, Entführung, Vergewaltigung und bewaffneter Überfall zulässig.

Grundsätzlich zulässig, aber mit erheblichen Auflagen versehen, sind Systeme mit hohen Risiken – Kraft des Potenzials für erhebliche Schäden in Bezug auf Gesundheit, Sicherheit, Menschenrechte, Umwelt, Demokratie und Rechtsstaat. Genannt sind unter anderem Systeme für kritische Infrastruktur, Bildung, Sicherheitselemente von Produkten, Personalmanagement, Migration, Strafverfolgung und demokratische Prozesse.

Die Auflagen betreffen unter anderem Risikoabschätzung und -Minderung, Datenqualität und Nachvollziehbarkeit der Ergebnisse. Grundsätzlich waren die Regulierungsvorschläge zu Beginn auf die Entwickler der Systeme konzentriert und nicht auf die Anwender. Beobachter betonen aber, dass im Lauf der Verhandlungen auch Verpflichtungen für Anwender von Hochrisikosystemen hinzugekommen sind – wie etwa die Vorgabe für eine grundrechtliche Folgeabschätzung und die Pflicht zur Registrierung der Anwendung mindestens für öffentliche Behörden.

Der Chat-GPT-Effekt

Zu den langen umstrittenen Punkten zählt auch der Umgang mit «Grundmodellen»: Solche Modelle sind mit riesigen Datensätzen trainiert, so dass sie für breite Anwendungen («General Purpose KI-Systeme») tauglich ist. Zu den bekanntesten Grundmodellen zählt GPT-4, das für Chat-GPT und für Bing Chat verwendet wird. Zu den allgemeinen EU-Vorgaben für solche Grundmodelle und KI-Systeme zählen die Dokumentation technischer Angaben, die Bekanntgabe detaillierter Informationen über die verwendeten Trainingsdaten und die Beachtung des EU-Urheberrechts.

Für solche Modelle mit hoher Wirkung und systemischen Risiken sind zusätzliche Vorgaben vorgesehen, wie etwa Risikoeinschätzungen und -Minderung, strenge Modelltests, Meldepflicht bei seriösen Vorkommnissen und Berichtspflicht bezüglich Energieverbrauch.

Generell sind Erleichterungen für Klein- und Mittelbetriebe vorgesehen, welche KI-Systeme entwickeln.

Bei Nichteinhaltung der vorgesehenen Regeln sind Busse von je nach Delikt und Firmengröße bis zu 1,5 Prozent oder bis zu 7 Prozent des weltweiten Jahresumsatzes der betroffenen Firma vorgesehen.

Die Details kommen noch

Der verkündete Verhandlungsdurchbruch war eine politische Einigung. Die formale definitive Zustimmung des EU-Parlaments und des Ministerrats steht noch aus, ist aber in der Regel nach solchen Einigungen der Verhandlungsdelegationen nur eine Formsache. Die konkrete technische Umsetzung wird jedoch in den nächsten Monaten noch viel Arbeit verursachen. Die Details der Umsetzung werden von Bedeutung sein.

Der Kompromisscharakter der Einigung zeigte sich in den ersten Reaktionen. Während Vertreter europäischer Konsumenten- und Menschenrechtsorganisationen Regulierungslücken kritisierten, monierte der Branchenverband Digital Europe, dass die Sonderregulierung der Grundmodelle für die betroffenen Unternehmen hohen Aufwand mit sich bringen und die Wettbewerbsfähigkeit Europas beeinträchtigen könnte.

Eine weitere KI-Regulierung der EU ist noch unterwegs; Dabei geht es um die zivilrechtliche Haftung von Entwicklern und Anwendern bei Schäden. Die EU-Kommission hat im Herbst 2022 eine KI-Haftungsrichtlinie vorgeschlagen. Dieses Dossier muss noch vom EU-Parlament und vom Ministerrat beraten werden.

Die Folgen der in den vergangenen Tagen beschlossenen Regeln sind derweil noch kaum abschätzbar. Zu erwarten ist aber, dass die EU-Regulierung weit über die EU-Grenzen hinaus Auswirkungen hat. Dies zum einen, weil es die erste umfassende KI-Regulierung darstellt und damit auch für andere Regionen Signalcharakter haben kann. Und zum anderen, weil die Regeln nicht nur für EU-Firmen gelten, sondern für alle KI-Systeme, die auf dem EU-Markt angeboten werden. Der EU-Markt ist so groß, dass Anbieter die Schweiz oder andere europäische Nicht-EU-Länder kaum mit separaten Produkten eindecken werden.

Die Frage ist, inwieweit die Anbieter andere große Märkte wie etwa Nordamerika und Asien mit separaten Produkten bedienen werden, wenn diese Märkte weniger weitgehende Regulierungen haben. Die Erfahrungen mit der EU-Datenschutzverordnung von 2016 veranschaulichen, dass EU-Regeln weit über Europa hinaus große Auswirkungen haben können. Ähnliches mag mit den EU-Gesetzen zu den digitalen Märkten und zu den digitalen Dienstleistungen geschehen. Die in den USA lehrende Rechtsprofessorin Anu Bradford schrieb in ihrem Buch „Digital Empires“ wie folgt: „Über das letzte Jahrzehnt hat sich die EU als der mächtigste Regulator der Digitalwirtschaft etabliert.“