Elon Musk ist dafür, Nancy Pelosi dagegen: Kalifornien plant ein KI-Gesetz, das die Tech-Szene entzweit

Das kalifornische Parlament hat einen weitreichenden Gesetzesentwurf verabschiedet, der KI-Anwendungen regulieren soll, die State Bill 1047. Sollte das Gesetz dereinst in Kraft treten, wären alle Firmen davon betroffen, die generative KI entwickeln und in Kalifornien geschäftstätig sind – sprich nicht nur solche, die dort ihren Firmensitz haben.

Nun liegt der Entwurf auf dem Schreibtisch des Gouverneurs Gavin Newsom, der das Gesetz bis zum 30. September unterschreiben müsste, damit es in Kraft tritt. Ob er dies vorhat, ist bis jetzt unklar. Technologiekonzerne, Politiker und Experten sind unterschiedlicher Meinung, ob er es tun sollte.

Gesetz soll „katastrophale Schäden“ verursachen

Kalifornien geht anderen amerikanischen Gliedstaaten bei der Regulierung oft einen Schritt voran, jüngst etwa beim Datenschutz. Bisweilen werden Regeln aus Kalifornien zum landesweiten Standard.

Das könnte nun auch beim Thema künstliche Intelligenz geschehen: Die State Bill 1047 nimmt Firmen ins Visier, deren KI-Modelle eine bestimmte Mindestrechenleistung aufweisen und in der Entwicklung mehr als 100 Millionen Dollar kosten. Der Betrag entspricht ungefähr den Kosten, die die neueste Version von Chat-GPT verschlungen hat.

Die KI-Firmen sollen dazu verpflichtet werden, ihre zukünftigen Modelle erst «auf Sicherheit» zu testen, bevor sie der Allgemeinheit zugänglich gemacht werden. So soll etwa das Risiko eines «katastrophalen Schadens» vermieden werden. Der Gesetzesentwurf nennt als Beispiele einen Cyberangriff, der mindestens 500 Millionen Dollar an Schaden anrichten würde, oder die Entwicklung biologischer oder nuklearer Waffen. Zudem müssen die Entwickler sicherstellen, dass ein Mensch die Modelle im Ernstfall halten kann.

Im Schadensfall soll der kalifornische Generalstaatsanwalt Klage gegen die Firmen einreichen können. Außerdem räumt das Gesetz Angestellte, die fürchten, dass das Gesetz gebrochen wird, Whistleblower-Schutz ein.

KI-Pioniere sprechen sich dafür aus – auch Elon Musk

Der Gesetzesentwurf hat nun eine ganze Armee an Lobbyisten von Tech-Konzernen, Akademikern und Wagniskapitalgebern aktiviert, die sich beim Gouverneur eifrig dafür oder dagegen aussprachen.

Zur Verteidigung des Vorhabens zieht der demokratische Scott Wiener, einer der Urheber des Gesetzesentwurfs, einen historischen Vergleich: „Wir waren wirklich spät daran, soziale Netzwerke zu regulieren, und man sieht, wohin das geführt hat.“ Das neue KI-Gesetz werde nun lediglich die Sicherheitsstandards formalisieren, zu denen sich Open AI, Anthropic und andere große KI-Firmen bereits freiwillig bekannt hätten.

Überraschender ist, dass auch der Tech-Unternehmer Elon Musk das Gesetz unterstützt. Er ist nicht als Freund staatlicher Eingriffe bekannt. Die Regulierung von KI sei eine schwierige Frage, aber letztlich sei sie ihm seit zwanzig Jahren ein Anliegen, schrieb Musk auf X, wie bei jedem Produkt, das «eine Gefahr für die Öffentlichkeit darstellen könnte». Musk gründete im vergangenen Jahr eine eigene Firma für generative KI namens xAI. Auch sein Elektroautokonzern Tesla nutzt die Technologie für das autonome Fahren.

Für das Gesetz spricht sich auch das KI-Unternehmen Anthropic aus, das als ethischere Alternative zu Open AI entstanden ist. Viele in dem Unternehmen treiben die Sorge um, dass eine übermächtige KI gesellschaftlichen Schaden anrichten könnte – etwa Desinformationskampagnen, welche die Wahlen beeinflussen würden, oder die Entwicklung biologischer Waffen. Genau diesen Fällen sollte das neue Gesetz vorbeugen.

Auch bekannte Personen aus der Wissenschaft stehen hinter dem Gesetz, unter anderem die bekannten KI-Forscher und Professoren Geoffrey Hinton und Yoshua Bengio. Auch sie befürchten Schäden durch übermächtige KI und unterzeichneten, gemeinsam mit anderen KI-Experten, jüngst einen Brief, in dem sie den kalifornischen Gouverneur dazu aufforderten, das Gesetz zu unterzeichnen. Die Entscheidung der Regierung hätte „tiefgreifende Konsequenzen“ für heutige und künftige Generationen von „Menschen in Kalifornien und weltweit“, schrieben die Wissenschaftler.

Gegner befürchten, das Gesetz werde Innovation hemmen

Kritiker des Gesetzes finden solche Einschätzungen überzogen. Sie befürchten, dass die neuen Regeln Innovation verhindern. Weiter glauben sie, dass es Firmen davon abbringen könnten, ihr Wissen mit der Allgemeinheit zu teilen. So publiziert derzeit Meta seine KI als Open-Source-Modelle. Wäre Meta künftig dafür verantwortlich, was andere mit ihren Modellen tun, könnte die Firma von ihrer Open-Source-Strategie abrücken.

Auch die Firma Open AI, die Herstellerin von Chat-GPT, stellt sich gegen das Gesetz. Es verlangsame den Fortschritt und bewege Firmen dazu, Kalifornien zu verlassen, argumentierte Open AI laut Bloomberg in einem Brief an Scott Wiener, den Autor des Gesetzes.

Zu den Kritikern zählt interessanterweise auch die demokratische Politikerin Nancy Pelosi, die San Francisco seit 37 Jahren im Repräsentantenhaus vertritt. „Die KI hat ihren Ursprung in Kalifornien. Wir müssen eine Gesetzgebung haben, die dem Land und der Welt als Vorbild dient. „Wir haben die Chance und die Verantwortung, es kleinen Unternehmen und Forschern – und nicht Big Tech – zu ermöglichen, hier zu dominieren“, schrieb Pelosi vor wenigen Wochen in einer Stellungnahme an die kalifornischen Parlamentsmitglieder.

Der amerikanische Kongress hat sich bewusst dafür entschieden, generative KI derzeit noch nicht zu regulieren. Pelosi verwies bei diesem Entscheid auch auf die Stanford-Wissenschafterin Fei-Fei Li, die zu den Pionierinnen der KI-Forschung zählt. Auch sie hat sich gegen den Gesetzesentwurf ausgesprochen, weil es dem „KI-Ökosystem Schaden“ werde.

Die Expertin für Technologierecht Tea Mustać der deutschen Kanzlei Spirit Legal hält die Reaktionen der Kritiker jedoch für überzogen, wie sie gegenüber der NZZ sagte. „Ich lese aus dem Gesetz keine übertriebenen Anforderungen heraus.“ Die wenigen Firmen, die von dem Gesetz betroffen sind, haben die Ressourcen, die vorgegebenen Standards zu erfüllen.» Dazu zählen etwa Protokolle und Logs zu speichern und an Behörden weiterzugeben, wenn der Verdacht auf einen gravierenden Schaden besteht.

Der kalifornische Abgeordnete Scott Wiener hatte den aktuellen Gesetzesentwurf bereits mehrfach verändert, um einigen Kritikern entgegenzukommen. Beispielsweise ist nun keine neue Behörde mehr vorgesehen, die die Sicherheit von KI kontrolliert, und Firmen sollen nur für tatsächliche und nicht bereits für potenzielle Schäden bestraft werden. Weiter wäre sie auch nicht mehr strafrechtlich, sondern nur zivilrechtlich belangt.

Gleicht dieses Gesetz dem KI-Gesetz der EU?

Das kalifornische Gesetz auf mächtige KI-Modelle ab. Es soll verhindern, dass generative KI genutzt wird, um Cyberattacken oder Straftaten durchzuführen, Biowaffen und Deepfakes herzustellen. Dabei geht es explizit um Fälle, in denen folgende schwere Taten ohne das KI-Modell «signifikant schwierig zu verursachen» wären. Namentlich erwähnt wird auch die Gefahr, dass KI künftig autonom agiert.

Damit konzentriert sich das kalifornische Gesetz viel stärker auf KI-Katastrophen als die Gesetzgebung der EU. Diese reguliert vor allem den KI-Alltag: Anwendungen im Arbeitsverhältnis, in der Schule oder bei der Polizei beispielsweise. Solche Fälle umfassen die kalifornische Gesetzesvorlage nicht. Diese bezieht sich ausschließlich auf die rechenintensivsten KI-Modelle, was im Moment nur generative KI umfasst.

Auch dem EU-Gesetz wurde nach der Veröffentlichung von Chat-GPT ein Abschnitt zu den mächtigen und neuen KI-Modellen hinzugefügt. Die EU spricht von „systemischen Risiken“, welche die Anbieter einschätzen und mildern sollten. Dieser Begriff ist weit gefasst, Katastrophen wie jene in Kalifornien würden aber auch darunter fallen.

Die Rechtsexpertin Tea Mustać sagt dazu, das kalifornische Gesetz umfasse weniger Anwendungsfälle als die EU-Verordnung, könnte aber trotzdem stärker wirken, weil anders als in Europa in den USA Recht mit Sammelklagen durchgesetzt werden könnte.

Bei einer allfälligen Bestrafung könnten Unternehmen zu hohen Geldstrafen verpflichtet werden. Sollte aufgrund der KI eine Person sterben oder verletzt werden, könnten Strafen in der Höhe von bis zu 10 Prozent des ursprünglichen Trainingsaufwands ausgesprochen werden. Bei großen Modellen wären die schnellen Strafen in zweistelliger Millionenhöhe.

Wie wahrscheinlich ist es, dass das Gesetz kommt?

Zahlreiche andere kalifornische Gesetzesvorhaben zur Regulierung von Tech-Konzernen sind in den vergangenen Monaten gescheitert, darunter ein Entwurf, der soziale Netzwerke für mangelnden Schutz von Jugendlichen gebüsst hatte. Die Silicon-Valley-Firmen sind dafür bekannt, das Parlament mit Lobbyisten zu überschwemmen und dafür tief in die Taschen zu greifen. Zudem sind die Konzerne häufig gut vernetzt und haben etwa mit der kalifornischen Handelskammer mächtigen Verbündeten.

Doch anders als bei früheren Gesetzesvorhaben ist Big Tech dieses Mal gespalten – und der Gouverneur Gavin Newsom wird von zwei Seiten gleicher Massen umgarnt. Bis jetzt hält er sich bedeckt zu der Frage, ob er SB 1047 eher ablehnt oder eher befürwortet wird.

Newsom habe jahrelange, tiefe Verbindungen in der Tech-Industrie, sagte Jim Wunderman, Vorsitzender des Wirtschaftsverbands Bay Area Council, der das Gesetzesvorhaben ablehnt. „Das ist einer der wichtigsten Gesetzesentwürfe, nicht nur in Kalifornien, sondern im ganzen Land.“

SB 1047 ist jedoch nicht die einzige Vorlage zur KI-Regulierung, die derzeit im kalifornischen Parlament kursiert; Dutzende weitere Projekte zur Regulierung von generativem KI sind im Umlauf. Auch andere staatliche Parlamente tüfteln über die Frage, wie man die neue Technologie regulieren könnte.

Selbst wenn sich Newsom auch gegen die konkrete Vorlage SB 1047 ausspricht, erscheint es als wahrscheinlich, dass generative KI in den USA bald in der einen oder anderen Form stärker reguliert wird. Das glauben offenbar auch die größten Konzerne des Landes. Gemäß einer Auswertung des «Wall Street Journal» nannten jüngst 27 Prozent der Fortune-500-Firmen gegenüber der Börsenaufsicht SEC KI-Regulierung als ein bedeutendes Geschäftsrisiko.