Bei Open AI jagt eine Krise die andere. Nun wird dem Unternehmen auch noch vorgeworfen, ein Tool für die Massenüberwachung zu planen

Sam Altman treibt mit seiner Firma Open AI die KI-Branche vor sich her wie sonst niemand: Sowohl der Chatbot Chat-GPT wie auch der Bildgenerator Dall-E und das Videotool Sora waren mit die Ersten ihrer Branche. Und mindestens Chat-GPT dominiert den Markt bis heute.

Doch Sam Altman ist gedanklich schon fünf Schritte weiter. Die existierenden Tools, inklusive jener seiner Firma, seien „unglaublich dumm“, sagte Altman kürzlich dem Tech-Portal „MIT Technology Review“ – jedenfalls im Vergleich mit dem, was nun kommen werde: eine KI, die so sei wie ein „superkompetenter Kollege, der absolut alles über mich weiss, also jede E-Mail, Gespräch jedes kennt, das ich je hatte».

Für Altman ist ein solches Tool attraktiv. Er erhofft sich, dass die KI künftig für ihn Reisen bucht, Geschenke bestellt und dafür sorgt, dass er nie mehr unvorbereitet in einem Meeting erscheint. Doch diese Vision, so bequem sie auch scheinen mag, schockiert manche Tech-Kommentatoren.

Zum Beispiel Gary Marcus, ein bekannter Tech-Experten aus den USA und emeritierter Neurologie-Professor der Universität New York. Er schrieb am Mittwoch auf seinem Blog: Open AI könnte auf dem Weg dazu sein, „das erschreckendste Überwachungsunternehmen der Welt“ zu werden.

Wo Daten anfallen, werden sie genutzt – auch zur Überwachung

„Das sei überspitzt formuliert, aber nicht haltlos“, sagt Martin Steiger, Anwalt und Sprecher des Vereins Digitale Gesellschaft. Habe einen KI-Assistenten künftig Zugriff auf unsere E-Mails, Dokumente, Onlinekalender, sammle sie wesentlich mehr persönliche Daten über uns als heute, wo sie nebst Informationen im Benutzerkonto wie E-Mail-Adresse und allenfalls Angaben zu einer Kreditkarte insbesondere Texteingaben von uns , aber keinen privaten E-Mail-Verkehr und keine Kalendereinträge speichert.

Trotz ihres Datenhungers dürften KI-Assistenten für Nutzerinnen und Nutzer attraktiv sein, schließlich ist es praktisch und bequem, wenn man seine E-Mails nicht mehr händisch bearbeiten muss.

„Doch wir wissen aus der Praxis: Daten, die gesammelt werden, wecken auch Begehrlichkeiten bei den Behörden“, sagt Steiger. Zusätzliche Sicherheitsbehörden bekämen damit auch einen Informationskanal.

Dazu kommen allerdings auch noch Hacks und Datenleaks: KI-Systeme laufen geschlossen nicht nur lokal auf dem Smartphone oder Laptop eines Nutzers, sondern in der Cloud, viele davon unverschlüsselt. „Wir wissen, dass Cloud-Anbieter immer wieder von Hacks und Datenlecks betroffen sind, auch die großen“, so Steiger. Damit ist nicht auszuschließen, dass Nutzerdaten einer allfälligen KI-Assistenz auch im Darknet landen könnten.

Das gilt zwar auch für heutige E-Mail-Postfächer, aber die sind je nach Anbieter gut verschlüsselt, so dass bei einem Hack nur ein nichtssagender Zahlenstrang bekannt wäre.

E-Mail-Absender haben keine Kontrolle darüber, was Empfänger mit der Nachricht machen

Und das betreffe nicht nur die Person, die sich aktiv für einen KI-Assistenten entschieden habe, sagt Steiger, sondern auch Drittpersonen, mit der die Person kommuniziere. Diese Drittpersonen wollten unter Umständen nicht, dass ihre Korrespondenz in einem KI-Tool bearbeitet werde. Direkt dagegen wehren könnte sie sich laut geltendem Datenschutzrecht jedoch nicht.

Steiger erklärt: „Die Regulierung über die Datenbearbeitung daheim oder in der Familie stammt aus einer Zeit, in der Menschen ein Adressbuch führten, eine Papieragenda oder einen Geburtstagskalender.“ Schreibt sich jemand den Geburtstag einer Drittperson auf, ist das eine Datenbearbeitung in Bezug auf diese Drittperson. Das ist grundsätzlich zulässig, wenn die Datenbearbeitung ausschließlich für den persönlichen Gebrauch bestimmt ist.

Persönliche KI-Assistenten fallen nun aber auch unter dieses Prinzip: Ein Nutzer darf laut geltendem Recht seine Korrespondenz mit KI bearbeiten, ohne die Zustimmung des Gegenübers, auch wenn das bedeutet, dass die Drittperson nicht mehr mitbestimmen kann, wie und wo ihre Korrespondenz gespeichert und analysiert wird wird. So erklärt es der Anwalt Martin Steiger.

Damit wären auch Leute von potenziellen Hacks und Leaks betroffen, die nie dazu eingewilligt haben, dass ihre Nachrichten von einer KI bearbeitet werden. Dies macht die KI-Assistenz zu einem guten Beispiel dafür, wie der technologische Fortschritt die Privatsphäre immer weiter aushöhlt.

Privatsphäre-Experte bezeichnet KI-Assistenz als „sehr gruselig“

Wouter Lueks, Forscher zu Privatsphäre und Cybersicherheit am Cispa-Helmholtz-Zentrum für Informationssicherheit in Saarbrücken, bezeichnet Sprachmodelle, die alle unsere Dokumente, E-Mails und Notizen bearbeiten, als „sehr gruselig“. „Alles wird auf das Vertrauen hinauslaufen, das wir diesem Unternehmen und seinen Sicherheits- und Datenschutzpraktiken entgegenbringen“, sagt Lueks.

Und gerade dieses Vertrauen muss sich Open AI erst noch erarbeiten, findet Florian Tramer, der an der ETH eine Forschungsgruppe zur Sicherheit von KI-Systemen leitet. Dass eine Tech-Firma persönliche Daten speichert und bearbeitet, sei im Grunde nicht neu, sagt Tramèr. Google di stirbt ja auch. „Aber Google hat sich über die Jahrzehnte viel Wissen angeeignet, wie man diese Daten schützen kann.“ „Open AI ist nicht einmal annähernd in der Nähe von diesem Level an Sicherheits-Know-how“, sagt Tramèr.

Zumal sich bei einem KI-Tool komplett neue Sicherheitsfragen stellen, auch im Hinblick auf Privatsphäre. Der amerikanische Bloomberg-Journalist Dave Lee musste im Februar 2023 feststellen, dass Chat-GPT einen Nutzer seine Telefonnummer gab.

Dies erstaunt wenig, wenn man bedenkt, dass Sprachmodelle wie Chat-GPT ganz grundsätzlich dazu gebracht werden können, Dinge zu tun, die sie eigentlich nicht sollten. Dazu reicht es, einen ausgeklügelten Prompt (Texteingabe) zu schreiben. David Haber, Gründer und CEO des Schweizer KI-Sicherheits-Unternehmens Lakera, sagt dazu: „Die Anzahl der Leute, die Google Search hacken können, ist klein.“ Aber Chat-GPT kann jeder hacken, der schreiben oder sprechen kann.»

Ein dominanter CEO, ein Hack, weiterhin viele Abgänge

Privatsphäre- und Digitalexperten vertrauen Open AI also noch wenig. Und auch die breite Öffentlichkeit hat gerade gute Gründe, der Firma zu misstrauen. So wird dem CEO Sam Altman ein dominanter Führungsstil nachgesagt: Er schaffe ein Klima der Angst und stelle die Sicherheit seiner Produkte hinter den Profit, sagten Angestellte zu einer ehemaligen Verwaltungsrätin der Organisation.

Weiter wurde kürzlich ein Hack bei Open AI bekannt: Einem Angreifer gelang es angeblich Ende 2023, sich in ein Online-Forum der Firma einzuschleusen, wo Angestellte über die neusten Technologien von Open AI diskutierten. Dies berichtete als Erstes die „New York Times“ im Juli basierend auf der Aussage von zwei anonymen Quellen.

Der Angreifer habe zwar den Programmcode von Chat-GPT nicht verwenden können, habe jedoch Einsicht in interne Diskussionen zwischen Forschern und anderen Angestellten von Open AI erhalten. Die Führung habe entschieden, den Hack gegenüber der Öffentlichkeit zu verschweigen, und habe auf eine Klage gegen den Angreifer verzichtet, „weil keine Informationen über Kunden oder Partner gestohlen worden seien“, berichtete die Zeitung.

Dies wird nun in einem Kontext bekannt, in dem weitere prominente Angestellte ihren Job bei Open AI aufgeben. Unter anderem verliess John Schulman, einer der Mitgründer der Organisation und Mitglied des Sicherheitsteams, die Firma und wechselte zum Rivalen Anthropic. Vor ihm machten diverse unzufriedene Angestellte aus dem Sicherheitsteam den gleichen Weg, allen voran der deutsche Ingenieur Jan Leike, der bei seinem Abgang kritisierte, Open AI stelle «glänzende Produkte» über die Sicherheit.

Außerdem wurde bekannt, dass Greg Brockman, ein weiterer Mitgründer, der bisher in einer hohen Führungsposition gearbeitet hat, bis Ende Jahr Urlaub annimmt. Weitere Abgänge betreffen Peter Deng, einen Produktmanager, Pavel Izmailov, einen Forscher, und Steven Bills, einen Techniker. Auch die beiden Letztgenannten wechseln zu Anthropic.

Elon Musk reaktiviert seine Klage

Als ob das nicht genug wäre, reaktivierte Elon Musk, Tech-Milliardär und einer der Mitgründer von Open AI, Anfang August noch eine Klage gegen die Organisation.

Musk wirft Open AI vor, den ursprünglichen Unternehmenszweck missachtet zu haben. Bei der Gründung einigten sich die Anteilhaber, Open AI als eine nicht profitorientierte Organisation zu führen und KI „vorsichtig und zum Wohle der Menschheit“ zu entwickeln.

Dass Open AI nun mit Chat-GPT ein Produkt vermarktet, ist für Musk eine Abkehr von diesen Grundsätzen. Im März reichte er deshalb eine erste Klage ein, in der er schrieb, Open AI setze Profit vor Wohltätigkeit. Einen Tag bevor ein Gericht entscheiden soll, ob die Klage zugelassen wird, zog Musk sie allerdings zurück. Nun hat er sich nochmals umentschieden und eine gleichlautende Klage eingereicht.

Damit kommt Open AI nicht aus den Schlagzeilen. Die schwierige Gesamtlage und das fehlende Vertrauen der Öffentlichkeit könnten sich früher oder später auch auf das Geschäft auswirken. Dies glaubt David Haber vom KI-Sicherheits-Unternehmen Lakera: «Chat-GPT ist ‹closed source›. Wir wissen auch nicht, wie das Modell programmiert und parametriert ist. Ich denke, in Zukunft werden immer mehr Kunden auf Open-Source-Modelle umstellen.»

Davon ist im Moment aber noch nichts zu spüren. Mit der Partnerschaft mit Apple ist dem Unternehmen zudem ein Coup gelungen. Open AI fehlt noch immer ein tragfähiges Geschäftsmodell. Im Moment schreibt das Unternehmen hohe Verluste, ist aber trotzdem mit 80 Milliarden Dollar bewertet. Das zeigt die große Hoffnung, die Investoren in Open AI setzen – trotz Skandalen, Klagen und vielen Personalabgängen.