Algorithmen treiben Aussenseiter ins «Recherche-High»: Wie sich Jugendliche online radikalisieren

Er ist erst 15. Ein Jugendlicher, der theoretisch auch mit Freunden Fußball spielen könnte, oder Schlagzeug oder ein Computerspiel. Stattdessen geht er am Abend des 3. März in Zürich auf die Straße und sticht einen jüdischen Mann nieder.

Das ist ein krasser Fall, einzigartig, möchte man meinen. Doch leider werden solche Taten immer wieder versucht. Etwa im Juli, als die Taylor-Swift-Konzerte in Wien wegen Terrorplänen abgesagt werden mussten. Auch dahinter stecken Jugendliche, die sich zum Islamismus bekannt haben und aus dieser Ideologie Menschen töten wollten.

Was muss mit einem Jugendlichen geschehen sein, damit er eine solche Tat-Pflanze hat? Was muss er gelesen, gehört, gefühlt haben? Vermeintliche gab Antworten die Tageszeitungen jüngst wieder nach dem Attentat in Solingen. Die Rede war von «Tiktok-Terroristen» und «Islamismus-Influencern». Die Annahme dahinter: Soziale Netzwerke radikalisieren junge Leute. Ziehen Sie sie in einen Sog gewaltvoller Videos, bis sie selbst zur Waffe greifen. Aber stimmt das tatsächlich? Und was könnten die Plattformen ändern, um ihre Nutzer besser vor Radikalisierung zu schützen?

Aus dem Gamer wurde ein Attentäter

Leonardo Vertone, Chefpsychologe und Co-Leiter des Zentrums für Kinder- und Jugendforensik an der Psychiatrischen Universitätsklinik Zürich, begutachtet und therapiert Jugendliche, nachdem sie straffällig geworden sind. Manche haben ein Terrorsymbol wie die IS-Flagge gelikt oder Geld in Kryptowährungen an eine Terrororganisation geschickt. Andere begannen ein terroristisches Gewaltverbrechen.

Vertone darf keine konkreten Einzelfallschildern. Er zeichnet für die NZZ aber den Prozess der Radikalisierung nach, den Jugendliche durchlaufen haben. Für ihn ist offensichtlich, dass die sozialen Netzwerke gerade zu Beginn des Prozesses eine wichtige Rolle spielen. Dennoch beginnt die Radikalisierung, lange bevor sich ein Jugendlicher den ersten IS-Post auf Telegram anschaut.

„Meistens erlebte der Jugendliche eine große Instabilität oder einen abrupten Wendepunkt im Leben, der ihn über lange Zeit belastete“, sagt Vertone. Das kann ein Todesfall im nahen Umfeld sein, Gewalt in der Familie, Ablehnung in der Schule. „Insbesondere, wenn mehrere belastende Ereignisse zusammenkommen und es über eine längere Zeit nicht gelingt, den emotionalen Stress daraus abzubauen, droht die psychologische Destabilisierung“, sagt Vertone.

Dazu kommt, dass die Jugend eine Zeit der Identitätsentwicklung ist. Viele Teenager fragen sich: Wo gehöre ich hin? An wem kann ich mich orientieren? Stehen die Eltern nicht zur Verfügung, orientieren sich die Jugendlichen extern an Gleichaltrigen oder an andere Vorbildern, zum Beispiel aus Religionsgemeinschaften.

Diese Vorbilder finden die Jugendlichen heute oft online. Auch der 15-jährige Attentäter aus Zürich folgte auf Instagram einer Moschee. Über sein Online-Verhalten ist bekannt, dass er zeitweise das Computerspiel „Minecraft“ spielte und Gaming-Videos auf Youtube veröffentlichte. Irgendwann legt er im Internet seinen bürgerlichen Namen ab und nimmt den Alias-Namen „Ahmed al-Dabbah“ an, übersetzt „Ahmed das Biest“.

Wie aus einem Gamer der Zürcher Attentäter geworden ist, weiß niemand genau. Es gibt aber zahlreiche Berichte darüber, wie Nutzer auf Plattformen wie Tiktok anfangs harmlose Inhalte konsumieren und nach und nach problematischere Inhalte zu sehen bekommen.

Dieser Effekt, auf Englisch nennt man ihn „Rabbit Hole“, ist unbestritten: Empfehlungsalgorithmen reagieren unmittelbar auf die Interessen der Nutzer und setzen ihnen immer mehr ähnliche Beiträge vor. Die einen sehen nur noch Schminktipps, die anderen nur noch muslimische Prediger, manche nur noch Hass.

Viele problematische Inhalte sind legal

Von den Inhalten ist nur ein Teil illegal, etwa Terrorsymbole und Aufrufe zu Gewalt. Diese werden von Plattformen meist recht schnell gelöscht, allerdings nicht immer. So zirkuliert auf Tiktok folgendes Video, auf dem ein IS-Banner zu sehen ist.

Beim Beginn der Radikalisierung sind legale Inhalte aber viel wichtiger. Etwas Beiträge, die Wut und Empörung auslösen. Videos von hungernden Kindern oder toten Babys im Gazastreifen, beispielsweise. Je mehr solche Inhalte ein Nutzer anschaut, desto mehr davon empfiehlt ihm der Algorithmus.

Der Therapeut Vertone bestätigt das. Jugendliche, die nach Zugehörigkeit und Bedeutung suchen, informieren sich oft nicht über Google, sondern suchen auf Tiktok oder Instagram nach Begriffen. Die Algorithmen liefern danach mehr vom Gleichen. „Sie kommen in ein Recherche-High“, getrieben aus Interesse, Empörung und einer Faszination für das Extreme, sagt Vertone.

Typisch für den Prozess der Radikalisierung sei, dass das Ungerechtigkeitsempfinden einseitig befeuert werde. „Mit einseitigen Informationen kann man sich schnell in eine große Wut reinsteigern“, sagt Vertone. Das geschah etwa nach dem Ausbruch des jüngsten Nahostkriegs: Damals bot Tiktok überwiegend propalästinensische Videos an.

Wir gegen die anderen: Abgrenzung schafft Identität

Vertone sagt, bei manchen Teenagern folge auf den einseitigen Empörungskonsum weiterer Abgrenzung, meist in geschlossenen Gruppen, zum Beispiel auf Telegram. Den Link zur Gruppe postet vielleicht ein ultrakonservativer Prediger mit islamistischem Gedankengut in den Kommentaren eines Online-Videos.

In der geschlossenen Gruppe beginnt eine neue Phase der Radikalisierung. Dort tauscht sich der Teenager mit bereits radikalisierten Menschen aus. Die vermitteln das Gefühl: Wir sind gut, die anderen sind böse. Wir glauben das Richtige. Die Ungläubigen schaden der Welt. Das gibt den Jungen ein Gefühl von Identität, Zugehörigkeit, Stärke.

In solchen Gruppen werden illegale Inhalte geteilt. Videos, in denen Terroristen als Helden dargestellt werden, radikalislamische Hetzbotschaften gegen Andersgläubige, Bilder von Exekutionen.

Viele der radikalisierten Jugendlichen bauen sich zur zusätzlichen Online-Präsenz auch in der echten Welt ein Netzwerk auf, sagt Vertone. Typischerweise agiert jemand aus dem Bekanntenkreis als Vorbild. Diese Person nimmt den Jugendlichen etwa mit zu einem extremistischen Prediger oder zu einem Treffpunkt, wo sie bereits Radikalisierte austauschen.

So kommt der Teenager Stück für Stück in eine extremere Umgebung. Wird dort Verständnis für seine ursprünglichen Probleme gezeigt, steigt die Chance, dass er sich immer stärker mit dem neuen Netzwerk identifiziert.

Es braucht viel mehr als einen Algorithmus

Ein Algorithmus allein bringt auch keine Terroristen hervor. Doch es gibt eine Verantwortung der Plattformen für die Spirale der Empörung in ihren Netzwerken. In der EU gilt seit vergangenem Jahr der Digital Service Act (DSA). Diese großen Plattformen wie Tiktok, Instagram, Facebook und Youtube verpflichten sich dazu, systemische Risiken ihrer Algorithmen zu minimieren. Grassierende Desinformation und Nutzer, die immer wieder in Radikalisierungsschleifen landen, zählen zu diesen gesellschaftlichen Risiken.

Das Gesetz lässt jedoch offen, wie Plattformen im Detail vorgegangen sind. Das sei durchaus gewollt, sagt Ben Wagner, außerordentlicher Professor für Menschenrechte und Technologie an der Technischen Universität Delft in den Niederlanden: „Die EU wird eine Vielfalt von Plattformen mit unterschiedlichen Moderationspraktiken ermöglichen.“ Vorgegeben sind Transparenzberichte, in denen die Plattformen über Risiken und getroffene Massnahmen berichten sollen.

Im Moment schaffen diese Berichte aber noch kaum Transparenz. „Sie sind meist von minderwertiger Qualität und schlechtem Vergleich“, sagt Wagner. Die Tech-Firmen wüssten viel mehr über die Probleme ihrer Plattformen, als sie nach außen hin mitteilten.

Das hat auch damit zu tun, dass es einen Zielkonflikt gibt zwischen Schutz und Gewinn: Schon 2018 schrieb der Facebook-Gründer Mark Zuckerberg in einem Blog-Beitrag, er sehe, dass problematische Inhalte länger angeschaut würden als andere. Das bedeutet: Würden problematische Inhalte vermehrt gelöscht, würden die Plattformen weniger profitabel sein.

Dazu kommt: Wenn Plattformen ganze Themen blockieren, um Radikalisierung vorzubeugen, schränkt das die Freiheit der Nutzer ein. Joe Whittaker forscht an der Universität Swansea in Wales unter anderem zu extremen Inhalten in den sozialen Netzwerken. Er sagt, Plattformen löschen legale, aber problematische Inhalte oft vorsorglich, um das Risiko eines Busses zu minimieren. „Doch so riskieren wir, dass die Rede- und Meinungsfreiheit eingeschränkt wird.“

Und stirbt, obwohl Whittaker zusammen mit anderen Forschern aufzeigt, dass wir den Effekt von problematischen Inhalten noch kaum verstehen: „Bis jetzt weiß man kaum etwas über die Wirkung, die die Inhalte auf die Nutzer haben.“ Hierzu sei die Forschung noch dünn.

Der Weg darüber hinaus: Transparenz, Notfallknopf, Digitalbildung

Was sind auch mögliche Lösungen? Für Wagner sind die Transparenzberichte der Plattformen ein geeigneter Hebel, um die Schäden der Algorithmen nach und nach einzudämmen. Nur müsste die Qualität der Berichte gesteigert werden. Er schlägt vor, dass Tech-Firmen die Berichte extern bewerten lassen, wie es Banken bei ihren Bilanzen tun müssen. «Wir sollten die Berichte gleich ernst nehmen wie Finanzberichte. Dann hätten die Tech-Firmen einen echten Anreiz, den Schaden zu minimieren, den ihre Plattformen anrichten.»

Der Jugendpsychologe Vertone fordert von den Netzwerken, dass sie mehr Warnhinweise für einseitige oder gewaltvolle Inhalte anbringen. Und dass die algorithmischen Empfehlungen dahingehend angepasst werden, dass in der Summe der Inhalte möglichst neutral, also nicht einseitig informiert wird. Denkbar wäre für ihn weiter ein Art Notfallknopf: Sind die Jugendlichen im Sog der Netzwerke gefangen, wissen sie manchmal nicht, an wen sie sich wenden können. Ein Notfallknopf direkt im Feed wäre ein niederschwelliges Hilfsangebot, das die Teenager aus ihrem Misere holen könnten, sagt Vertone.

Whittaker sieht digitale Kompetenz als bestes Mittel gegen Radikalisierung im Internet. Nutzer, die dafür sensibilisiert sind, Informationen kritisch zu begegnen, Quellen zu hinterfragen, weniger empfänglich für problematische Inhalte. Und dazu «eine frühestmögliche Intervention bei einer Person, die sich auffällig verhält».

Insgesamt gilt: Die Radikalisierung von Jugendlichen ist komplexer, als dies mit Schlagzeilen zu «Tiktok-Terroristen» suggeriert wird. Soziale Netzwerke tragen zwar ihren Teil zur Radikalisierung junger Menschen bei. Aber durch technische Lösungen allein bekommt man die Radikalisierung nicht in den Griff.

Daher appellierte Vertone an die Gesellschaft: „Wer einen Jugendlichen beobachtet, der in eine extreme Ideologie abdriftet, sollte ihn ansprechen.“ Viele lesen sich von extremem Gedankengut abbringen, wenn man sie richtig aufklärt, zum Reflektieren auffordere und für ihre sonstigen Probleme Verständnis zeigt. Das zeigt: Für viele Jugendliche ist der Extremismus auch ein Hilferuf.