Substack vs. Nazis: Die Gretchenfrage des Internets

Was ist

Seit Wochen tobt ein heftiger Streit auf und um Substack. Auf den ersten Blick handelt es sich um die X-te (Pun intended) Debatte über den angemessenen Umgang mit Rechtsradikalen und die Verantwortung von Plattformen. Laaangweilig!

Doch wir glauben, dass du auch dann weiterlesen solltest, wenn dich Substack nicht die Bohne interessierst und du die Schnauze voll hast vom leidigen Kulturkampf in den USA. Denn an dem Fall zeigt sich eine Problematik, die das gesamte Netz tangiert.

Die Gretchenfrage, auf die wir mit unserer Überschrift anspielen, lautet frei nach Faust nicht etwa: Nun sag, wie hast du’s mit den Nazis? Entscheidend ist, wo die Grenze zwischen Plattform und digitaler Infrastruktur verläuft. Wir fassen zunächst zusammen, warum bei Substack die Hütte brennt. Dann erklären wir, warum die Kontroverse weitreichendere Bedeutung hat.

Was bei Substack los ist

• Ende November veröffentlichte Jonathan M. Katz im Atlantic eine Recherche, die Wellen schlagen sollte: "Substack Has a Nazi Problem".
• Die Überschrift fasst den Inhalt treffend zusammen: Dutzende Substack-Newsletter propagieren ein rechtsextremes Weltbild und eine rassistische Ideologie. Mindestens 16 beinhalten in ihren Logos und Grafiken Nazi-Symbolik wie Hakenkreuze und Sonnenräder.
• Ein Teil dieser Newsletter bietet ein kostenpflichtiges Abomodell an. Zehn Prozent der Einnahmen fließen an Substack. Das Unternehmen toleriert also nicht nur rechtsextreme Inhalte, sondern verdient daran.
• Es folgte ein offener Brief, den knapp 250 Substack-Autorïnnen unterzeichneten (Google Docs). Darin konfrontierten sie die drei Substack-Gründer direkt:

We’re asking a very simple question that has somehow been made complicated: Why are you platforming and monetizing Nazis?

• Mitgründer Hamish McKenzie reagierte mit einem längeren Post auf Substack Notes, der eine Passage enthält, die Ryan Broderick als "den womöglich dümmsten Absatz, den je ein Tech-Gründer geschrieben hat" (Garbage Day) bezeichnet:

I just want to make it clear that we don’t like Nazis either—we wish no-one held those views. But some people do hold those and other extreme views. Given that, we don't think that censorship (including through demonetizing publications) makes the problem go away—in fact, it makes it worse.

• Wir wissen, dass unsere Plattform von Nazis genutzt wird. Aber leider können wir nichts dagegen tun, denn das wäre Zensur und damit schlecht. Diese Argumentation ist hanebüchen (Techdirt), hat bei Substack aber Tradition (The Verge).
• Gleichzeitig unterschrieben rund 100 weiteren Autorïnnen einen anderen offenen Brief, der genau das Gegenteil des ersten Briefs forderte und Substack in seinem Kurs bestärkte:

I, and the writers who have signed this post, are among those who hope Substack will not change its stance on freedom of expression, even against pressure to do so.

• Später kam heraus, dass McKenzie der Initiatorin dieses Briefs dabei half, Unterzeichnende zu finden (Substack / Jonathan M. Katz). Die vermeintliche Grassroots-Bewegung hat sich also gar nicht so organisch zusammengefunden, wie Substack der Öffentlichkeit weismachen will.
• Im Dezember ließen die ersten Autorïnnen ihren Worten Taten folgen. Angewidert von Substacks Ignoranz zogen sie mit ihren Publikationen zu anderen Plattformen um. Darunter sind mehrere Autorïnnen, die wir selbst gern lesen, etwa Rusty Foster (Today in Tabs), Molly White (Citation Needed) und Ryan Broderick (Garbage Day).
• Noch bedrohlicher für Substack war aber eine andere Entwicklung. Medien wie New York Times sowie Washington Post berichteten – und der erfolgreiche Substack-Newsletter Platformer von Casey Newton und Zoë Schiffer.
• Die beiden sammelten Publikationen, die extremistische Inhalte verbreiten, und meldeten sie an Substack (Platformer). Dabei formulierte Newton eine offene Drohung (Platformer):

It is our hope that Substack will reverse course and remove all pro-Nazi material under its existing anti-hate policies. If it chooses not to, we will plan to leave the platform.

• Mit mehr als 170.000 Abonnentïnnen (Gratis- und Bezahlabo zusammengezählt) gehört Platformer zu den erfolgreichsten und einflussreichsten Tech-Publikationen auf Substack. Ein Abschied von Platformer könnte einen Domino-Effekt auslösen, der Substack gefährlich werden könnte.
• Wohl auch deshalb machten McKenzie und Co Zugeständnisse. Sie versicherten Newton, dass sie bestimmte Publikationen dauerhaft verbannen würden, die Nazi-Ideologie verherrlichten und entsprechende Symbolik nutzten (Platformer). Zudem werde man auch künftig auf Meldungen reagieren, wenn Inhalte gegen Substacks Standards verstießen.
• Das ist bestenfalls eine vorübergehende Lösung. Auch wenn Substack die offensichtlichsten Nazi-Newsletter löscht, bleibt das zugrundeliegende Problem bestehen: Beim Thema Content-Moderation gehen die Ansichten der Gründer und die Überzeugungen großer Teile der Nutzerïnnen weit auseinander. Newton schreibt:

In coming days, explicitly Nazi publications on Substack are slated to disappear. But the greater divide within its user base over content moderation will remain. The next time the company has a content moderation controversy — and it will — expect these tensions to surface again.

Warum die Debatte so ermüdend ist

• Links vs. Rechts, Wokeness, Meinungsfreiheit und angebliche Zensur: Die politischen, kulturellen und ideologischen Grabenkämpfe, die aus den USA längst auch nach Deutschland geschwappt sind (dort aber ungleich heftiger geführt werden), überfordern diesen Newsletter.
• Leider spielen sie auch beim Streit um Substack eine Rolle. Denn nicht alle, die Menschen, die sich selbst für liberal halten, als "Nazis" bezeichnen, sind wirklich Nazis. Teils reicht es schon, nicht links genug zu sein, um dieses Label zu erhalten.
• Damit wollen wir Substack ausdrücklich nicht in Schutz nehmen. Die drei Gründer haben mehrfach bewiesen, dass sie von fragwürdigen Prinzipien geleitet werden und nichts von Content-Moderation verstehen.
• Es ist das gute Recht von Substack, Nazis zu dulden. Die US-Verfassung erlaubt das. Aber es ist Unsinn, das als Eintreten für die Meinungsfreiheit zu verkaufen (Techdirt):

You can create a site and say you’ll host whatever kinds of content you want. You can create a site and say that you won’t do any moderation at all. Those are valid decisions to make. But they’re not decisions that are in support of “free speech.” Because a site that caters to Nazis is not a site that caters to free speech. Because (as we’ve seen time and time again), such sites drive away people who don’t like being on a site associated with Nazis. And, so you’re left in a situation where you’re really just supporting Nazis and not much else.

• Zum Glück hat Johannes Kuhn ausführlich über die Kulturkampf-Dimension der Substack-Debatte geschrieben, sodass wir uns weitere Erklärungen sparen und auf das Internet-Observatorium verweisen:

Substack ist ein Saftladen und hat bislang noch nicht mal wirklich funktionierende Flagging-Instrumente entwickelt (das soll sich jetzt ändern). Aber man ist auch einer politischen Dynamik ausgesetzt, die da heißt: Entweder du bist eine Heimat für das Lager A [links + linksprogressiv + Mittelinks] oder eines für das Lager B [Mitterechts – libertär – konservativ – reaktionär – rechtsextrem]. Bislang konnte Substack diesem Schema entgehen, das wird sich nun ändern, befürchte ich.

Warum der Konflikt größer ist als Substack

• Die aktuelle Debatte hat drei Ebenen:
• Das konkrete Verhalten von Substack
• Der Glaubenskrieg um Deplatforming
• Die Frage, welcher Layer im Tech-Stack wie stark regulierend eingreifen sollten
• Punkt 3 klingt technisch, komplex und verwirrend, ist aber am spannendsten. Dazu gleich mehr.
• Die erste Ebene haben wir abgehandelt. Der zweite Aspekt ist zwischen den Zeilen angeklungen und spielt auch im verlinkten Text von Johannes eine Rolle. Im Kern geht es um die Frage, ob man extremistische Weltanschauungen loswird, indem man sie in dunklere Nischen des Netzes verbannt.
• Es gibt gute Argumente dagegen (Freddie deBoer, Sage Journals), aber auch Studien, die darauf hindeuten, dass es helfen kann, radikalen Influencerïnnen und Organisationen die Bühne und damit die Aufmerksamkeit zu entziehen (arXiv, PNAS, PNAS Nexus).
• Prominente Beispiele wie Milo Yiannopoulos, Alex Jones, Laura Loomer und Donald Trump zeigen, dass nur ein Teil des Publikums zu alternativen Plattformen migriert.
• Soll Dienst X Person Y wegen Inhalt Z verbannen? Für uns hängt die Antwort nicht nur von Y und Z ab, also vom Ausmaß der Radikalität. Mindestens genauso wichtig in der Gleichung ist das X – und damit sind wir bei der dritten Ebene der Debatte.
• Man kann sich das Internet als eine Art Pyramide vorstellen (Washington Post, CIGI). Das physische Fundament bilden Unterseekabel, Internet-Knotenpunkte und Leitungen. Diese Infrastruktur nutzen Provider, um Menschen Zugang zum Internet zu bieten. In weiteren Schichten folgen Domain-Registrars, Content Delivery Networks (CDN), Web-Hoster und andere Cloud-Dienste. An der Spitze der Pyramide sitzen Plattformen, Webseiten und Apps, die Inhalte zur Verfügung stellen.
• Je tiefer die Dienste im Stack liegen, desto größere Konsequenzen haben ihre Entscheidungen. Unternehmen wie Cloudflare oder Godaddy könnten auf einen Schlag Hunderten Millionen Webseiten den Stecker ziehen (Stratechery).
• Sie registrieren zwar Domains, schützen vor DDoS-Attacken und leiten Anfragen an die richtigen Adressen weiter, doch zwischen ihnen und den tatsächlichen Inhalten liegen weitere Layer des Tech-Stacks.
• Als Cloudflare 2019 das rechtsradikale Board 8chan kickte, schrieben wir (#570):

Kein Mensch, keine Plattform hat ein gesetzlich garantiertes Recht, von einem Cloudflare online gehalten zu werden. Das Unternehmen muss Trollen kein Mikrofon unter die Nase halten. Sie können ihren Hass an Hunderten anderen Orten ins Netz kippen. Ihre Meinungsfreiheit wird nicht beschnitten, mit Zensur hat das nichts zu tun.

Es geht um die Frage, wie die Macht im Netz verteilt ist. Ich habe kein gutes Gefühl, wenn ein einzelner CEO mit einem Fingerschnippen ein großes Forum offline nehmen kann. Im Fall von 8chan ist das Ergebnis begrüßenswert, aber der Weg dahin macht mir Bauchschmerzen. Wenige Unternehmen – Registrare, DNS-Provider und Server-Betreiber – kontrollieren fast die gesamte Infrastruktur des Internets. Mir wäre es lieber, wenn Prince solche Entscheidungen nicht selbst träfe, sondern Gerichte darüber urteilten.

• Diese Ansicht vertreten wir nach wie vor. Plattformen können und sollten aktiv moderieren. Je weiter wir den Stack nach unten wandern, desto kniffliger wird es.
• Substack selbst sieht sich als Infrastruktur. Die Gründer beharren darauf, dass man lediglich das technische Gerüst für Publisher anbiete. Die publizistische Verantwortung liege bei den einzelnen Autorïnnen.
• Das mag in den ersten Jahren nach der Gründung 2017 der Fall gewesen sein. Damals war Substack tatsächlich ein gewöhnlicher Newsletter-Anbieter wie Ghost oder Mailchimp, den wir nutzen. (Unser Substack-Experiment aus dem Herbst hatten wir nach sechs Wochen wieder eingestampft.)
• Doch seit 2020 hat sich Substack von seinen Wurzeln entfernt und Stück für Stück in ein soziales Netzwerk verwandelt (Matt Birchler). Es gibt Algorithmen, personalisierte Empfehlungen und Kurznachrichten nach dem Vorbild von Twitter.
• Substack ist längst zu dem geworden, was es lange Zeit kritisiert hatte: ein Plattformbetreiber, der aktiv Inhalte kuratiert, Nutzerïnnen zusätzliche Reichweite verschafft und damit inhaltliche Gewichtungen trifft. Das geht weit über einen neutralen Anbieter von Infrastruktur hinaus.

Be smart

You can't have it both ways. Man kann eine technische Dienstleistung anbieten und halbwegs glaubwürdig argumentieren, nicht für Inhalte verantwortlich zu sein. Doch viele Start-ups werden irgendwann von Infrastruktur-Anbietern zu Plattformen. Die Geschichte zeigt, dass sie gut daran täten, sich frühzeitig Gedanken um Content-Moderation zu machen. Leider beherzigen das nur wenige.

Niemand hat den schmerzhaften Erkenntnisprozess treffender beschrieben als Mike Masnick, der die 20-stufige "Content Moderation Learning Curve" am Beispiel von Elon Musk und Twitter durch deklinierte (Techdirt):

Level One: “We’re the free speech platform! Anything goes!”

(…)

Level Ten: “We’re the trustworthy free speech platform, doing our best to stop CSAM, hate speech, infringement, and spam, and we follow laws of democratic countries.”

(…)

Level Twenty: “Look, we’re just a freaking website. Can’t you people behave?”

Social Media & Politik

• Angst vor KI-generierter Desinformation: Wie in Ausgabe #930 skizziert, sorgen sich Politikerïnnen und Wirtschaftsbosse mit Blick auf das anstehende Super-Wahljahr vor Desinformationskampagnen. Durch KI-generierte Inhalte und automatisierte Bots könnten diese eine andere Qualität als in den Jahren zuvor erhalten, so die Annahme im aktuellen Global Risk Report des Weltwirtschaftsforums. Dort wird das Thema als größtes, kurzfristiges Risiko geführt. Mittel- und langfristig gelten jedoch Natur­katastrophen, Klimawandel und ein Kollaps des Ökosystems als größte Bedrohungen.
• Meta verspricht mehr Schutz für Kids: Künftig sollen minderjährige Instagram-Userïnnen stärker davor geschützt werden, Inhalte zu sehen, die Selbstverletzungen, Gewaltdarstellungen und Essstörungen zeigen (Meta). Die Vorschläge kommen just in time: Am 31.1. müssen leitende Mitarbeiterïnnen von Meta, TikTok, Snap, Discord und X vor dem US-Senat erklären, wie sie gedenken, Kinder und Jugendliche auf ihren Plattformen besser zu schützen. Also alles nur Show? Sicher nicht. Aber Kritikerïnnen gehen die geplanten Sicherheitsfeatures nicht weit genug (The Washington Post).
• Datenschützer verklagen Meta einmal mehr: Max Schrems Noyb sieht bei Meta einen potentiellen Verstoß gegen die DSGVO, da es sehr viel einfacher sei, dem Tracking durch Meta zuzustimmen, als sich davon zu befreien (Noyb). Bereits im November hatten die Datenschützerïnnen Beschwerde gegen das neu von Meta eingeführte „Pay or Okay“-System eingereicht, mit dem Userïnnen sich vom Tracking freikaufen können. (Siehe Ausgabe #912).

Follow the money

• Twitch entlässt 500 Angestellte: Bei Amazon müssen zahlreiche Mitarbeiterïnnen gehen — vor allem die Abteilungen Prime Video und Twitch trifft es hart. Bei Amazons Livestreaming-Plattform muss gut ein Drittel den Hut nehmen. (The Verge)
• Auch Alphabet will Kosten senken: Google trennt sich von hunderten Mitarbeiterïnnen. (The New York Times).
• Laut The Wall Street Journal sei das aber alles keine Überraschung: Die Tech-Industrie befände sich gerade am Anfang einer neuen Ära: Weg von reinem Wachstum, hin zu mehr Konsolidierung.
• Einen Prozess, den Meta bereits 2023 „erfolgreich“ angestoßen hat. Metas Aktie befindet sich auf dem höchsten Stand seit zwei Jahren. Oder wie Der Aktionär schreibt: Meta macht weiter Meter. Lol. Ist das mies. Aber ist ja richtig.

Next (AR, VR, KI, Metaverse)

• AI-larmiert: US-Medienbosse haben den Kongress gebeten, sich stärker dafür einzusetzen, dass KI-Firmen nicht einfach die Daten der Medienunternehmen kostenfrei für das Training von Sprachmodellen nutzen dürfen. Dafür reiche laut Condé-Nast-Chef Roger Lynch ein ganz simples Eingeständnis: „Quite simply, if Congress could clarify that the use of our content for training and output of AI models is not fair use, then the free market will take care of the rest.“ (Wired)
• OpenAI verhandelt offenbar mit CNN, Fox Corporation und TIME über die Nutzung der Daten zu Trainingszwecken. (Bloomberg)
• Einen ausführlichen Hintergrund zu den Auseinandersetzungen zwischen Verlagen und KI-Firmen findest du in unserem ersten Briefing des Jahres: NYT vs. OpenAI: Die Copyright-Kriege gehen los.
• Der GPT Store ist da: Das ging jetzt doch schneller als erwartet. Wir hatten noch keine Zeit, uns die angepriesenen GPTs ausführlicher auf der Website von OpenAI anzuschauen. Aber es gibt Menschen, die bereits eine Meinung haben:
  • GPTstore von OpenAI: Der nächste iPhone-Moment der künstlichen Intelligenz (Spiegel)
  • OpenAI’s New App Store Could Turn ChatGPT Into an Everything App (Wired)

Studien

• Journalism, media, and technology trends and predictions 2024: Wer das Social Media Watchblog schon etwas länger liest, weiß, dass wir die Studien des Reuters Institute for the Study of Journalism sehr schätzen. Während wir den Digital News Report immer ausführlich abbilden (zuletzt etwa in Ausgabe #886), findet der Report „Journalism, media, and technology trends and predictions“ in aller Regel nur eine herzliche Empfehlung von uns. So auch dieses Jahr, in dem sich Medienlenker primär darüber besorgt zeigen, dass die Zeit des Referral-Traffics wohl endgültig vorbei ist, die neue KI-Zeit bisher nicht zu 100 Prozent zu greifen ist.
• Apropos KI-Zeit: Eine aktuelle Untersuchung zeigt, dass sich die Expertïnnen auch nicht einig sind, was sie da nun eigentlich erschaffen (haben). (Vox)

Schon einmal im Briefing davon gehört

• Bessere Hilfe bei YouTube: Wenn Menschen in einem gesundheitlichen Notfall bei YouTube nach Hilfe suchen, landen sie oft bei fragwürdigen Informationen. Dies soll sich nun ändern: Künftig wird YouTube sogenannte „authoritative sources“ bevorzugen. Das Vorgehen ist bereits von News-Großlagen bekannt. (The Verge)

Tipps fürs Wochenende

• Die Teenie-Querdenker:innen: Die Gen Z politisiert sich auf TikTok. Wegen der Plattform glauben mehr junge Menschen an Verschwörungsideologien. Aber TikTok bietet auch eine Chance: mehr Aufmerksamkeit für vergessene Konflikte. (Krautreporter)
• Mit offenen Augen: Wer ist das "Lofi Girl"? Ein junges Mädchen, das von Hand in ein Heft schreibt und entspannende Musik hört: Willkommen bei "Lofi Girl", dem YouTube-Kanal, der jeden Tag Tausende Studierende und Telearbeitende berieselt. (Arte TV)
• The Internet Archive Now Hosts One of the World’s Biggest Collections of Rap Mixtapes: DatPiff uploaded its extensive free mixtape catalog to the Internet Archive to protect it for the foreseeable future (Rolling Stone / Archive)

Neue Features bei den Plattformen

YouTube

• YouTube Studio kann jetzt Podcaster mit RSS-Feeds einbinden. Sehr, sehr gut! (Support / Google)

Instagram

• Instagram testet eine Option, mit der Stories gepostet werden können, die nur von einem ausgewählten Bekanntenkreis angeschaut werden können. (Social Media Today)

TikTok

• TikTok läuft jetzt auch auf Chromecast (Support / TikTok). Wirklich spannend, wie wichtig der gute alte Fernseher für TikTok und YouTube ist.