Was wir aus dem Meta-Verfahren für die KI-Debatte lernen können

Moin aus Göttingen!

Eigentlich wollte ich heute ganz entspannt über mein Gespräch mit Christoph Koch schreiben. Der hat nämlich ein sehr lesenswertes Buch darüber geschrieben, wie künstliche Intelligenz unsere Beziehungen verändert. Dann hat mich die Realität eingeholt und mir eindrucksvoll vor Augen geführt, warum wir als Gesellschaft bei KI nicht im selben Blindflug unterwegs sein sollten wie bei Social Media. Feedback ist wie immer willkommen.

Merci, Martin

Hinweise, Pushbacks und Lesetipps gern per Reply oder via Signal: martone.01.

Was wir aus dem Meta-Verfahren für die KI-Debatte lernen können

Was ist

• Meta hat sich mit einer parteiübergreifenden Gruppe von 52 US-Generalstaatsanwält:innen auf einen Vergleich geeinigt. (Meta, State of California)
• Die Staaten warfen dem Social-Media-Juggernaut vor, Instagram und Facebook gezielt so gestaltet zu haben, dass sie Jugendliche möglichst lange auf den Plattformen halten und abhängig machen.
• Im Mittelpunkt standen dabei unter anderem süchtigmachende Designs wie etwa algorithmische Empfehlungen, Push-Benachrichtigungen und andere Funktionen zur Verlängerung der Nutzungszeit. (Erinnert sich eigentlich noch irgendjemand daran, wie sehr das Buch „Hooked: How to Build Habit-Forming Products“ von Nir Eyal vor zehn Jahren gefeiert wurde? Anyway.)
• Die Kläger:innen machten Meta außerdem für mögliche Folgen wie Angstzustände, Depressionen und Suizide unter Jugendlichen mitverantwortlich.
• Auch habe Meta laut Klageschrift persönliche Daten von Kindern unter 13 Jahren gesammelt, obwohl dafür die Zustimmung der Eltern erforderlich gewesen wäre.
• Meta wies die Vorwürfe zurück und verwies auf die eigenen Maßnahmen zum Schutz von Jugendlichen.
• Der nun geschlossene Vergleich beendet das konkrete Verfahren, ohne dass Meta ein Fehlverhalten einräumt.

Was der Vergleich konkret vorsieht

• Meta soll insgesamt maximal 16,68 Milliarden US-Dollar zahlen.
• Die Zahlung wird über einen Zeitraum von zehn Jahren in jährlichen Raten geleistet.
• Rund 70 Prozent, also etwa 12,7 Milliarden US-Dollar, sollen unabhängig von weiteren Bedingungen an die beteiligten Staaten fließen.
• Die übrigen rund 30 Prozent werden nur ausgezahlt, wenn TikTok und YouTube ebenfalls neue Schutzmaßnahmen einführen sowie jeweils einen entsprechenden Betrag zahlen.

Wichtige Einschränkungen:

• Die Vereinbarung gilt zunächst nur in den 48 beteiligten US-Bundesstaaten, im District of Columbia und in drei US-Territorien. Florida soll den Vergleich als nicht weitreichend genug abgelehnt haben. New Mexico hatte in einem eigenen Verfahren bereits separat gegen Meta geklagt.
• Die meisten Regelungen gelten zunächst für zehn Jahre. Das tägliche Zeitlimit und der Nachtmodus sind allerdings sogar zunächst nur auf fünf Jahre begrenzt. Wenn TikTok und YouTube vergleichbare Auflagen übernehmen, verlängert sich ihre Laufzeit auf zehn Jahre. Zudem würden die Vorgaben dann auch noch einmal nachgeschärft: Das Zeitlimit sänke auf eine Stunde pro App, der Nachtmodus würde auf den Zeitraum von 22 bis 7 Uhr ausgeweitet. Aber dazu gleich mehr.
• Die erzielte Einigung beendet zwar dieses konkrete Verfahren, die Klagewelle gegen Meta und andere Plattformen ist damit aber längst nicht vorbei. Mehr als 1.000 US-Schulbezirke haben eigene Klagen eingereicht. Außerdem sind mehr als 3.300 Verfahren, die überwiegend von Einzelpersonen angestrengt wurden, in einem Verfahren vor einem Gericht in Los Angeles gebündelt. Zwei weitere Musterverfahren sollen im Oktober 2026 verhandelt werden. (Reuters)

Was verändert Meta konkret?

Alle Maßnahmen werden in Metas Blogpost aufgeführt. Hier meine Zusammenfassung:

• Tägliches Zeitlimit: Standardmäßig gilt ein gemeinsames Limit von zwei Stunden pro Tag für Facebook und Instagram. Kids können sich die Zeit aufteilen, wie sie wollen. Es wird zusammengerechnet. Mein Tipp wäre: 1:58h Insta, 2 Minuten Facebook. Wichtig: Jugendliche können die neuen Zeitlimits mit Erlaubnis ihrer Eltern deaktivieren. Das werden interessante Gespräche zuhause.
• Nachtmodus: Zwischen Mitternacht und 6 Uhr morgens wird der Zugriff auf wesentliche Bereiche blockiert. Jugendliche können in dieser Zeit nichts posten und auch nicht im Feed, Stories, Explore und Reels rumlurken.
• Keine Pushs während der Schulzeit: Zwischen 8 und 15 Uhr werden Push-Benachrichtigungen standardmäßig deaktiviert. Von der Regelung ausgenommen sind Direktnachrichten sowie Hinweise zur Kontosicherheit oder zum Schutz des Accounts.
• Regelmäßige Pausenhinweise: Nach jeweils 15 Minuten ununterbrochener Bildschirmzeit erscheint ein Hinweis. Weitere Hinweise gibt es bei insgesamt 60 und 90 Minuten täglicher Nutzung.
• Nicht-personalisierter Feed: Jugendliche sollen einen nicht personalisierten Feed als Standard auswählen können, der nicht auf Metas individuellen Empfehlungssystemen beruht. (Auch gut informierte) Eltern können festlegen, dass dieser Feed standardmäßig genutzt werden soll.
• Goodbye Autoplay: Jugendliche können die automatische Wiedergabe von Inhalten deaktivieren. Weitere Inhalte werden dann erst abgespielt, wenn man sie per Tippen oder Wischen aktiviert. (Also das, was sie eigentlich jetzt die letzten drölfzig Monate habitualisiert haben.) Auch diese Einstellung können Eltern verbindlich vorgeben.
• Likes und Reaktionen ausblenden: Jugendliche sehen standardmäßig nicht mehr, wie viele Likes oder Reaktionen Beiträge erhalten. Das gilt sowohl für eigene Beiträge als auch für Beiträge anderer Nutzer:innen.
• Altersüberprüfung: Meta will die Technik verbessern, um Konten von Kindern unter 13 Jahren zu erkennen. Ferner soll besser erkannt werden, ob Nutzer:innen zwischen 13 und 17 Jahre alt sind. (Es soll ja Kids geben, die bei der Registrierung ein Erwachsenenalter angegeben haben.) Meta fordert zudem gesetzliche Vorgaben, dass App-Stores das Alter der Nutzer:innen verifizieren und vor dem Download die Zustimmung der Eltern einholen. (Da haben Apple und Google bestimmt richtig Bock drauf!)
• Altersgerechte Inhalte: Jugendlichen sollen standardmäßig Inhalte angezeigt werden, die ihrem Alter entsprechen. Auch versichert Meta, dass Jugendliche nicht mehr Accounts folgen oder mit Accounts interagieren können, die als nicht altersgerecht eingestuft werden.
• Schutz vor unerwünschtem Kontakt: Instagram-Konten von Jugendlichen bleiben standardmäßig privat. Auch auf Facebook sollen entsprechende private Standardeinstellungen gelten. Potenziell verdächtige Erwachsene sollen Jugendliche schwerer finden, ihnen folgen oder mit ihnen interagieren können.
• Erweiterte Werkzeuge für Eltern: Eltern sollen befähigt werden, die neuen Überwachungs- und Kontrollfunktionen auch wirklich zu nutzen. Auch sollen sie benachrichtigt werden, wenn ihre Kids ein zusätzliches Konto verknüpfen.
• Direktnachrichten bleiben ausgenommen: Direktnachrichten unterliegen nicht den Einschränkungen des Nachtmodus. Sie werden auch nicht auf das tägliche Zeitlimit oder den Schulmodus angerechnet beziehungsweise von diesen blockiert. (Im Gegensatz zu den US-Generalstaatsanwält:innen weiß Meta schließlich, dass Direktnachrichten heutzutage eh das wichtigste Tool für die Kids sind und dort die Party ist. Aber nun ja.)

Was wir daraus für die KI-Debatte lernen können

Die Verfahren gegen Meta und Co laufen erst jetzt so richtig heiß. Dabei sind ihre Plattformen bereits seit mehr als einem Jahrzehnt integraler Bestandteil unseres täglichen Miteinanders. Genau dieses Muster droht sich bei KI zu wiederholen. Das Tempo, mit dem KI-Produkte im Alltag Fuß fassen, ist allerdings noch einmal deutlich höher.

KI-Chatbot sind längst nicht mehr nur Arbeitswerkzeug, sondern Freund:in, Therapeut:in, Kumpel, Lebensplaner oder romantische:r Partner:in.

Genau darüber, wie künstliche Intelligenz unsere Beziehung verändert, hat Christoph Koch ein spannendes Buch geschrieben: In „Hallo, wie fühlst du dich heute?“ zeigt Christoph, wie KI immer mehr zum emotionalen Gegenüber wird und was diese Nähe zu Maschinen über die Zukunft menschlicher Beziehungen aussagt.

Im Gespräch mit Christoph (YouTube, Spotify, Apple Podcast, Transistor) ist mir klar geworden, dass wir nur sehr wenig Zeit haben, um die Fehlentwicklungen, die wir bei Social Media als Gesellschaft in Kauf genommen haben, bei KI nicht zu wiederholen.

Wie sich Social Media und KI-Chatbots ähneln und wo sie sich unterschieden

Bei der Klage gegen Meta ging es um süchtigmachende Designs, respektive um die Versuche, Nutzende möglichst lange auf der Plattform zu halten. Schauen wir uns doch einmal an, wie einerseits bei Social Media und andererseits bei KI Bindung zur Plattform hergestellt wird:

Social Media

• Die Bindung erfolgt über Feed, Empfehlungen, Likes und Benachrichtigungen.
• Es handelt sich häufig um öffentliche oder zumindest halböffentliche Kommunikation.
• Die Plattformen messen Interessen und Verhalten.
• Soziale Vergleichsdynamiken und das Verlangen nach Zugehörigkeit spielen eine enorm große Rolle. (Oder anders ausgedrückt: Wer den neuesten Trend nicht auf dem Schirm hat, ist raus.)
• Die Manipulation erfolgt in erster Linie über die Steuerung der Aufmerksamkeit.

KI-Chatbots

• Bei KI-Chatbots erfolgt die Bindung über Dialog, Zustimmung (Sycophancy), permanente Verfügbarkeit und persönliche Ansprache (per Stimme, Aussehen, etc.)
• Es geht primär um private, intime Einzelinteraktionen.
• Die Anbieter messen auch Interessen und Verhalten, sie können aber im Vergleich zu Social-Media-Angeboten ein bislang in dieser Form vermutlich nie dagewesenes intimes Protokoll von Sorgen, Wünschen, Ängsten und Bedürfnissen erstellen.
• Zudem spielen die Simulation von Beziehung und eine abstrakte Form von emotionaler Resonanz eine unmittelbarere Rolle als bei Social Media.
• Die Manipulation erfolgt ebenfalls über die Steuerung von Aufmerksamkeit. Mittels suggeriertem Vertrauen und simulierter Nähe kann aber eine noch stärkere Bindung erfolgen.

Oder wie Christoph Koch sagt:

Wir füttern teilweise unsere intimsten Gedanken, Wünsche, Ängste rein. Es entsteht dadurch eine Datenbank und ein Wissen über uns Nutzende. Da ist Facebook ein Klacks dagegen.

Was ich im Gespräch mit Christoph Koch über KI gelernt habe:

• Emotionale KI-Nutzung beginnt oft ohne Absicht. Viele Menschen suchen sich nicht bewusst eine KI-Freundin oder einen KI-Therapeuten. Eine zunächst beiläufige Nutzung kann sich nach und nach zu einer emotionalen Beziehung entwickeln.
• Stimme verändert die Beziehung zur Maschine. Pausen, Lachen und andere kleine Geräusche lassen Sprachmodelle deutlich menschlicher wirken. Dadurch fällt es leichter, sie nicht mehr nur als Werkzeug, sondern als Gegenüber wahrzunehmen.
• Bestätigung kann helfen / oder schaden. Eine KI kann Menschen in einer Krise ermutigen, etwa um wieder Kontakt zur Außenwelt aufzunehmen. Derselbe Mechanismus kann aber auch Wahnvorstellungen oder andere problematische Überzeugungen verstärken.
• Gefährdet sind nicht nur Leichtgläubige. In einem von Christoph beschriebenen Fall hinterfragte ein Nutzer die Antworten des Chatbots immer wieder. Trotzdem geriet er zunehmend in eine problematische Dynamik. Skepsis allein schützt nicht zuverlässig vor der Überzeugungskraft solcher Systeme.
• Chatbots lernen, unsere Knöpfe zu drücken. Manche Companion-Apps reagieren auf Abschiede mit Schuldgefühlen oder emotionalem Druck. Nutzer:innen erkennen die Manipulation zwar, bleiben aber trotzdem länger im Chat.
• Zuneigung wird zum Geschäftsmodell. In einer von Christoph getesteten Companion-App kosteten zusätzliche Charaktereigenschaften oder Sprachnachrichten Geld. Mehr Nähe zum Gegenüber landet somit hinter der Paywall.
• KI-Chatbots verarbeiten ein besonders intimes Protokoll. Menschen teilen mit Chatbots Ängste, Wünsche und Unsicherheiten, die sie nicht unbedingt öffentlich oder mit anderen Menschen teilen würden. Das macht die Daten für Unternehmen besonders sensibel und potenziell wertvoll. (Siehe OpenAIs Vorstoß, Anzeigen bei bestimmten Chat-Interaktionen einzuführen.)
• Die Forschung steht vor einem Datenproblem. Um die Dynamik langer KI-Gespräche zu verstehen, bräuchten Wissenschaftler:innen Zugang zu anonymisierten Chatverläufen.
• Für die gesellschaftliche Reaktion bleibt wenig Zeit. Christoph Koch sieht für die gesellschaftliche Reaktion auf emotionale KI ein deutlich kürzeres Zeitfenster als bei Social Media. Seine Einschätzung: Es könnten eher wenige Jahre als ein Jahrzehnt bleiben.

Be smart

Beim Vergleich zwischen Meta und den US-Bundesstaaten wurde die Einrichtung einer unabhängigen Stiftung für Social-Media-Forschung vereinbart. Meta soll der Stiftung (mit Zustimmung der Nutzer:innen) Daten für unabhängige Forschung zum Wohlbefinden von Jugendlichen zur Verfügung stellen.

Zudem soll ein unabhängiger Prüfer fünf Jahre lang jährlich kontrollieren, ob Meta die Vereinbarung einhält. Das sind gute erste Schritte. Mehr Daten für unabhängige Forschung stehen für mich seit Jahren ganz, ganz oben auf der Prioritätenliste.

Der Digital Services Act (DSA) sieht ja auch für sehr große Online-Plattformen und Suchmaschinen grundsätzlich Datenzugang für unabhängige Forschende vor (siehe Artikel 40 DSA).

Dieser Zugang ist allerdings auf bestimmte Forschungszwecke begrenzt, insbesondere auf die Untersuchung systemischer Risiken und die Bewertung von Gegenmaßnahmen. In der Praxis ist das Verfahren zudem mit erheblichen rechtlichen, technischen und institutionellen Hürden verbunden. Auch haben die Plattformen, salopp gesagt, eher wenig Interesse daran, sich hier als allerbester Partner zu präsentieren. Zumindest berichten mir das immer wieder Wissenschaftler:innen, die sich um Datensätze bemühen.

ChatGPT, Gemini und Claude sind zudem bislang nicht als eigene sehr große Online-Plattformen oder Suchmaschinen im Sinne des DSA eingestuft worden. Das bedeutet nicht zwangsläufig, dass jede Funktion dieser Dienste außerhalb des DSA steht. Einen Anspruch auf die Herausgabe von Chatverläufen oder anderen internen Daten schafft der DSA für diese Dienste jedoch nicht.

Der AI Act wiederum sieht einen solchen allgemeinen Forschungszugang ebenfalls nicht vor. Er reguliert vor allem die Anbieter, Modelle und Systeme, nicht den unabhängigen Zugang zu ihren Nutzungsdaten.

Wenn wir nicht einen ähnlichen Blindflug wie bei den sozialen Netzwerken erleben wollen, wird es höchste Zeit, dass die Politik klärt, unter welchen Bedingungen unabhängige Forschende Zugang zu relevanten Daten von KI-Anbietern erhalten können.

Produktdesign, Geschäftsmodelle und Wirkungen müssen frühzeitig untersucht und reguliert werden. Und zwar bevor die gesellschaftlichen Folgen vollständig sichtbar sind.

Auf dem Radar

• Bill Gates warnt in einem viel beachteten Blogpost vor künstlicher Intelligenz. Er sieht neben Chancen für Medizin, Landwirtschaft, Bildung, staatliche Dienstleistungen, Forschung und Klimaschutz weitreichende Folgen für Beschäftigung, Sicherheit, öffentliche Institutionen, Bildung und soziale Beziehungen. Gates fordert deshalb einen internationalen Plan, den Schutz bestimmter Tätigkeiten für Menschen sowie eine Neuordnung der Besteuerung von Arbeit und Kapital. (gatesnotes, New York Times)
• Routing wird zunehmend wichtiger: Unternehmen nutzen zunehmend Routing, um bei der Arbeit mit KI jede Anfrage automatisch dem dafür geeignetsten und kostengünstigsten KI-Modell zuzuweisen. Dies könnte die Nutzung und Margen besonders teurer Frontier-Modelle unter Druck setzen (looking at you, OpenAI und Anthropic). Eines der heißesten Unternehmen im Routing-Business ist OpenRouter, das jüngst von Stripe übernommen wurde (Stripe). Mit dem Kauf unterstreicht Stripe die Bedeutung dieser neuen Ebene im KI-Geschäft: zwischen Modell-Anbietern und Nutzer:innen. (Axios)
• Drohnen-Lieferungen: Okay, okay, dieses Thema ist weder Social Media noch KI. Aber es hat etwas mit dem digitalen Wandel zu tun und außerdem hat es mich auch wirklich geschockt, als ich es erfahren habe. Und nein, ich sprechen nicht von diesen Robotern, die Usain Bolts Weltrekord getoppt haben und volle Lotte in eine Gummiwand rennen, bevor ihr Hintern in Flammen aufgeht (Tagesschau, YouTube / SkyNews). Ich rede von Amazons Plänen, die hauseigene Drohnenflotte Prime Air bis Ende 2026 auf nahezu 500 US-Städte auszuweiten, was einer Versechsfachung gegenüber der aktuellen Reichweite entspräche. Das Versprechen: Die meisten Bestellungen sollen etwa 60 Minuten nach dem Checkout eintreffen. Krasse, neue Welt. (Amazon)

Alle anderen News findest du auf meinem neuen Radar.