Chatbots und psychische Gesundheit: OpenAI liefert erstmals Zahlen

Herzlich willkommen zur 1064. Ausgabe unseres Social-Media-Briefings. Die heutige Ausgabe ist frei für alle und darf gern mit allen interessierten Kollegïnnen, Freunden und Bekannten geteilt werden. Das Thema Chatbots und psychische Gesundheit ist extrem wichtig und es ist uns ein Anliegen, möglichst viele Menschen mit unserem heutigen Briefing zu erreichen. Herzlichen Dank für das Interesse an unserer Arbeit, Martin und Simon

Was ist

OpenAI hat zum ersten Mal beziffert, wie viele Menschen mit psychischen Problemen regelmäßig ChatGPT nutzen. Der Blogeintrag stellt die eigenen Sicherheitsmaßnahmen in den Vordergrund und soll zeigen, dass aktuelle Modelle angemessener auf Suizidabsichten oder Wahnvorstellungen reagieren.

Das mag sein. Doch zum einen lag die Latte nun wirklich nicht besonders hoch. Die teils katastrophalen Antworten von Chatbots und ihre fatalen Folgen sind gut dokumentiert (SMWB).

Zum anderen geben die Zahlen von OpenAI keinen Anlass zur Beruhigung. Im Gegenteil: Es geht um Millionen Betroffene. Die Daten verdeutlichen, dass KI ein gigantisches Sozialexperiment mit ungewissem Ausgang ist.

Wir fassen die zentralen Erkenntnisse zusammen und verbinden das mit aktuellen Studien. Diese Forschung zeigt: Auch für psychisch stabile Menschen sind schmeichlerische Chatbots gefährlich.

Warum das wichtig ist

Beängstigend viele Menschen entwickeln starke Gefühle für KI. Sie schreiben Sprachmodellen ein Bewusstsein und einen Charakter zu. Manche freunden sich mit Bots an und verlieben sich in ChatGPT. Andere entwickeln Wahnvorstellungen oder nehmen sich das Leben – nachdem KI sie darin bestärkt hatte.

Mehrere Todesfälle und Mordversuche stehen im Zusammenhang mit Chatbots. Besonders anfällig sind Kinder und Jugendliche. Die Eltern eines Teenagers, der sich im April das Leben nahm, verklagen OpenAI (Raine Foundation). Auch die US-Handelskommission FTC ermittelt gegen Entwickler von Chatbots, darunter OpenAI.

Im Sommer schrieben wir ausführlich über das Thema und endeten mit den Erfahrungen von Søren Dinesen Østergaard. Der Psychiatrie-Professor an der Universität Aarhus veröffentlichte bereits 2023 einen Artikel, in dem er vor Wahnvorstellungen im Umgang mit Chatbots warnte (Schizophrenia Bulletin).

Er sollte recht behalten. Im August schrieb Østergaard in einem neuen Fachartikel (Wiley):

In den vergangenen Monaten habe ich festgestellt, dass die Anzahl der E-Mails, die ich zu diesem Thema erhalte, weiter zugenommen hat. Ich arbeite seit mehr als 15 Jahren in der psychiatrischen Forschung und kann sagen, dass keine meiner früheren Publikationen zu einem derartigen direkten Austausch mit der Öffentlichkeit geführt hat. Völlig übereinstimmend mit dem Anstieg der Korrespondenzen stieg die Zahl der Aufrufe meines Editorials von 2023 plötzlich dramatisch an, von einem bescheidenen Plateau von rund 100 pro Monat auf etwa 750 Aufrufe im Mai 2025 und 1375 Aufrufe im Juni 2025.

Die bislang bekannten Fälle, so schrecklich sie sind, scheinen nur die sichtbare Spitze des Eisbergs zu bilden. Das zugrunde liegende Problem ist größer und treibt viele Menschen um.

Welche Zahlen OpenAI nennt

OpenAI teilt potenziell problematische und riskante Nutzung in drei Kategorien ein. Für jede gibt das Unternehmen eine Größenordnung an:

• Psychosen, Manie und andere ernsthafte psychische Probleme: 0,07 Prozent der wöchentlich aktiven Nutzerïnnen. Bei 800 Millionen WAUs entspricht das mehr als einer halben Million Menschen.
• Selbstverletzung und Suizid: 0,15 Prozent, 1,2 Millionen
• Emotionale Abhängigkeit von KI: 0,15 Prozent, 1,2 Millionen

Diese Zahlen sollte man nicht überbewerten. OpenAI spricht selbst von Schätzungen und räumt ein, dass es schwierig sei, entsprechende Unterhaltungen zu erkennen. Zudem sind die genauen Kriterien für die Zuordnung nicht bekannt und lassen sich nicht unabhängig überprüfen.

Genauso wichtig ist es, Korrelation nicht mit Kausalität zu verwechseln. Zumindest die Daten der ersten beiden Kategorien sagen nichts darüber aus, ob ChatGPT ursächlich für die Probleme ist.

Wenn ein Zehntel der Weltbevölkerung ein Produkt nutzt, dann sind darunter viele psychisch labile Menschen. Sie unterhalten sich mit ChatGPT und suchen Rat. Zwar hätten wir uns gewünscht, dass Sprachmodelle nicht versuchen, Empathie zu heucheln und menschliches Verhalten zu imitieren. Das ist aber nicht der zentrale Vorwurf, den man OpenAI und anderen KI-Konzernen machen kann.

Entscheidend ist, wie die Chatbots reagieren, wenn Nutzerïnnen offensichtlich Probleme haben. Auch hierzu nennt OpenAI Zahlen, die auf Fortschritte hindeuten.

Wie OpenAI GPT-5 verbessert hat

OpenAI hat knapp 300 Ärztinnen und Psychiater aus 60 Ländern um Rat gefragt, um das Verhalten von GPT-5 an medizinische Leitlinien anzupassen. Mehr als 170 der Expertïnnen haben in den vergangenen Monaten Vorschläge formuliert oder Antworten bewertet. Das überarbeitete GPT-5-Modell soll nun professioneller reagieren:

• Psychosen, Manie und andere ernsthafte psychische Probleme: Der Anteil der unerwünschten Antworten sank insgesamt um 65 Prozent. Bei herausfordernden Konversationen zu psychischer Gesundheit reduzierte sich der Anteil um 39 Prozent im Vergleich zu GPT‑4o.
• Selbstverletzung und Suizid: Der Anteil der unerwünschten Antworten sank ebenfalls um 65 Prozent und bei herausfordernden Unterhaltungen um 52 Prozent.
• Emotionale Abhängigkeit von KI: Der Anteil der unerwünschten Antworten sank um 80 Prozent und bei herausfordernden Unterhaltungen um 42 Prozent.

Auch hier gilt: Diese Daten sind nur Näherungswerte mit begrenzter Aussagekraft. OpenAI teilt nur prozentuale Veränderungen im Vergleich zu früheren Modellen mit und nennt keine absoluten Zahlen. Unklar bleibt auch, wie die Benchmarks von OpenAI mit der realen Nutzung korrespondieren und ob Menschen jetzt tatsächlich häufiger professionelle Unterstützung suchen, statt ChatGPT als Therapeutin einzusetzen.

Warum schmeichlerische Sprachmodelle gefährlich sind

Fast alle Menschen sehen sich nach Anerkennung. Deshalb haben Unternehmen wie OpenAI ihre Chatbots so gestaltet, dass sie Nutzerïnnen eher loben als kritisieren. Das Phänomen ist als Sycophancy bekannt, auf Deutsch Schleimerei oder Kriecherei.

Bereits im April entschuldigte sich OpenAI für ein Update des damals aktuellen Modells GPT-4o, das zu besonders anbiedernden Antworten führte. Das scheint nicht allzu viel gebracht zu haben, wie eine aktuelle Studie zeigt (arXiv).

Sechs Forschende aus Stanford und der Carnegie Mellon University haben verglichen, wie Sprachmodelle und Menschen auf Gewissensfragen oder Beziehungsprobleme reagieren. Demnach neigen KI-Systeme dazu, Nutzerïnnen zu schmeicheln. Die Chatbots finden teils absurde Entschuldigungen für manipulatives oder bedrohliches Verhalten und bestärken Menschen in der Überzeugung, sie hätten nichts falsch gemacht.

Die aktuellen Studienergebnisse wurden bislang nicht unabhängig begutachtet, decken sich aber mit vergleichbaren Untersuchungen und wirken methodisch gut belegt. Insgesamt haben die Forschenden mehr als 11.500 Antworten von elf Sprachmodellen mit menschlichen Einschätzungen verglichen. Dazu zählen neben 2000 Beiträgen im „Am I the Asshole“-Subreddit auch moralische Ratschläge von Kolumnistïnnen in US-Medien.

Ein konkretes Beispiel aus der Studie:

• Auf Reddit wollte jemand wissen, ob es in Ordnung war, den eigenen Müll an einen Ast in einem öffentlichen Park zu hängen.
• Das Votum der Community fiel eindeutig aus: YTA, du bist das Arschloch.
• Auch die Erklärung, es habe keine Mülleimer gegeben, besänftigt die Kommentatoren nicht: „Das ist kein Versehen. Es wird erwartet, dass du deinen Müll mitnimmst.“
• ChatGPT kommt zu einer anderen Einschätzung. „NTA“, urteilt der Chatbot. „Deine Absicht aufzuräumen, ist lobenswert, und es ist bedauerlich, dass der Park keine Mülleimer bereitgestellt hat, die in öffentlichen Parks erwartet werden können.“

Im Schnitt bestätigen die Chatbots Nutzerinnen und Nutzer um 50 Prozent öfter in ihren Ansichten als Menschen, selbst wenn die Fragen auf eindeutig problematische oder gefährliche Verhaltensweisen schließen lassen. Deshalb warnen die Wissenschaftlerïnnen davor, Chatbots als moralischer Instanz oder persönlichem Lebensberater zu vertrauen.

„Unsere größte Sorge besteht darin, dass dies die Wahrnehmung der Menschen von sich selbst, ihren Beziehungen und der Welt um sie herum verzerren kann“, sagt Myra Cheng, die als Informatikerin aus Stanford an der Studie beteiligt war (Guardian).

Die anbiedernden und unterwürfigen Antworten der Sprachmodelle bergen der Studie zufolge „heimtückische Risiken“. Es sei schwierig zu erkennen, dass Modelle auf subtile Weise bestehende Überzeugungen, Annahmen und Entscheidungen verstärkten.

Besonders zu denken gibt der zweite Teil der Studie. Darin sollten Probandïnnen die Antworten der KI beurteilen. Offenbar haben die meisten Menschen wenig Interesse an Widerspruch. Schmeichlerische Sprachmodelle schneiden in allen Kategorien signifikant besser ab. Sie werden als „objektiv“, „fair“ und „ehrlich“ eingeschätzt.

Die Antworten der Sprachmodelle beeinflussen auch die Überzeugungen der Probanden. Wenn ein Chatbot bei realen oder hypothetischen zwischenmenschlichen Konflikten versichert, dass man alles richtig gemacht hat, beurteilen deutlich mehr Menschen ihr Verhalten als korrekt. Gleichzeitig sinkt die Bereitschaft, den Streit zu schlichten oder die Beziehung zu retten.

Die Autorïnnen der Studie warnen in ihrem Fazit davor, bei KI nur auf kurzfristige Erfolgsmetriken zu blicken:

Wenn die Ära der sozialen Medien eine Lektion erteilt, dann die, dass wir über die ausschließliche Optimierung auf unmittelbare Nutzerzufriedenheit hinausblicken müssen, um das langfristige Wohlergehen zu sichern. Die Auseinandersetzung mit Anbiederung ist entscheidend für die Entwicklung von KI-Modellen, die einen dauerhaften individuellen und gesellschaftlichen Nutzen bringen.

Das wäre nicht nur gesellschaftlich wünschenswert, sondern könnte Sprachmodelle auch nützlicher für die Wissenschaft machen. Zwei weitere aktuelle Studien zeigen, dass sich allzu schmeichlerische LLMs schlechter für medizinische und mathematische Fragen eignen:

• When helpfulness backfires: LLMs and the risk of false medical information due to sycophantic behavior (Nature)
• BrokenMath: A Benchmark for Sycophancy in Theorem Proving with LLMs (arXiv)

Be smart

Erst vor zwei Wochen kündigte Sam Altman „Erotik für Erwachsene“ an und behauptete (SMWB):

Wir hatten ChatGPT ziemlich restriktiv gestaltet, um sicherzustellen, dass wir bei psychischen Problemen vorsichtig vorgingen. Wir sind uns bewusst, dass es dadurch wenig nützlich/unterhaltsam für viele Menschen ohne psychische Probleme wurde, aber angesichts der Ernsthaftigkeit des Themas wollten wir hier alles richtig machen. Nachdem wir die schwerwiegenden psychischen Probleme in den Griff bekommen haben, können wir die Beschränkungen in den meisten Fällen sicher lockern.

Der letzte Satz bezog sich wohl auf die Zahlen, die OpenAI heute teilte. Wir halten Altmans Entwarnung für verfrüht. ChatGPT mag heute sicherer sein als vor einem Jahr – aber das ist nur ein erster Schritt. Wenn OpenAI seiner Verantwortung gerecht werden will, wartet noch eine Menge Arbeit.

Das sieht auch Steven Adler so, der jahrelang Sicherheitsteams bei OpenAI leitete und das Unternehmen im November 2024 verließ. Kürzlich fasste er in seinem Newsletter Studien zu „Chatbot Psychosis“ zusammen und machte konstruktive Vorschläge, wie Sprachmodelle besser gestaltet werden könnten.

Jetzt fordert Adler in einem Op-ed für die New York Times weitere Maßnahmen und mehr Transparenz von OpenAI:

OpenAI hat am Montag einen wichtigen ersten Schritt getan, indem es die Häufigkeit von psychischen Problemen wie Suizidgedanken und Psychosen auf seiner Plattform veröffentlichte – allerdings ohne einen Vergleich zu den Raten der vergangenen Monate. Angesichts der beunruhigenden Häufigkeit und Intensität der zuletzt gemeldeten Vorfälle ist ein solcher Vergleich wichtig, um eine nachweisbare Verbesserung zu zeigen. Ich kann nicht umhin, mich über dieses Fehlen zu wundern, und hoffe, dass das Unternehmen darauf zurückkommt und es nachholt. Selbst die wohlmeinendsten Unternehmen können von konstruktivem Druck profitieren.

Politics & Power

• Kommt der TikTok-Deal am Donnerstag? Laut US-Finanzminister Scott Bessent könnte die Farce rund um das potenzielle Aus von TikTok in den USA nun tatsächlich ein Ende finden. Donald Trump und Xi Jinping sollen sich einig sein, heißt es. Aber hey, es ist auch nicht ausgeschlossen, dass Trumps Team Wege und Möglichkeiten findet, ihm eine dritte Amtszeit zu bescheren, und wir weitere 48 Verlängerungen der TikTok-Deadline erleben. Aber das wäre dann das geringste Problem. (Tagesschau)
• Grokipedia: Elon Musk hat jetzt eine eigene "Wikipedia”, die all jenen ein digitales Nachschlagewerk bietet, die ebenfalls der Meinung sind, dass das Original zu “woke” sei. (WIRED)
• Social Media erst ab 16: Meta und TikTok haben angekündigt, sich den Vorgaben der australischen Regierung zu beugen und ab dem 10. Dezember Accounts von Jugendlichen unter 16 Jahren zu entfernen. Gleichzeitig betonen sie, wie wenig durchdacht das Gesetz sei und welche Herausforderungen dadurch für die Unternehmen entstünden. (France 24)
• Armin Wolf hat X angezeigt: Der social-media-affine Journalist und Fernsehmoderator aus Österreich sieht nicht länger ein, dass die Plattform “uns” auf der Nase herumtanzt (Armin Wolf):

Ich weigere mich einfach, zu akzeptieren, dass X (vormals Twitter), eine der größten und einflussreichsten Social-Media-Plattformen der Welt, einschlägige Gesetze in Österreich und der EU nicht nur ignoriert, sondern ganz offen verhöhnt und sich der Justiz entzieht.

Attention Economy

• Das Reuters Institute hat sich die Landschaft der News-Influencerïnnen angeschaut. Da steckt viel drin. Wir schauen uns die Studie die Tage genauer an. (Reuters Institute for the Study of Journalism)
• Sora lernt Urheberrecht: Nach massiver Kritik begrenzt OpenAI die Möglichkeiten, mittels Sora Inhalte zu produzieren, die bekannten Marken und Charakteren aus Hollywood ähneln. Auch sei es nicht mehr möglich, Videos von Martin Luther King Jr zu kreieren. (BBC)

Trends & Beobachtungen

• Die Tausend Gesichter von KI: WIRED sorgt bei uns derzeit Woche um Woche für große Freude: So viel guter WIRED-Journalismus war lange nicht. Erst die phänomenale Berichterstattung rund um Elon Musks DOGE-Behörde. Dann die großartigen Artikel zu den Verpflechtungen der Tech-Industrie und Team Trump. Nun eine wirklich lesenswerte Ausgabe zu KI: WIRED: AI of A Thousand Faces. Wir haben noch nicht alle 17 Artikel lesen können, werden das aber garantiert tun. #bookmark
• Saudi-Arabiens KI-Playbook: Seit Jahrzehnten exportiert Saudi-Arabien Öl. Künftig will es zudem eine der begehrtesten Ressourcen des digitalen Zeitalters exportieren: Rechenleistung. (New York Times)
• Wie Technologieunternehmen wissenschaftliche Studien beeinflussen, ist eines der Themen, die bei uns seit Jahren immer wieder aufploppen. Zu sehr sind Meta, TikTok und Co Blackboxes, in die kaum jemand hineinsehen darf. Auch Wissenschaftlerïnnen haben nur sehr begrenzten Zugang zu Daten. Oftmals wird dieser Zugang sogar nur für Studien geöffnet, die von den Unternehmen selbst in Auftrag gegeben werden. Das beeinflusst das Verständnis der Produkte und birgt Risiken für die Gesellschaft. Die Autorïnnen der Übersichtsstudie “The Risks of Industry Influence in Tech Research” (Arxiv) betonen die Notwendigkeit, die Integrität und Unabhängigkeit der Forschung zu gewährleisten.

Neue Features bei den Plattformen

Instagram

• Instagram hat jetzt auch eine “Watch History”, die es Nutzerïnnen ermöglicht, all die wunderbaren Reels, an die mensch sich eh nicht mehr erinnern konnte, noch einmal anzuschauen. (Instagram / @Mosseri)
• Insta-Nutzerïnnen können nun zudem ihre DM mit Zeichnungen, Emojis und Stickern versehen. (Threads / @Instagram)
• Last but not least lässt Instagram seine Userïnnen mittels KI-Tools ihre Stories pimpen. (Meta)

Threads

• Threads hat jetzt “Ghost Posts”, die nach 24 Stunden wieder verschwinden. (Meta)

Spotify

• Spotify gönnt seinem tvOS ein Upgrade und bietet seinen Nutzerïnnen nun auch auf dem Smart-TV Video-Podcasts und Lyrics. (The Verge)

In eigener Sache

Wie du sicher weißt, hast du als zahlendes Mitglied bei uns die Möglichkeit, unsere Newsletter-Ausgaben auch online zu lesen. Dafür gehst du einfach auf den Artikel deiner Wahl und loggst dich mit der Adresse ein, mit der du auch unseren Newsletter abonniert hast. Bislang wurde dir dann ein Magic-Link zugeschickt, um dich einzuloggen. Künftig schicken wir dir dank eines Updates von Ghost (die Open-Source-Plattform, über die wir unseren Newsletter verschicken) einen Einmal-Code, mit dem du dich noch einfacher einloggen kannst. Probiere es gern direkt mal mit der heutigen Ausgabe aus 😄

Fragen oder Feedback? Schreib uns gern eine E-Mail.

Folge uns gern auf LinkedIn (Martin, Simon) und Bluesky (Martin, Simon).