5 Lehren aus den pornografischen KI-Fakes von Taylor Swift

Was ist

• Ende vergangener Woche wurde das Netz mit gefälschten Bildern geflutet, die Taylor Swift in pornografischen Posen zeigen. Besonders deutlich wurde das Ausmaß auf X.
• Die massenhafte Verleumdung ging um die Welt, doch die mediale Aufmerksamkeit konzentrierte sich auf Swift, den wohl größten Popstar unserer Zeit. Tatsächlich geht das Problem weit über den Einzelfall hinaus.
• Wir beschreiben, was geschah, und ziehen dann fünf Lehren aus den widerlichen Fakes.

Wie Swift verleumdet wurde

• Am vergangenen Donnerstag kursierten in misogynen Telegram-Gruppen pornografische Fakes von Swift. Die Fälschungen wurden mit der generativen KI von Microsoft Designer erzeugt (404 Media). Die frei zugängliche, kostenlose Software erzeugt Bilder aus Text.
• Es handelte sich dabei nicht um Deepfakes, bei denen das Gesicht einer Person in ein anderes, reales Bild oder Video eingesetzt wurde. Vielmehr waren es komplett KI-generierte Fälschungen.
• Einen Tag später wurden die Fakes auf X geteilt und massenhaft verbreitet. Manche der Beiträge wurden Dutzende Millionen Mal gesehen und zehntausendfach weiterverbreitet.
• Die Richtlinien der Plattform verbieten "synthetische, manipulierte oder aus dem Zusammenhang gerissene Medien" (X Hilfe-Center) sowie intime oder sexuell explizite Fotos, die ohne Zustimmung der abgebildeten Person aufgenommen oder verbreitet wurden (X Hilfe-Center).
• Trotzdem reagierte die Plattform mit großer Verspätung. Erst nach 17 Stunden wurde etwa ein viraler Post gelöscht, der zu diesem Zeitpunkt bereits 47 Millionen Mal angezeigt worden war.
• Erneut rächte sich der radikale Sparkurs, den Musk dem Unternehmen verordnet hatte. Es fehlt an allen Ecken und Enden an Content-Moderatorïnnen, illegale Inhalte bleiben online.
• Während Medien reihenweise berichteten, waren die Fakes weiter über die Suche zu finden. Schließlich resignierte X: Statt effektiv zu moderieren, blockierte man tagelang alle Suchen nach Taylor Swift (Washington Post).
• Nicht mal das klappte so richtig. Wer "Taylor Swift AI" durch "Taylor AI Swift" ersetzte, fand die Bilder trotzdem (The Verge).
• Die Sängerin äußerte sich selbst nicht öffentlich. Wenn man der britischen Boulevardzeitung Daily Mail glaubt (und das ist ein entscheidendes Wenn), dann soll Swift wütend sein und rechtliche Konsequenzen erwägen.

Was sich daraus lernen lässt

1. Die Warnungen vor KI-Fakes sind berechtigt

• Seit Jahren wird eindringlich vor der Gefahr von Deepfakes und automatisierter, KI-gestützter Propaganda gewarnt. Solche Fälschungen könnten Wahlen beeinflussen oder gar Kriege auslösen.
• Bislang ist keines der apokalyptischen Szenarien eingetreten. Die einflussreichste Propaganda sind meist billige Photoshop-Fakes oder dekontextualisierte Bilder und Videos: Man teilt eine Aufnahme aus Syrien und behauptet, darauf wäre der Gazastreifen zu sehen.
• Trotzdem wird längst mithilfe von KI gefälscht. Betrüger imitieren etwa Stimmen für Enkeltricks und CEO-Fraud.
• Die Swift-Fakes waren noch klar als computergenerierte Bilder erkennbar. In ein paar Jahren könnte das anders aussehen.
• Früher war technische Expertise nötig, um Deepfakes oder KI-Fälschungen zu erstellen. Apps und Bildgeneratoren haben die Fakes demokratisiert. Wenn künftig auch noch der Realismus zunimmt, wird es immer schwerer, zwischen Wahrheit und Lüge zu unterscheiden.
• Grundsätzliches Misstrauen hilft, birgt aber ebenfalls eine Gefahr: Wenn niemand mehr seinen Augen und Ohren traut, verlieren auch authentische Aufnahmen ihre Glaubwürdigkeit, weil alles hinterfragt werden muss.

2. Das Netz ist ein frauenfeindlicher Ort

• Auf X wurde deutlich, was täglich in dunkleren Ecken des Netzes geschieht: Frauen werden gegen ihren Willen sexualisiert und mit manipulierten Bildern verleumdet.
• Von fast jeder prominenten Sängerin oder Schauspielerin kursieren gefälschte Fotos und Videos, die sie vermeintlich nackt oder beim Sex zeigen. Einst wurde plump manipuliert, moderne Technologie hat diese Form des Missbrauchs professionalisiert und massentauglich gemacht.
• Die öffentliche Diskussion über die Gefahren von KI dreht sich meist um politische Desinformation und Propaganda. Dabei wird sie seit Jahren in viel größerem Ausmaß als Waffe gegen Frauen missbraucht.
• 2017 gab es die ersten Berichte über KI-Pornografie, schon damals war Taylor Swift eine der betroffenen Prominenten (Vice). Zwei Jahre später kam eine Studie zum Ergebnis, dass sexuell explizite Fälschungen 96 Prozent aller Deepfake-Videos ausmachten (PDF).
• Im vergangenen Dezember veröffentlichte das Analyse-Unternehmen Graphika eine erschreckende Untersuchung zum Ausmaß von synthetischen, nicht konsensuellen Aufnahmen (NCII):

A group of 34 synthetic NCII providers identified by Graphika received over 24 million unique visitors to their websites in September, according to data provided by web traffic analysis firm Similarweb. Additionally, the volume of referral link spam for these services has increased by more than 2,000% on platforms including Reddit and X since the beginning of 2023, and a set of 52 Telegram groups used to access NCII services contain at least 1 million users as of September this year.

• Stanford-Forscherin Renee DiResta kommentiert den aktuellen Fall treffend (Threads):

But also I’m most annoyed that this is 100% a thing that was “predicted” (obvious) years in advance. The number of panels and articles where those of us who followed the development of the technology pointed out that yeah, disinformation tactics would change, but harassment and revenge porn and NCII were going to be the most significant form of abuse… Still, legislators did essentially nothing. Some states are playing catch-up. But it’s yet another example of tech moving quickly-ish while legislators simply lag.

3. Die digitale Gewalt betrifft nicht nur Prominente

• Was Swift erleben musste, ist abscheulich. Trotzdem kann man davon ausgehen, dass sie damit klarkommen wird. Millionen Fans sprangen ihr zur Seite, verdrängten die Fälschungen mit eigenen Posts aus den X-Suchergebnissen und bekundeten Solidarität.
• Andere Frauen haben weniger Möglichkeiten, sich zu wehren. Sie können sich keine Anwälte leisten und wissen nicht, wie sie Plattformen auffordern, Fakes zu löschen.
• Tatsächlich richten sich die Verleumdungen längst nicht nur gegen Prominente. Seit Jahren werden auch Aktivistinnen, Journalistinnen und Millionen weniger bekannte Frauen zur Zielscheibe des Hasses (Technology Review).
• Auch Minderjährige sind betroffen (Washington Post). Kürzlich wurde etwa bekannt, dass Teenager an einer Highschool in New Jersey Deepfakes ihrer Mitschülerinnen geteilt hatten (WSJ).
• Belästigung ist im Netz für viele Frauen Alltag. Deepfakes und andere Formen der KI-Fälschungen werden das Problem nur noch verschlimmern.

4. Jede Technologie wird missbraucht

• Microsoft-Chef Satya Nadella nannte die KI-Fakes von Swift "alarmierend und furchtbar" und gestand, dass weitere Schutzmaßnahmen nötig seien (NBC):

Yes, we have to act. I think we all benefit when the online world is a safe world. And so I don’t think anyone would want an online world that is completely not safe for both content creators and content consumers. So therefore, I think it behooves us to move fast on this.

• Dabei schloss er auch Microsoft mit ein:

I go back to what I think's our responsibility, which is all of the guardrails that we need to place around the technology so that there's more safe content that's being produced. And there's a lot to be done and a lot being done there.

• All das ist richtig, wird aber auch in Zukunft nicht verhindern, dass KI missbraucht wird. Angeblich wurde Microsoft sogar auf die Lücke aufmerksam gemacht, soll die Warnung eines Entwicklers aber ignoriert haben (GeekWire).
• Man muss sich darauf einstellen, dass Menschen immer Mittel und Wege finden werden, um technische Blockaden zu umgehen.
• Und auch wenn es Konzernen wie Microsoft gelingt, illegale Nutzung einzudämmen, dann warten da draußen Hunderte weitere Apps und Bildgeneratoren, die sich nicht darum kümmern, wer sie wofür einsetzt.
• Im Gegenteil: Manche Anbieter werben damit, dass sich mit ihrer Technik gefälschte Nacktaufnahmen erzeugen lassen. Die Produktion von Deepfake-Pornografie und sexualisierten KI-Fälschungen wird sich also nicht aufhalten lassen.
• Deshalb ist es wichtig, darüber nachzudenken, wie man zumindest die Verbreitung einschränken kann. Melissa Heikkilä skizziert dafür drei Ideen (Technology Review):
• Wasserzeichen:

One technical solution could be watermarks. Watermarks hide an invisible signal in images that helps computers identify if they are AI generated. For example, Google has developed a system called SynthID, which uses neural networks to modify pixels in images and adds a watermark that is invisible to the human eye. That mark is designed to be detected even if the image is edited or screenshotted. In theory, these tools could help companies improve their content moderation and make them faster to spot fake content, including nonconsensual deepfakes.

• Technische Schutzschilde:

(…) a slew of new defensive tools allow people to protect their images from AI-powered exploitation by making them look warped or distorted in AI systems. One such tool, called PhotoGuard, was developed by researchers at MIT. It works like a protective shield by altering the pixels in photos in ways that are invisible to the human eye. When someone uses an AI app like the image generator Stable Diffusion to manipulate an image that has been treated with PhotoGuard, the result will look unrealistic.

• Regulierung:

Technical fixes go only so far. The only thing that will lead to lasting change is stricter regulation

• Das bringt uns zu unserem letzten Punkt …

5. Die aktuelle Regulierung ist bestenfalls lückenhaft

• Die Empörung über die Swift-Fakes erreichte auch die US-Regierung. Eine Sprecherin des Weißen Hauses nannte den Vorfall genau wie Nadella "alarmierend" und kündigte schärfere Gesetze an (YouTube):

Of course Congress should take legislative action. That’s how you deal with some of these issues. We know that lax enforcement disproportionately impacts women and also girls, sadly, who are the overwhelming targets of online harassment and also abuse,

• Am heutigen Mittwoch brachten demokratische und republikanische Abgeordnete einen Gesetzentwurf ein, der KI-Pornografie unter Strafe stellen soll, die gegen den Willen der Betroffenen erzeugt wurde (The Verge).
• Wir haben den Entwurf nicht im Detail gelesen und können dazu keine Einschätzung abgeben. Eines ist aber klar: Die aktuelle Gesetzeslage ist frustrierend und unzureichend.
• Das gilt insbesondere für die USA. Die Rechtslage unterscheidet sich dort je nach Bundesstaat, teils ist diese Form der digitalen Verleumdung legal.
• Zumindest ein Gutes könnten die widerlichen Fakes haben: Wenn es jemanden gibt, der die Politik zum Handeln bringen kann, dann ist das wohl Taylor Swift (Technology Review):

The good news is that the fact that this happened to you means politicians in the US are listening. You have a rare opportunity, and momentum, to push through real, actionable change.

I know you fight for what is right and aren’t afraid to speak up when you see injustice. There will be intense lobbying against any rules that would affect tech companies. But you have a platform and the power to convince lawmakers across the board that rules to combat these sorts of deepfakes are a necessity. Tech companies and politicians need to know that the days of dithering are over. The people creating these deepfakes need to be held accountable.

Social Media & Politik

• Time to testify: Die Bosse von Meta, X, Snap, TikTok und Discord müssen sich heute vor dem US-Kongress den (mehr oder weniger smarten) Fragen der Abgeordneten stellen. Grund für die Einladung ist die Sorge davor, dass die Tech-Plattformen die seelische Gesundheit von Kindern und Jugendlichen gefährden (NBC News). Während es für Evan Spiegel (Snap), Linda Yaccarino (X) und Jason Citron (Discord) die erste Anhörung dieser Art ist, haben die Chefs von Meta, Mark Zuckerberg, und TikTok, Shou Zi Chew, bereits Übung.
• So überrascht es auch nicht, dass Meta einige Neuerungen mit nach Washington bringt — etwa eine Partnerschaft mit ausgewählten Wissenschaftlerïnnen, um das Wohlbefinden von Usern zu studieren (Center for Open Science), sowie neue Messenger-Einstellungen bei Instagram und Facebook, die es ermöglichen, dass Nachrichten nur von ausgewählten Kontakten empfangen werden können (Meta).

Follow the money

• TikTok: Bald alle Videos shoppable? Die Video-App aus dem Hause ByteDance möchte die Nutzerïnnen bekanntlich nicht mehr nur unterhalten, sondern ihnen gern auch etwas verkaufen. Und da ja potenziell irgendwie alle Videos bei TikTok irgendwelche Dinge zeigen, die irgendwo gekauft werden können, liegt es doch auf der Hand, ein KI-Feature zu basteln, das Userïnnen zeigt, wo sie genau diese oder ähnliche Produkte finden können — vorzugsweise natürlich in einem Shop bei TikTok selbst. (Bloomberg)
• TikTok plant Eröffnung von Creator-Studios: Einem Bericht von The Information zufolge plant TikTok in den USA die Eröffnung von Studios, in denen Creator live gehen und Produkte verkaufen können. So bekommt das Video über das neueste Hundespielzeug gleich einen viel professionelleren Touch und muss nicht mehr aus dem Schlafzimmer produziert werden. Als Vorbild dient einmal mehr TikToks chinesische Schwester-App Douyin.
• Universal will Musik von TikTok abziehen: Können Songs von Taylor Swift, Drake und Coldplay ab dem 1. Februar nicht mehr in TikToks verwendet werden? Es sieht ganz so aus. Es sei denn, die Parteien einigen sich doch noch in letzter Minute auf eine Fortführung des Vertrags. (Tagesschau, Neunetz)
• YouTube freut sich über 9,2 Milliarden Dollar Umsatz im vierten Quartal — firmly back in growth mode, wie The Hollywood Reporter schreibt.

Next (AR, VR, KI, Metaverse)

• Apple Vision Pro: Die ersten Testberichte sind da: Apples „Don’t call it VR“-Brille soll am Freitag in die Stores kommen. Schon jetzt liegen die ersten Erfahrungsberichte vor. Kurz zusammengefasst: Das beste Headset auf dem Markt, aber bei Weitem kein Produkt für die Massen. Da wir selbst noch keine Vision Pro testen konnten, die Markteinführung aber natürlich trotzdem super spannend ist, verweisen wir auf folgende Rezensionen:
  • The Vision Pro (Daring Fireball)
  • Apple Vision Pro review: magic, until it’s not (Video, The Verge)
  • We read all the Vision Pro reviews so you don’t have to (Washington Post)
  • Let's Face It (SpyGlass)
• AI Lawsuits: Es gibt eine Website, die den Überblick bei allen aktuellen Gerichtsverfahren rund um das Thema KI hat — hier ist sie: The Fashion Law.

Trends / Beobachtungen

• Threads verdreifacht Downloads im Dezember und landet damit in den Top 10 der Download-Charts bei Appfigures. X befindet sich weiter im freien Fall, die App liegt aktuell nur auf Platz 36. (TechCrunch)
• Wie viele Videos gibt es auf YouTube? Die Wissenschaftlerïnnen um Ryan McGrady haben die unglaubliche Zahl von 14 Milliarden Videos errechnet (The Atlantic). Das sollte reichen.
• Twitterrific startet “Project Tapestry”: Wer Lust auf eine App hat, die Inhalte von Bluesky, Mastodon, Tumblr und perspektivisch auch von Threads bündelt und chronologisch abbildet, kann bei Kickstarter das “Project Tapestry” unterstützen. Dahinter stecken die Macher von Twitterific — einst eine sehr populäre Anwendung, um Twitter zu nutzen. Dann kam aber ein Mann mit unermesslichem Ego und hat… Ach lassen wir das.

Tipps fürs Wochenende

• AI spam is already starting to ruin the internet (Business Insider)
• TikTok Struggles to Protect U.S. Data From Its China Parent (The Wall Street Journal)
• Watch Me Lose My Job on TikTok (The New York Times)
• Can MrBeast Break Through on the Chinese Internet? (Semafor)
• Innovation ist kein politischer Wert (tante)
• 2023 Social Media Career Report: Uncovering the state (and state of mind) of the social media marketer (Hootsuite)

Neue Features bei den Plattformen

TikTok

• TikTok kann jetzt auch Hintergründe ausschneiden. (threads.net/@jonahmanzano)
• TikTok experimentiert weiter mit KI-Tools: darunter auch ein Feature, mit dem sich Stimmen klonen lassen (Business Insider). Urrrgs.

YouTube

• YouTube testet Super Chat Likes — also Likes, für die mensch bezahlen soll, um auch finanziell zum Ausdruck zu bringen, wie sehr einem das Video gefallen hat (Google). Kostet Daumen runter dann auch bald was?

X

• X testet ein neues Video-Tab (Social Media Today). Damit auch ja alle sehen, dass Ex-Twitter jetzt eine Video-Plattform werden soll.
• Apropos Video: X führt eine neue Video-Option bei Spaces ein. (x / @ehikian)