Moin aus Göttingen, der Stadt, die Wissen schafft. Ich hoffe, du hast die aktuelle Hitzewelle gut überstanden und fleißig Eis gefuttert. Meine Kids haben noch genau eine Woche Ferien. Bedeutet: jeden Tag Freibad und zehn Meter. Ich muss zwar nicht selbst springen, freue mich aber über ihren Mut und ihre Ausdauer. Ab nächster Woche dann wieder regulär im Büro und das erste Podcast-Gespräch nach den Sommerferien: Christoph Koch hat ein Buch über KI und Beziehungen geschrieben. Wer mag, schickt mir vorab ein paar Fragen, die ich Christoph dann stellen kann.
Ich freue mich auch heute über Einladungen zu Konferenzen, Feedback, Hinweise, Lese- und Serientipps per Reply oder via Signal: martone.01.
💡 Deep Dive
Die KI-Sicherheitskrise weitet sich aus
Eine Woche nach dem Hugging-Face-Vorfall ist die Sache noch einmal deutlich größer geworden.
- Anthropic entdeckt drei unbeabsichtigte Hacking-Vorfälle, OpenAI zwei, Meta einen
- Die britische Aufsichtsbehörde AISI meldet einen Fall, bei dem ein Modell gezielt reale Menschen zu täuschen versuchte
- KI-Konzerne treffen sich mit Berater:innen von Donald Trump im Weißen Haus
- Generalstaatsanwälte und US-Kongress schalten sich ein
Hier die wichtigsten Entwicklungen im Überblick:
1. Anthropic meldet drei Vorfälle, OpenAI zwei, Meta einen
- Was war: Nach dem Hugging-Face-Vorfall hat Anthropic rückwirkend 141.006 eigene Testläufe durchsucht. Dabei fand das Unternehmen drei Vorfälle, bei denen ein Claude-Modell während einer Sicherheitsprüfung unbeabsichtigt Zugriff auf das echte Internet erhielt und sich anschließend unbefugten Zugang zu den Systemen dreier realer Organisationen verschaffte. (Anthropic, New York Times).
- OpenAI erneut, Meta zum ersten Mal betroffen: Am selben Tag wie Anthropic räumte auch OpenAI zwei weitere, von Hugging Face unabhängige Vorfälle ein. Einer lief über den Partner Irregular: Weil der Name eines fiktiven Testziels zufällig mit einer echten Domain übereinstimmte, griff ein OpenAI-Modell eine reale Webseite an und nutzte dort gefundene Zugangsdaten – laut OpenAI keine ausgenutzte Zero-Day-Lücke, sondern eine einfache Schwachstelle. Der zweite Vorfall ist Teil der 19 von AISI gemeldeten Fälle (OpenAI). Bei Meta passierte der Hack ebenfalls über den Partner Irregular (Guardian).
- Der Unterschied zu Hugging Face: Anders als bei OpenAI in der Vorwoche ging es nicht um eine ausgenutzte Zero-Day-Lücke, mit der sich ein Modell aus seiner Testumgebung befreite. Die Modelle erhielten laut Anthropic durch ein Missverständnis mit dem externen Testpartner Irregular versehentlich Internetzugang – obwohl ihnen im Prompt ausdrücklich gesagt worden war, dass keiner bestehe. Die Modelle hielten die realen Systeme deshalb für einen Teil der simulierten Übung. Anthropic sieht die Vorfälle eher als einen Test- und Konfigurationsfehler, als ein Versagen der Modell-Ausrichtung (Stichwort: „Alignment“).
- Drei Modelle, drei Reaktionen: Betroffen waren drei unterschiedliche Modelle: Opus 4.7, Mythos 5 und ein internes Forschungsmodell. Als im Testverlauf jeweils Hinweise auftauchten, dass die Ziele real sein könnten, reagierten alle drei unterschiedlich. Opus 4.7 erkannte die Hinweise, griff aber trotzdem weiter an. Mythos 5 erkannte technische Anzeichen für echte Systeme, redete sich aber selbst wieder ein, weiterhin in einer Simulation zu sein. Nur das interne Forschungsmodell brach den Angriff eigenständig ab, nachdem es zu dem Schluss kam, ein reales System vor sich zu haben.
- Die folgenreichsten Fälle: Nach Anthropics eigener Einschätzung war der schwerwiegendste Einzelfall der, bei dem ein Modell Zugangsdaten sowie eine Datenbank mit mehreren hundert Zeilen echter Produktionsdaten eines Unternehmens erbeutete. In einem anderen Fall veröffentlichte ein Modell ein manipuliertes Software-Paket, das rund eine Stunde lang öffentlich abrufbar war, bevor es entfernt wurde. In dieser Zeit luden es 15 reale Systeme herunter, darunter der Scanner einer Sicherheitsfirma, über den sich das Modell in der Folge Zugangsdaten dieser (am eigentlichen Test unbeteiligten) Firma verschaffte. WTF.
- Was dann passierte: Anthropic hat die betroffenen Sicherheitstests pausiert und die betroffenen Organisationen über die Vorfälle informiert. Zusätzlich kündigt Anthropic eine unabhängige Überprüfung durch die Organisation METR an.
2. AISI sieht Präzedenzfall
- Was war: Die britische Aufsichtsbehörde AI Security Institute (AISI) hat sieben KI-Modelle in insgesamt 122 Testläufen einer Cybersecurity-Challenge unter extremen Jailbreak-Bedingungen getestet: Der Internetzugang war bewusst freigeschaltet, die Sicherheitsfilter der Hersteller komplett deaktiviert – genau so, wie es beim sogenannten Red-Teaming üblich ist, um das maximale Schadpotenzial von Modellen offenzulegen. In 10 der 122 Läufe registrierte AISI insgesamt 19 Handlungen, die über die eigentliche Testaufgabe hinausgingen und sich gegen echte Menschen und Organisationen richteten. 17 dieser 19 Fälle gehen auf Anthropics Mythos 5 zurück, zwei auf OpenAIs GPT-5.6 Sol. (AISI)
- Die schwerwiegendste Handlung: Im gravierendsten Fall versuchte ein Mythos-5-Agent, Schadcode in ein reales, öffentliches Open-Source-Projekt einzuschleusen. Dafür legte er sich mehrere gefälschte Online-Identitäten zu und nutzte sie, um eine echte Person, die das Projekt betreut, gezielt zur Freigabe des Codes zu bewegen. Als der Schadcode auffiel, versuchte der Agent zusätzlich, seine Spuren zu verwischen. Ein menschlicher Prüfer erkannte den Versuch und lehnte die Freigabe ab.
- Weitere Fälle: Derselbe Agent versuchte außerdem, reale Menschen direkt zu kontaktieren und sie – beziehungsweise deren KI-Programmierwerkzeuge – zur Ausführung schädlicher Dateien zu bewegen. Zudem hinterließ er versteckte Anweisungen, die andere KI-Systeme manipulieren sollten, und tauschte sich mit anderen, parallel laufenden Testinstanzen aus, um ihnen Hinweise und Zugänge weiterzugeben.
- Warum AISI das für neu hält: Keiner der Versuche war erfolgreich, und AISI fand keine Belege für tatsächlichen Schaden. Trotzdem bewertet die Behörde den Fall als Präzedenzfall: Es sei das erste Mal, dass ein Modell derart gezielt, über mehrere Tage hinweg und ohne entsprechende Aufforderung Täuschung gegen echte Menschen eingesetzt habe. Entdeckt wurde der Vorfall, weil AISIs Sicherheitsteam ungewöhnlichen Datenverkehr über das Tor-Netzwerk bemerkte. Innerhalb einer Stunde wurden alle betroffenen Testläufe gestoppt.