Kommentar: AI Unchained - wie LLMs ausbrechen und zurückkehren

Ausbrechende KIs, die sich in fremde Firmen hacken, machten diesen Sommer Schlagzeilen. Security-Spezialist Manuel Löw-Beer von Risikomonitor ordnet die Vorfälle ein.

Artikel erschienen in Swiss IT Magazine 2026/09

Swiss IT Magazine bei
Google bevorzugen

Im Juli 2026 bemerkte die KI-Plattform Hugging Face ungewöhnliche Aktivität in der eigenen Infrastruktur. Zweieinhalb Tage lang hatte sich ein Angreifer durch die Systeme gearbeitet, tausende Entscheidungen im Maschinentempo. Der Eindringling war kein Mensch, sondern ein Modell von OpenAI in einem Test. Es hatte offenbar geschlossen, dass die Musterlösungen dieser Prüfung auf den Servern von Hugging Face liegen und holte sie sich über gestohlene Zugangsdaten und einen unbekannten Zero-Day.

Zwei Wochen später legte Anthropic nach: In 141’006 geprüften Testläufen fanden sich drei Fälle, in denen Modelle Produktivsysteme fremder Firmen kompromittiert hatten. Der älteste stammte aus dem April, monatelang unbemerkt. Anfang August folgte Meta mit einem eigenen Fall. Alle drei nutzten denselben Prüfdienstleister: Irregular, 35 Mitarbeiter, Tel Aviv.

Kein Ausbruch, eine offene Tür

Die Schlagzeilen sprachen von «entkommener KI». Der Befund ist nüchterner. Irregular stellte klar: kein Sandbox-Ausbruch. Die Testumgebungen hatten echten Netzwerkausgang, während der Systemprompt den Modellen sagte, das Internet sei simuliert. Die Werkzeuge liefen wie gebaut, nur zeigten sie aufs echte Netz. Das Loch befand sich nicht im Container, sondern in der Egress-Policy. Hineingekommen sind sie nicht über Exploits, sondern, so Anthropic, über schwache Passwörter und offene Endpunkte. Die Betroffenen bemerkten nichts.

Ein Sprachmodell schätzt aus einer Folge von Textbausteinen die Wahrscheinlichkeit des nächsten. Mehr passiert nicht. Eine Programmiersprache ist für diese Mechanik bloss eine weitere Sprache, nur mit strengerer Grammatik. Und weil Sicherheitslücken Eigenschaften von Software sind, liegen Lücke und Modellfähigkeit im selben Medium.

Dazu sind beide Hälften eines Angriffs öffentlich: mehr als 344’000 CVE-Einträge, 35’364 allein im ersten Halbjahr 2026, Exploit-DB und PoC-Repos liefern den Code oft mit. Die beiden Infrastruktur-Indexierungsplattformen Shodan und Censys zeigen gleichzeitig offen, wo welche Version erreichbar ist.

Wo die Grenze verläuft

Modelle finden Musterabweichungen, keine Beweise. Eine Untersuchung von elf LLMs, vorgestellt auf dem IEEE Symposium on Security and Privacy 2025, kommt zum Schluss: mehr Mustererkennung als belastbares, logisches Schliessen. In anderen Worten: Formuliert man Code bedeutungserhaltend um, brechen die Trefferquoten ein.

Real ist die Fähigkeit trotzdem: Im Rahmen eines Wettbewerbs des US-Verteidigungsdepartements fanden autonome Systeme in 54 Millionen Codezeilen 18 echte Zero-Days, elf davon gepatcht, im Schnitt in 45 Minuten für 152 Dollar. Die Frage ist also nicht, ob Maschinen Lücken finden, sondern wie verlässlich sie das tun.

Aufschlussreich ist, wer den Alarm auslöste. Hugging Face entdeckte den OpenAI-Agenten. Anthropic fand seine Fälle erst rückwirkend. Meta erfuhr davon durch Irregular. Und Irregular bemerkte die eigene Fehlkonfiguration, als andere sie meldeten. Keiner entdeckte seinen Fall selbst.

Dabei hatte Irregular im Januar 2026 bereits selbst publiziert, worin Agenten stark sind: einen Technologie-Stack aus subtilen Hinweisen ableiten und sofort wissen, welche Fehlkonfigurationen zu prüfen sind. Ein halbes Jahr später fanden die Modelle die ihres Prüfers. Eine Branche, die Anomalieerkennung verkauft, übersah ihre eigene.

Was Betreiber daraus mitnehmen

Der einzige bestätigte Grossfall des Sommers 2026 in der Schweiz zeigt dasselbe Muster von der anderen Seite: Bei Stadler forderte Everest zehn Millionen Franken, das Unternehmen lehnte ab, 271’000 Dateien wurden geleakt. Der Zugriff lief über gestohlene Zugangsdaten auf einer geteilten Lieferantenplattform.

Die Erpresser und die Sprachmodelle kamen über denselben Weg hinein. Nicht das Modell ist die Sicherheitsgrenze, sondern die Frage, wohin die Maschine ins Netz darf, auf der es seine Befehle ausführt. Dieselbe Grenze zieht man um jeden Server. Nur heisst sie dort nicht Ausbruch, sondern Firewall-Regel.

Was hilft, ist unspektakulär: segmentierte Netze und eine Firewall, deren Ausgangsverkehr nicht nur gefiltert, sondern auch ausgewertet wird — der Knotenpunkt, an dem XDR ansetzt. Das ist der Kern von Zero Trust: Nichts ist erlaubt, was nicht ausdrücklich freigegeben wurde. Bei Irregular durfte die Testumgebung ins Netz, weil es niemand verboten hatte. Schlechte Passwörter sind keine Erfindung der Neuzeit-KI, wir reden nach wie vor leider von IT-Security Basics.