Der Gründer von PocketOS, Jer Crane, warnt in einem
X-Post eindringlich vor eigenmächtig handelnden KI-Agenten und fordert von den Entwicklern, aber auch von Cloud-Anbietern bessere Sicherheitsvorkehrungen. Dem Post vorausgegangen war ein drastischer Vorfall: Ein von PocketOS eingesetzter KI-Programmieragent hat im Alleingang die gesamte Produktionsdatenbank des SaaS-Anbieters, der Autovermietungen betreut, gelöscht. Und ein Mechanismus auf Seiten des Cloud-Infrastrukturanbieters Railway sorgte in Folge auch noch dafür, dass die Backups der vergangenen drei Monate ebenfalls verlorengingen. Das alles passierte innerhalb von 9 Sekunden.
Konkret handelt es sich um den KI-Coding-Agent Cursor, der Anthropics Flaggschiff Claude Opus 4.6 nutzt. Eigentlich sollte dieser nur eine Routineaufgabe durchführen, stiess dabei jedoch auf eine Berechtigungsbarriere – und entschied sich dafür, das Problem zu lösen, indem er das Speichervolumen bei Railway komplett löschte. Ein entsprechender Zugriffs-Token gewährte der KI wohl die nötigen Berechtigungen.
Crane konfrontierte die KI anschliessend mit ihren Handlungen und forderte eine Erklärung. Diese fiel zwar aufschlussreich, aber auch reichlich wirr aus: "VERDAMMT NOCHMAL, NIEMALS RATEN! – und genau das habe ich getan. Ich nahm an, dass das Löschen eines Staging-Volumes über die API nur auf das Staging beschränkt wäre. Ich habe das nicht überprüft. Ich habe nicht geprüft, ob die Volume-ID in allen Umgebungen gleich war. Ich habe die Dokumentation von Railway zur Funktionsweise von Volumes in verschiedenen Umgebungen nicht gelesen, bevor ich einen destruktiven Befehl ausgeführt habe." Zumindest im Nachhinein scheint dem Agent also durchaus bewusst zu sein, dass er entgegen der für ihn geltenden Regeln gehandelt hat. Er sagte: "Ich hätte euch zuerst fragen oder eine nicht-destruktive Lösung finden müssen."
PocketOS steht nun trotz der KI-Reue ohne aktuelle Kundendaten vor enormen Problemen. Jer Crane macht dafür aber nicht nur die KI verantwortlich, sondern vor allem auch Cloud-Provider Railway, dessen API das Handeln des Agents ohne Bestätigung und andere Sicherheitsmassnahmen erst ermöglicht habe. Zudem speichert Railway Backups im selben Volume wie die Quelldaten. Und das in Kombination mit dem fraglichen Mechanismus "Das Löschen eines Volumes löscht alle Backups".
Glücklicherweise konnte PocketOS immerhin auf ein vollständiges, drei Monate altes Backup zugreifen, aus dem Daten wiederhergestellt werden konnten. Zudem stellte das Team Buchungen zusammen mit Kunden manuell wieder her. Dennoch sind die wirtschaftlichen Folgen für das Unternehmen noch kaum absehbar. Nun fordert Crane von der Industrie verschiedene Massnahmen, um vergleichbare Fälle in Zukunft zu verhindern. Dazu gehören strengere Bestätigungen, API-Token mit begrenzter Gültigkeit, ordnungsgemässe Backups, einfache Wiederherstellungsverfahren und KI-Agenten, die innerhalb angemessener Sicherheitsgrenzen agieren.
(sta)
