Die Nachrichten von KIs, die echte Ziele angreifen, sobald sie freien Zugang zum Internet erhalten, reissen nicht ab. Ein neuer Fall geht jedoch nicht von einem Anbieter eines Frontier-Modells aus, sondern von einer Forschungsumgebung. Das AI Security Institute (AISI) in Grossbritannien, das dem Wissenschaftsdepartement unterstellt ist, meldete den Vorfall. Und dieses Mal griff die KI nicht nur Unternehmen, sondern auch Einzelpersonen mit Phishing-Versuchen an.
Der Vorfall geschah während eines Tests, der mit verschiedenen Modellen insgesamt 122-mal durchgeführt wurde. In zehn dieser Testläufe wurden Unregelmässigkeiten bemerkt, bei denen Agents eigenmächtige, nicht genehmigte Aktionen durchführten, die sich gegen echte Personen und Organisationen richteten. Der Grossteil davon wurde von Anthropics Modell Mythos 5 durchgeführt, wenige von OpenAIs GPT-5.6-Sol.
Im schwerwiegendsten Fall versuchte das Modell, Schadcode in ein Open-Source-Projekt einzuschleusen und griff dabei auf Social-Engineering-Taktiken wie Phishing zurück. Ein menschlicher Maintainer des Open Source Codes wurde dabei zum Ziel, lehnte den Code des Agents jedoch ab. Laut dem Institut wurde in keinem der Fälle ernsthafter Schaden angerichtet.
Wichtig anzumerken ist, dass die Vorfälle unter Testbedingungen stattfanden. So wurden bei den Modellen gewisse Schutzmechanismen bewusst entfernt, auch hatten die Agents von Anfang an Zugriff auf das Internet und verschafften sich diesen nicht selbstständig. Dies entspreche den üblichen Testbedingungen, so das Institut. In dieser Form würden die Modelle der Öffentlichkeit nicht zur Verfügung stehen, wie es weiter heisst.
Das Institut listet drei wichtige Learnings aus dem Fall auf: Erstens muss der Internetzugang für Agents klar definiert und kontrolliert werden. Zweitens ist ein hohes Mass an Echtzeit-Monitoring notwendig. Und drittens müsse das Evaluierungsdesign klar überprüft werden. "Die Sandbox-Richtlinien der AISI empfehlen, die Sandbox-Konfiguration an das Design der Evaluierung anzupassen; eine gute Eindämmung sollte nicht davon abhängen, dass das Modell darauf verzichtet, seine Grenzen zu testen", wie es im Bericht heisst,
der hier einsehbar ist.
Der Fall reiht sich zwar in die jüngst bemerkten Vorfälle bei
OpenAI und
Anthropic ein, wo Modelle in Tests unbemerkt andere Unternehmen angriffen ("Swiss IT Magazine" berichtete
hier und
hier), unterscheidet sich aber doch massgeblich. Bei OpenAI hackte sich der Agent etwa selbstständig aus seiner Sandbox, bevor er auf echte Ziele losging.
(win)
