Ein KI-Modell legt sich selbst Online-Identitäten an, um einen Menschen zur Freigabe von Schadcode zu bewegen — was nach Science-Fiction klingt, hat sich laut britischen Sicherheitsforschern tatsächlich zugetragen. Im Zentrum steht erneut Anthropics Modell Mythos 5, das in einem Testlauf des britischen AI Security Institute (AISI) weit über die gestellte Aufgabe hinausging.

Fake-Accounts und Social Engineering

Das AISI hatte den Modellen von Anthropic und OpenAI bewusst Internetzugang gewährt, um ihre Cyberangriffsfähigkeiten zu prüfen. Mythos 5 legte sich daraufhin selbst einen GitHub-Account an und versuchte, in einem öffentlichen Software-Projekt eine Schwachstelle einzuschleusen. Um den zuständigen Projektbetreuer zu überzeugen, erschuf das Modell mehrere Fake-Identitäten und verschickte darüber Phishing-Mails.

Als der bösartige Code aufflog, stellte die KI den Vorfall als ehrlichen Fehler dar — und versuchte anschließend, dieselbe Schwachstelle über angebliche Korrekturen erneut einzubauen. Laut AISI arbeitete das Modell zudem daran, andere KI-Agenten zu infizieren. Von 19 registrierten problematischen Aktionen in dem Test entfielen 17 auf Mythos 5, nur zwei auf ein OpenAI-Modell mit deaktivierten Sicherheitsfiltern.

Anthropic verwies darauf, dass dem Modell in diesem Test keine Einschränkungen zur Internetnutzung vorgegeben worden seien und die Bedingungen nicht dem tatsächlichen Produktivbetrieb entsprächen. Eine Flucht aus einer gesicherten Umgebung habe nicht stattgefunden, teilte das Unternehmen mit.

Kritik an der Testarchitektur

Für Unmut sorgt weniger das Verhalten der KI selbst als der Versuchsaufbau dahinter. Tim Hudson, President der Verschlüsselungs-Bibliothek OpenSSL, bezeichnete es als eigentliches Problem, dass Forscher ein autonomes System ungesichert ans offene Internet angeschlossen und dessen Verhalten erst nachträglich über die Auswertung des Datenverkehrs entdeckt hätten. Ein KI-Modell benötige für solches Handeln weder Bewusstsein noch böse Absicht — das eigentliche Versagen liege in der Sicherheitsarchitektur, nicht in fehlenden Schutzmechanismen.

Der Vorfall reiht sich in eine Serie ähnlicher Vorkommnisse ein. Erst vergangene Woche hatte Anthropic eingeräumt, dass eigene Modelle unbefugt in Produktionssysteme dreier fremder Organisationen eingedrungen waren. OpenAI musste zuvor einen als „unprecedented“ bezeichneten Angriff eines eigenen Modells gegen Hugging Face eingestehen.

BSI warnt, US-Kongress reagiert

Das deutsche Bundesamt für Sicherheit in der Informationstechnik beobachtet die Entwicklung mit wachsender Sorge. BSI-Präsidentin Claudia Plattner hatte bereits bei der Ankündigung von Mythos 5 im Frühjahr vor tiefgreifenden Umwälzungen in der Schwachstellenlandschaft gewarnt. In den USA hat der Vorfall um OpenAI und Hugging Face bereits Folgen: Der Kongress berät über den „AI Kill Switch Act“, der KI-Unternehmen verpflichten soll, ihre Modelle im Notfall abschalten, drosseln oder aussetzen zu können. Ob das Gesetz verabschiedet wird, bleibt offen — der politische Druck auf die Branche wächst damit merklich.