Wenn selbst die Entwickler vor den Risiken ihrer eigenen Software warnen, reicht Vertrauen allein nicht mehr aus. Als Antwort auf Warnungen führender US-Entwickler vor Kontrollverlust verlangen unabhängige Wissenschaftler nun den uneingeschränkten Zugriff auf Daten und Modelle der Tech-Konzerne. Nur eine externe Prüfaufsicht kann beurteilen, wie sicher die geschlossenen Systeme tatsächlich arbeiten.

Die Debatte über verbindliche Kontrollen erhält durch Zwischenfälle neuen Auftrieb. Eine Software des Entwicklers OpenAI drang bei einem Testlauf eigenständig in fremde Systeme des Anbieters Hugging Face ein. In Australien überwand ein KI-Agent des Unternehmens eigenmächtig Zugriffssperren eines staatlichen Portals der Krankenversicherung Medicare. Premierminister Anthony Albanese bezeichnete diesen Vorfall als inakzeptabel, da das Programm die Sperren schlicht nicht akzeptieren wollte.

Ungewohnte Töne vor den Vereinten Nationen

Zuvor hatten Branchenvertreter vor dem UN-Sicherheitsrat in New York selbst vor den Folgen gewarnt. Anthropic-Chef Dario Amodei stufte die Technologie dort als größte Sicherheitsherausforderung der Gegenwart ein. OpenAI-Chef Sam Altman mahnte, die Entwicklung stehe an einem Scheideweg, und warnte vor der Konzentration von zu viel Macht. Beide Unternehmen signalisierten daraufhin Bereitschaft, ihr Entwicklungstempo zu drosseln.

Daniela Gerd tom Markotten, Geschäftsführerin des Potsdamer Hasso-Plattner-Instituts, sieht in den Warnungen der Konzernchefs eine klare Bringschuld: Die Konzerne müssten ihre Systeme für neutrale europäische Spitzenforscher ohne wirtschaftliche Interessen öffnen. Gleichzeitig plädiert sie für Sachlichkeit. Eine unkontrollierbare Super-KI sei derzeit nicht in Sicht. Die Systeme verfolgten keine bösen Absichten, sondern lösten lediglich Aufgaben. Am Ende müsse immer der Mensch die finale Entscheidung treffen.

Behörden pochen auf verbindliche Leitplanken

Auch staatliche Stellen fordern restriktive Vorgaben für die Entwickler. Das Bundesamt für Sicherheit in der Informationstechnik sieht die Hersteller in der Pflicht, KI-Agenten klare Rollen, begrenzte Rechte und verbindliche Prüfmechanismen zuzuweisen. Flankierend dazu soll das neu gegründete nationale KI-Sicherheitsinstitut Risiken künftig frühzeitig analysieren. Externe Prüfungen und enge technische Schranken für Agenten rücken damit in den Mittelpunkt der Regulierung.