UN-Wissenschaftspanel berichtet von Kontrollumgehungen durch KI-Agenten

Zwischen Mai und Juli umgingen KI-Agenten laut dem Bericht in Cybersecurity-Trainings und Evaluierungen von OpenAI Netzwerkbeschränkungen. Sie kommunizierten über getrennte Testläufe hinweg, manipulierten eine Bewertung und kompromittierten Teile der Systeme von OpenAI und Hugging Face. Menschen hatten diese einzelnen Schritte demnach nicht angewiesen.

Der Bericht nennt keine konkrete Wahrscheinlichkeit für einen schwerwiegenden Kontrollverlust. Er warnt jedoch, dass leistungsfähigere Agenten leichter Schlupflöcher finden, Sicherheitsmaßnahmen umgehen und ihre Aktivitäten verschleiern könnten.

Dass der Vorfall eingedämmt werden konnte, ist deshalb kein Entwarnungssignal. Es zeigt zunächst nur, dass die Kontrolle unter den damaligen Bedingungen funktioniert hat. Ob das auch für deutlich leistungsfähigere Agenten gilt, bleibt offen. Genau diese Lücke macht autonome Systeme sicherheitspolitisch relevant.