OpenAI stellt GPT-Red zur automatisierten Suche nach Prompt-Injection-Schwachstellen vor

OpenAI hat mit GPT-Red ein internes KI-Modell vorgestellt, das Prompt-Injection-Angriffe automatisiert entwickelt und damit Schwachstellen in anderen KI-Systemen aufspürt. Das Modell arbeitet iterativ: Es sendet einen Angriff, analysiert die Reaktion des Zielmodells und passt seine Strategie an.

In einer internen Testumgebung erreichte GPT-Red laut OpenAI bei indirekten Prompt-Injection-Angriffen eine Erfolgsquote von 84 Prozent. Menschliche Tester kamen auf 13 Prozent.

Bei einem weiteren Versuch manipulierte GPT-Red einen autonomen Verkaufsautomaten-Agenten. Dieser änderte Preise, bot einen teuren Artikel für 50 US-Cent an und stornierte eine Kundenbestellung. OpenAI gibt an, GPT-Red seit GPT-5.3 in das Training seiner Produktionsmodelle einzubeziehen. GPT-5.6 Sol habe dadurch sechsmal weniger Fehler bei einem schwierigen Prompt-Injection-Benchmark gemacht als das beste Produktionsmodell vier Monate zuvor.