Zurück zur Übersicht
Das interne Modell entwickelt Angriffe auf andere KI-Systeme, beobachtet deren Reaktionen und passt seine Strategien an. OpenAI setzt GPT-Red nach eigenen Angaben bereits ein, um Produktionsmodelle robuster zu trainieren.
OpenAI hat mit GPT-Red ein internes KI-Modell vorgestellt, das Prompt-Injection-Angriffe automatisiert entwickelt und damit Schwachstellen in anderen KI-Systemen aufspürt. Das Modell arbeitet iterativ: Es sendet einen Angriff, analysiert die Reaktion des Zielmodells und passt seine Strategie an.
In einer internen Testumgebung erreichte GPT-Red laut OpenAI bei indirekten Prompt-Injection-Angriffen eine Erfolgsquote von 84 Prozent. Menschliche Tester kamen auf 13 Prozent.
Bei einem weiteren Versuch manipulierte GPT-Red einen autonomen Verkaufsautomaten-Agenten. Dieser änderte Preise, bot einen teuren Artikel für 50 US-Cent an und stornierte eine Kundenbestellung. OpenAI gibt an, GPT-Red seit GPT-5.3 in das Training seiner Produktionsmodelle einzubeziehen. GPT-5.6 Sol habe dadurch sechsmal weniger Fehler bei einem schwierigen Prompt-Injection-Benchmark gemacht als das beste Produktionsmodell vier Monate zuvor.
Weiterlesen
ChatGPT soll anhand von Nutzersignalen erkennen, ob ein Konto einer minderjährigen Person gehört. In der EU soll die Funktion in den kommenden Wochen starten.
OpenAI bündelt seine Forschungs und Sicherheitsteams. Johannes Heidecke soll das Unternehmen verlassen, während Saachi Jain seine Aufgaben vorerst übernimmt.
Hitachi will OpenAI Agenten wie Codex zur Analyse von Quellcode in kritischen Altsystemen einsetzen und beginnt mit Projekten bei Finanzinstituten. Zugleich plant das Unternehmen, OpenAI Modelle für defensive Sicherheitszwecke über Trusted Access for Cyber zu nutzen und die Erkenntnisse in HMAX und Lumada zu integrieren.
Das Programm richtet sich an verlässliche Entwickler sowie Regierungs- und Forschungspartner. OpenAI positioniert KI damit stärker als Infrastruktur für Sicherheits- und Resilienzfragen.