Anthropic legt drei Sicherheitsvorfälle bei KI-Tests offen

Anthropic hat nach eigenen Angaben 141.006 Evaluierungsläufe überprüft und dabei drei reale Sicherheitsvorfälle festgestellt. Beteiligt waren Claude Opus 4.7, Mythos 5 und ein internes Forschungsmodell. Ursache war eine Fehlkonfiguration in der Testumgebung eines externen Partners.

In einem Fall griff ein Modell auf Zugangsdaten zu und erhielt Zugriff auf eine Datenbank mit mehreren hundert Produktionsdatensätzen. In einem weiteren Fall veröffentlichte es ein manipuliertes Python-Paket, das rund eine Stunde öffentlich verfügbar war und auf 15 realen Systemen ausgeführt wurde.

Anthropic stoppte die Tests am 23. Juli, informierte den Testpartner und die betroffenen Organisationen und kündigte eine unabhängige Untersuchung mit METR an. Künftig sollen Testumgebungen strenger abgesichert, Internetzugriffe kontinuierlich überwacht und Evaluierungen mit autonomen KI-Systemen wie produktive Systeme behandelt werden.