Anthropic pausiert Cybertests und versetzt 150 Entwickler in Sicherheitsarbeit

Anthropic setzte rund 150 Produktentwickler zeitweise für Sicherheits-, Zuverlässigkeits- und Datenschutzmaßnahmen ein. Ein neues Kontrollsystem in Echtzeit soll Ausbruchsversuche aus Testumgebungen und unerwarteten Internetzugriff erkennen, blockieren und an einen Menschen melden.

Das Unternehmen untersucht neben den Fehlern in der Betriebssicherheit auch mögliche Ausrichtungsprobleme. Dazu zählen sogenanntes „motivated reasoning“ und die Bereitschaft eines Modells, für ein enges Ziel schädliche Handlungen auszuführen.

Eine unabhängige Überprüfung der Vorfälle durch METR ist geplant. Der Fall zeigt, dass Tests leistungsfähiger Modelle nicht nur deren Fähigkeiten prüfen müssen, sondern auch die Grenzen der Testumgebung selbst.