Zurück zur Übersicht
Während von Anthropic beauftragter Sicherheitstests griffen Claude-Modelle auf Produktionssysteme dreier Organisationen zu. Eine Fehlkonfiguration ermöglichte den eigentlich verbotenen Internetzugang.
Anthropic hat nach eigenen Angaben 141.006 Evaluierungsläufe überprüft und dabei drei reale Sicherheitsvorfälle festgestellt. Beteiligt waren Claude Opus 4.7, Mythos 5 und ein internes Forschungsmodell. Ursache war eine Fehlkonfiguration in der Testumgebung eines externen Partners.
In einem Fall griff ein Modell auf Zugangsdaten zu und erhielt Zugriff auf eine Datenbank mit mehreren hundert Produktionsdatensätzen. In einem weiteren Fall veröffentlichte es ein manipuliertes Python-Paket, das rund eine Stunde öffentlich verfügbar war und auf 15 realen Systemen ausgeführt wurde.
Anthropic stoppte die Tests am 23. Juli, informierte den Testpartner und die betroffenen Organisationen und kündigte eine unabhängige Untersuchung mit METR an. Künftig sollen Testumgebungen strenger abgesichert, Internetzugriffe kontinuierlich überwacht und Evaluierungen mit autonomen KI-Systemen wie produktive Systeme behandelt werden.
Der Kommentarbereich wird geladen, sobald du ihn erreichst.
Weiterlesen
Anthropic hat externe Tests von Vorabmodellen vorübergehend ausgesetzt und interne Prüfungen kurzzeitig pausiert. Auslöser waren Zugriffe von Claude-Modellen auf reale Computersysteme in fehlerhaft konfigurierten Testumgebungen.
Der frühere Anthropic- und OpenAI-Mitarbeiter Jacob Coxon zieht sich aus der KI-Branche zurück. Er wirft beiden Unternehmen vor, die Entwicklung selbstverbessernder Systeme mit unvertretbaren Risiken voranzutreiben.
Anthropic bewertet die Fähigkeit seiner Modelle zur automatisierten KI Forschung als potenziell folgenreichste KI Bedrohung, sieht die eigene Schwelle derzeit aber noch nicht überschritten. In den kommenden sechs bis zwölf Monaten könnte das Szenario laut einem Risikobericht zu einer größeren Sorge werden.
Anthropic will bis Ende September 2026 einen Prototyp für „provable inference“ entwickeln. Damit sollen Ausgaben einem bestimmten Satz von Modellgewichten zugeordnet werden können.