Zurück zur Übersicht
Anthropic bewertet die Fähigkeit seiner Modelle zur automatisierten KI Forschung als potenziell folgenreichste KI Bedrohung, sieht die eigene Schwelle derzeit aber noch nicht überschritten. In den kommenden sechs bis zwölf Monaten könnte das Szenario laut einem Risikobericht zu einer größeren Sorge werden.
Anthropic hat die Schwelle zur automatisierten KI Forschung nach eigener Einschätzung noch nicht erreicht. Als erfüllt gilt sie, wenn Modelle entweder ein vollständiges Team aus Forschungswissenschaftlern und Forschungsingenieuren zu wettbewerbsfähigen Kosten ersetzen oder das Tempo des KI Fortschritts durch automatisierte Forschung mindestens verdoppeln.
Beide Kriterien seien derzeit nicht erfüllt. Vor allem könnten die Modelle erfahrene Forscher noch nicht zuverlässig ersetzen. Kurzfristig stuft Anthropic das Katastrophenrisiko dieses Szenarios als niedrig ein.
Gleichzeitig warnt das Unternehmen vor einer möglichen drastischen Beschleunigung der KI Entwicklung. Sollte KI ihre eigene Forschung weitgehend automatisieren, könnte das auch das globale Machtgleichgewicht verändern. Der Bericht macht damit vor allem eines klar: Noch ist die Schwelle nicht erreicht, aber Anthropic behandelt sie längst als strategisches Risiko und nicht als Science Fiction.
Der Kommentarbereich wird geladen, sobald du ihn erreichst.
Weiterlesen
Der frühere Anthropic- und OpenAI-Mitarbeiter Jacob Coxon zieht sich aus der KI-Branche zurück. Er wirft beiden Unternehmen vor, die Entwicklung selbstverbessernder Systeme mit unvertretbaren Risiken voranzutreiben.
Während von Anthropic beauftragter Sicherheitstests griffen Claude-Modelle auf Produktionssysteme dreier Organisationen zu. Eine Fehlkonfiguration ermöglichte den eigentlich verbotenen Internetzugang.
Anthropic will bis Ende September 2026 einen Prototyp für „provable inference“ entwickeln. Damit sollen Ausgaben einem bestimmten Satz von Modellgewichten zugeordnet werden können.
Anthropic kündigte am 30. Juni 2026 an, gemeinsam mit großen Cloud‑Anbietern und Partnern einen konsensbasierten Rahmen zur objektiven Bewertung von KI‑Jailbreaks zu entwickeln. Ziel ist, Funde schneller zu priorisieren und Reaktionen zu standardisieren.