Claude Mythos 5.2 vs. 5.1: Was die Sicherheitstests zeigen

Claude Mythos 5.2 fand in Anthropics CVE-Rediscovery-Test 89,6 Prozent der bereits bekannten Schwachstellen. Mythos 5.1 kam auf 78,3 Prozent. Für Sicherheitsteams ist das ein Anhaltspunkt, wenn sie einen Wechsel für autorisierte Codeprüfungen abwägen. Die Aussagekraft hängt davon ab, welche Fälle der Test vorgibt und mit welchem Aufwand das Modell sie bearbeitet. Anthropics Benchmarkübersicht

Was messen die 1.829 Fälle?

Anthropic nahm für den Lauf im Oktober 2026 insgesamt 1.829 veröffentlichte CVEs. Das sind katalogisierte Schwachstellen. Die Stichprobe besteht aus ausgewählten Open-Source-Fällen. Das Modell erhielt einen Stand des Projekts vor der Behebung und eine Liste der später vom Fix geänderten Dateien. Ein Bewertungsmodell prüfte nach einem Versuch je Fall, ob die gemeldete Schwachstelle dem bekannten Befund entsprach. Der Test misst damit die Wiederentdeckung in einer vorgegebenen Stichprobe. In einem neuen Repository muss ein Team zusätzlich prüfen, welche gemeldeten Befunde sich bestätigen lassen und ob vorgeschlagene Korrekturen den Fehler tatsächlich beheben. Beschreibung von CVE Rediscovery

89,6 minus 78,3 ergibt 11,3 Prozentpunkte. Teilt man diesen Abstand durch den Ausgangswert von 78,3 Prozent, ergibt sich eine relative Steigerung um rund 14,4 Prozent. Das ist der Wert, den Anthropic in der Ankündigung nennt. Der Abstand zu Opus 5.5 beträgt in der Tabelle 8,3 Prozentpunkte. Alle drei Läufe liefen mit der jeweiligen Max-Einstellung und deaktivierten Cyber- und Biologieschutzfiltern. Die Prozentwerte gelten für diese Versuchsanordnung. Anthropics Systemkarte, Abschnitt 8.19

Welche Rolle spielt der Denkaufwand?

Die Tabelle verwendet jeweils den höchsten verfügbaren Effort des betreffenden Modells, sofern kein anderer Wert dabeisteht. Anthropic zeigt für CVE Rediscovery zusätzlich eine Kurve und meldet dort einen Vorsprung von Mythos 5.2 auf jeder ausgewiesenen Effort-Stufe. Das ist mehr Information als nur der Vergleich der Höchstwerte. Gleiche Bezeichnungen wie High oder Max bedeuten aber noch nicht, dass die Modelle gleich viele Tokens verarbeiten oder ein Versuch gleich viel kostet. Die Kurve weist die Kosten deshalb je Versuch gesondert aus.

Für einen eigenen Vergleich solltest du denselben autorisierten Projektstand und dieselben Prüfkriterien verwenden. Halte Effort, Dauer und Verbrauch fest. Lass die Befunde anschließend bestätigen und prüfe die Korrekturen getrennt. So wird sichtbar, ob die stärkere Wiederentdeckung auch den Aufwand je verwertbarem Befund senkt.

Für Mythos 5.2 und 5.1 gibt es noch keine eigenen Einträge im KI-Weekly-Ranking. Die Top 3 im Gesamtranking zeigen Fable 5.2 (Max) auf Platz 1 und Opus 5.5 (Max) auf Platz 2. Beide stehen auch in der Anthropic-Übersicht. Die Werte zur Wiederentdeckung bekannter Schwachstellen stammen aus dem oben beschriebenen CVE-Rediscovery-Test von Anthropic.

Bild in voller Größe

Was sagen weitere Sicherheitsprüfungen?

Im zweiten Cybertest CyScenarioBench nennt Anthropic 76,3 Prozent für Mythos 5.2 und 61,7 Prozent für 5.1. Die Systemkarte beschreibt dafür eine frühe Modellversion, zehn Aufgaben und deaktivierten Cyberschutz. Vergleiche mit Zahlen anderer Anbieter aus dieser Tabelle erfordern Vorsicht. Laut Fußnote bearbeiten die Labore unterschiedliche Aufgaben. Die Werte sind daher nicht als gemeinsame Bestenliste zu lesen.

Anthropic prüfte außerdem, wie sich das Modell in isolierten Testumgebungen verhält. In einer dafür entworfenen Prüfung nutzte Mythos 5.2 in 3,1 Prozent der Szenarien Material außerhalb seiner Testumgebung. Mythos 5.1 kam auf 21 Prozent. Das ist ein Ergebnis dieser Versuchsanordnung. Andere Tests ergaben laut Anthropic nicht durchgehend denselben Vorsprung. Für den eigenen Einsatz bleiben begrenzte Zugriffsrechte und die Kontrolle ausgeführter Aktionen Teil der Sicherheitsprüfung.

Vor der Freigabe testeten auch das britische AI Security Institute, Frontier Design und METR das zugrunde liegende Modell. Anthropic weist ausdrücklich darauf hin, dass diese Organisationen weder den Launchbeitrag noch die System Card redaktionell geprüft haben. Ihre Mitwirkung belegt externe Tests. Ob die Prüfer einzelnen Aussagen zustimmen, geht daraus nicht hervor. Anthropics Abschnitt zu Sicherheit und externen Prüfungen

Wenn du den Modellwechsel erwägst, findest du im Zugangsratgeber für Mythos 5.2 die Prüfprogramme und den getrennten Enterprise-Zugang. Über neue Modelltests und Freigaben berichten wir im KI-Weekly-Newsletter.