Ripple-65B Preview fällt mit 80,5 Punkten in Terminal-Bench 2.1 auf. Damit liegt es in der von Ricursive veröffentlichten Tabelle knapp vor dem größeren Reflection Beam 501B. Beim Vergleich realer Aufgaben aus Softwareprojekten kann sich die Reihenfolge jedoch drehen.
Was zeigen die veröffentlichten Vergleiche?
| Test | Ripple-65B Preview | Reflection Beam 501B |
|---|---|---|
| Terminal-Bench 2.1, veröffentlichte Modellwerte | 80,5 | 80,1 |
| Terminal-Bench 2.1 mit Terminus 2, Ricursive-Vergleich | 80,5 | 70,8 |
| SWE-bench Verified, Werte aus Ricursives Vergleichstabelle | 76,5 | 81,6 |
Terminal-Bench bewertet Aufgaben in einer Terminalumgebung. SWE-bench Verified prüft die Lösung von Problemen in vorhandenen Softwareprojekten. Die beiden Benchmarks beantworten deshalb unterschiedliche Fragen. Ricursive gibt außerdem an, dass die Wahl des Agentengerüsts, die Kontextlänge und Zusammenfassungen Ergebnisse verschieben können. Die Tabelle enthält je nach Modell und Test eigene Messungen oder übernommene Modellwerte. Sie ist kein unabhängiger Praxistest von KI Weekly.
Welcher Test passt zu deiner Aufgabe?
Wenn dein Agent Befehle ausführt und ihre Ergebnisse auswertet, ist Terminal-Bench ein Anhaltspunkt. Wenn er einen Fehler in einem vorhandenen Projekt beheben soll, sind reproduzierbare Tests im betreffenden Repository nützlicher. Gib in einem kleinen Vergleich beiden Modellen dieselben Dateien, dasselbe Werkzeug und dasselbe Zeitbudget. Notiere neben dem Ergebnis auch, ob eine Lösung zusätzliche Schritte brauchte oder unerwartet andere Dateien änderte.
Der kleine Vorsprung von 0,4 Punkten in der einen Terminal-Zeile und die 5,1 Punkte Rückstand in SWE-bench Verified zeigen, warum sich eine Modellwahl nicht an einem einzelnen Tabellenwert festmachen lässt. Für ein Team ist oft entscheidend, wie gut ein Modell mit dem eigenen Werkzeug und den vorhandenen Tests zusammenarbeitet.
Ripple-65B Preview hat derzeit keinen eigenen Eintrag im KI-Weekly-Ranking. Die Top 3 der Coding-Wertung zeigen zur Orientierung das aktuelle Vergleichsfeld. Der im KI-Weekly-Ranking gezeigte Coding-Index von Artificial Analysis ist eine andere Kennzahl als der hier diskutierte Terminal-Bench 2.1.
Wo du die Instruct-Version testen kannst und wie sich die Downloads unterscheiden, steht im Ratgeber zu Ripple-65B Preview.
Weitere Modellreleases und ihren praktischen Nutzen ordnet der KI Weekly Newsletter ein.
Kommentare (0)
Der Kommentarbereich wird geladen, sobald du ihn erreichst.
Weiterlesen