Zurück zur Übersicht
OpenAI zieht Empfehlung für Coding-Benchmark SWE-Bench Pro zurück
Ein internes Audit von OpenAI stuft rund 30 Prozent der öffentlichen Aufgaben als fehlerhaft ein. Damit verliert der Benchmark seine Aussagekraft als Messlatte für die Leistungsfähigkeit von KI-Coding-Modellen.
OpenAI hat seine frühere Empfehlung für den Coding-Benchmark SWE-Bench Pro zurückgenommen. Nach einem internen Audit sind rund 30 Prozent der öffentlichen Aufgaben fehlerhaft und bilden die Leistungsfähigkeit von KI-Modellen deshalb nicht zuverlässig ab.
Zu den festgestellten Problemen zählen versteckte Anforderungen, widersprüchliche Vorgaben, übermäßig strenge Tests und unvollständige Bewertungskriterien. OpenAI prüfte die Aufgaben mit modellbasierten Prüfagenten und ließ sie zusätzlich von fünf erfahrenen Softwareentwicklern bewerten.
Die Kehrtwende kommt wenige Monate nach OpenAIs Empfehlung von SWE-Bench Pro als belastbarere Alternative zu SWE-bench Verified. Für Anbieter und Käufer von Coding-Agenten ist das ein weiterer Beleg dafür, dass Benchmarkzahlen ohne Prüfung der Aufgabenqualität wenig wert sind. Eine schöne Rangliste ersetzt eben keine saubere Messung.
Erwähnt
Kommentare (0)
Der Kommentarbereich wird geladen, sobald du ihn erreichst.
Weiterlesen
Das könnte dich auch interessieren
KI News
OpenAI startet GPT-6-Rollout für kostenlose ChatGPT-Tarife
ModelleGlobal
OpenAI, GPT-6 and Intelligent UI for everyone08. Okt.
KI News
Google öffnet SynthID-Detektor weltweit
SicherheitGlobal
Google DeepMind08. Okt.
KI News
Wikimedia meldet Aktivitäten mutmaßlicher OpenAI-Agenten
SicherheitGlobal
Wikimedia Foundation06. Okt.
KI News
OpenAI testet visuelle Werbung während der Bildgenerierung in ChatGPT
WerbungGlobal
OpenAI, „Building advertising for the way people use AI“05. Okt.