Zurück zur Übersicht
Ein internes Audit von OpenAI stuft rund 30 Prozent der öffentlichen Aufgaben als fehlerhaft ein. Damit verliert der Benchmark seine Aussagekraft als Messlatte für die Leistungsfähigkeit von KI-Coding-Modellen.
OpenAI hat seine frühere Empfehlung für den Coding-Benchmark SWE-Bench Pro zurückgenommen. Nach einem internen Audit sind rund 30 Prozent der öffentlichen Aufgaben fehlerhaft und bilden die Leistungsfähigkeit von KI-Modellen deshalb nicht zuverlässig ab.
Zu den festgestellten Problemen zählen versteckte Anforderungen, widersprüchliche Vorgaben, übermäßig strenge Tests und unvollständige Bewertungskriterien. OpenAI prüfte die Aufgaben mit modellbasierten Prüfagenten und ließ sie zusätzlich von fünf erfahrenen Softwareentwicklern bewerten.
Die Kehrtwende kommt wenige Monate nach OpenAIs Empfehlung von SWE-Bench Pro als belastbarere Alternative zu SWE-bench Verified. Für Anbieter und Käufer von Coding-Agenten ist das ein weiterer Beleg dafür, dass Benchmarkzahlen ohne Prüfung der Aufgabenqualität wenig wert sind. Eine schöne Rangliste ersetzt eben keine saubere Messung.
Weiterlesen
OpenAI bündelt seine Forschungs und Sicherheitsteams. Johannes Heidecke soll das Unternehmen verlassen, während Saachi Jain seine Aufgaben vorerst übernimmt.
Apple wirft OpenAI, io Products und zwei ehemaligen Mitarbeitern vor, vertrauliche Informationen für den Aufbau eines eigenen Hardwaregeschäfts genutzt zu haben. Die Klage verschärft den Konflikt um die geplante Consumer-Hardware von OpenAI.
Das US-Handelsministerium will der Regierung der Vereinigten Arabischen Emirate sowie ausgewählten Unternehmen den Bezug bestimmter fortgeschrittener Rechenkomponenten ohne Einzelgenehmigung ermöglichen. Für andere Abnehmer und Leistungsklassen bleiben die Exportbeschränkungen bestehen.
OpenAI hat die GPT-5.6-Modelle freigegeben. Die Familie umfasst das leistungsstarke Sol, kostengünstigere Terra und das auf Tempo ausgerichtete Luna; die breite Freigabe folgte nach einer Prüfung durch US-Behörden.
Ein internes Memo nennt einen Release "as soon as Wednesday"; der Start soll kurz verschoben worden sein, um die Effizienz des Modells zu verbessern. Die geplante Auslieferung wäre der erste sichtbare Produktschritt der Kooperation.