Zurück zur Übersicht
OpenAI legt ein Leitfaden für unabhängige Evaluierungen von Frontier-Modellen vor. Im Zentrum stehen valide Testumgebungen, sogenannte Harnesses, und Prüfungen, die bei agentischen Systemen nicht das Setup statt die Modellleistung messen.
OpenAI hat ein Playbook für vertrauenswürdige Drittprüfungen von Frontier-Modellen veröffentlicht. Der Leitfaden soll unabhängige Evaluierungen systematischer machen und legt den Schwerpunkt auf belastbare Testumgebungen.
Im Kern fordert OpenAI valide Harnesses und klare Validitätsprüfungen, vor allem für agentische Systeme. Solche Modelle lassen sich nach Darstellung des Unternehmens nur dann sinnvoll bewerten, wenn die Tests die tatsächlichen Fähigkeiten abbilden.
Damit rückt eine oft unterschätzte Frage nach vorn: Nicht nur die Modelle müssen besser werden, sondern auch die Messmethoden. Wer KI im Ernstfall einsetzen will, braucht Benchmarks, die mehr leisten als glänzende Scorecards.
Weiterlesen
OpenAI bündelt seine Forschungs und Sicherheitsteams. Johannes Heidecke soll das Unternehmen verlassen, während Saachi Jain seine Aufgaben vorerst übernimmt.
Apple wirft OpenAI, io Products und zwei ehemaligen Mitarbeitern vor, vertrauliche Informationen für den Aufbau eines eigenen Hardwaregeschäfts genutzt zu haben. Die Klage verschärft den Konflikt um die geplante Consumer-Hardware von OpenAI.
Das US-Handelsministerium will der Regierung der Vereinigten Arabischen Emirate sowie ausgewählten Unternehmen den Bezug bestimmter fortgeschrittener Rechenkomponenten ohne Einzelgenehmigung ermöglichen. Für andere Abnehmer und Leistungsklassen bleiben die Exportbeschränkungen bestehen.
Ein internes Audit von OpenAI stuft rund 30 Prozent der öffentlichen Aufgaben als fehlerhaft ein. Damit verliert der Benchmark seine Aussagekraft als Messlatte für die Leistungsfähigkeit von KI-Coding-Modellen.
GPT-Live bringt eine Full-Duplex-Architektur, die Echtzeit-Gespräche ermöglicht und komplexe Rechenarbeit an ein separates Modell delegiert. Der Rollout startet schrittweise für iOS, Android und chatgpt.com.