Zurück zur Übersicht
LifeSciBench testet KI-Modelle an realistischen Forschungs- und Laboraufgaben. Erste Auswertung zeigt: der beste Modelllauf erreicht nur rund 36 Prozent Task-Passrate, die Reife für autonome Forschung bleibt damit fraglich.
OpenAI hat LifeSciBench veröffentlicht, einen fachlich orientierten Benchmark mit 750 von Expertinnen und Experten verfassten Aufgaben aus mehreren Forschungsworkflows und biologischen Domänen. Die Ankündigung ist Teil der jüngsten Erweiterung der Modellreihe GPT-Rosalind.
Die Auswertung nutzt detaillierte Bewertungsrichtlinien und Hunderttausende Bewertungsdatenpunkte. In der veröffentlichten Auswertung erreichte der bestplatzierte getestete Modelllauf rund 36 Prozent Task-Passrate, viele Aufgaben bleiben damit auch für Spitzenmodelle ungelöst.
Die Verlagerung von einfachen Wissensabfragen zu realitätsnahen, artefaktreichen Forschungsaufgaben erhöht die Aussagekraft von Tests für Pharmafirmen, Forschungslabore und Beschaffer. Die Zahlen legen nahe, dass Modelle zwar Fortschritte zeigen, für eigenständige, unüberwachte Forschungsentscheidungen aber noch nicht verlässlich genug sind.
Weiterlesen
OpenAI bündelt seine Forschungs und Sicherheitsteams. Johannes Heidecke soll das Unternehmen verlassen, während Saachi Jain seine Aufgaben vorerst übernimmt.
Apple wirft OpenAI, io Products und zwei ehemaligen Mitarbeitern vor, vertrauliche Informationen für den Aufbau eines eigenen Hardwaregeschäfts genutzt zu haben. Die Klage verschärft den Konflikt um die geplante Consumer-Hardware von OpenAI.
Das US-Handelsministerium will der Regierung der Vereinigten Arabischen Emirate sowie ausgewählten Unternehmen den Bezug bestimmter fortgeschrittener Rechenkomponenten ohne Einzelgenehmigung ermöglichen. Für andere Abnehmer und Leistungsklassen bleiben die Exportbeschränkungen bestehen.
Ein internes Audit von OpenAI stuft rund 30 Prozent der öffentlichen Aufgaben als fehlerhaft ein. Damit verliert der Benchmark seine Aussagekraft als Messlatte für die Leistungsfähigkeit von KI-Coding-Modellen.
GPT-Live bringt eine Full-Duplex-Architektur, die Echtzeit-Gespräche ermöglicht und komplexe Rechenarbeit an ein separates Modell delegiert. Der Rollout startet schrittweise für iOS, Android und chatgpt.com.