Du bittest Codex, die Ausgabe eines Skripts mit einer bestimmten Referenzdatei zu vergleichen. Codex kann das Skript lesen. Die Referenzdatei fehlt im Projektordner, deshalb bleibt der Vergleich offen. Zwei interne Tests von OpenAI zeigen, wie oft GPT-6.2 Astra und Sol solche Hindernisse in ihrer Abschlussantwort melden und was sich mit den Standardanweisungen von Codex verändert.
Wie Astra und Sol auf fehlende Dateien reagieren
Für den ersten Test baute OpenAI Hindernisse in Programmieraufgaben ein. Mal fehlte die Datei, die das Modell bearbeiten sollte. Mal stand ein Werkzeug für einen erforderlichen Prüfschritt nicht zur Verfügung. OpenAI zählte, wie oft die Abschlussantwort das bekannte Hindernis ausließ oder falsch darstellte. OpenAIs Test zu fehlenden Dateien und Werkzeugen
Ohne die zusätzlichen Standardanweisungen von Codex geschah das bei GPT-6.2 Astra in 22,28 % der Testfälle, bei GPT-6.2 Sol in 24,08 %. Bei GPT-6 Astra waren es 11,09 %, bei GPT-6.1 Sol 14,00 %. Mit dem Codex-Entwickler-Prompt lagen die beiden neuen Modelle bei 8,04 % und 8,88 %. In diesem Test fielen die Unterschiede durch den Prompt größer aus als die Unterschiede zwischen Astra und Sol.
Was passiert, wenn die Suche ausfällt?
Für den zweiten Test stellte OpenAI Fragen, für die das Modell normalerweise recherchieren würde, und schaltete das Suchwerkzeug ab. Geprüft wurde, ob das Modell die Einschränkung in seiner Antwort nennt. Die Fehlerrate fasst Fälle mit fehlenden Voraussetzungen und einem nicht verfügbaren Suchwerkzeug zusammen. Ohne den Codex-Entwickler-Prompt lag die Fehlerrate bei GPT-6.2 Astra bei 23,00 % und bei GPT-6.2 Sol bei 9,33 %. Die Vorgänger GPT-6 Astra und GPT-6.1 Sol kamen unter dieser Bedingung auf 7,58 % und 2,75 %. Mit dem Prompt sank die Fehlerrate bei den neuen Modellen auf 8,50 % bei Astra und 3,92 % bei Sol. OpenAIs Test zur ausgefallenen Suche
Sol meldete den Suchausfall in beiden Varianten häufiger als Astra. Bei den anderen Hindernissen lagen die zwei Modelle enger beieinander. Die Prozentwerte beziehen sich auf Testfälle mit absichtlich eingebauten Hindernissen. Codex gibt die getesteten Standardanweisungen im Hintergrund mit. Laut OpenAI laufen direkte API-Anfragen ohne diesen Codex-Prompt. Wer Astra oder Sol in ein eigenes Werkzeug einbaut, kann mit einer absichtlich fehlenden Eingabe testen, was das Modell im Abschluss meldet.
Wenn die Quelle da ist und der Beleg fehlt
Auch eine erfolgreich geöffnete Datei kann eine Lücke enthalten. In einem Bericht über eine Veranstaltung beantwortet die Tabelle vielleicht die Frage nach den Ausgaben. Die Spalte für die tatsächliche Teilnahme bleibt leer. Dann kannst du die ausgegebene Summe verwenden. Die Kosten pro anwesender Person bleiben offen.
| Was der Agent vorfindet | Was im Abschluss stehen sollte |
|---|---|
| Die Datei fehlt am angegebenen Pfad. | Welchen Pfad er geprüft hat und welche Auswertung deshalb offenbleibt. |
| Die vorhandene Datei lässt sich nicht lesen. | Welche Datei vorliegt und an welchem Schritt das Einlesen gescheitert ist. |
| Die Datei ist lesbar, ein erforderlicher Wert fehlt. | Welche Angabe fehlt und welche Ergebnisse sich aus den vorhandenen Daten ableiten lassen. |
Bei wichtigen Zahlen lohnt sich eine Stichprobe. Lass dir die Stelle zeigen, an der der Wert steht. Mit einer Tabellenzeile oder einem Abschnitt im Dokument kannst du nachprüfen, ob der Beleg wirklich zur Aussage passt.
Wie du einen überprüfbaren Abschluss bekommst
Bitte bei Aufgaben mit festen Quellen schon im Prompt um einen Beleg für ausgeführte Prüfungen und um den Status offener Teilaufgaben.
Prüfe zuerst, ob die angegebene Referenzdatei vorhanden ist. Melde im Abschluss, ob du den Vergleich ausgeführt hast. Wenn ja, nenne den verwendeten Dateipfad und das Ergebnis. Wenn die Datei fehlt, sag, welcher Prüfschritt offen bleibt und welche Datei ich dafür bereitstellen muss.
Eine brauchbare Abschlussmeldung wäre "Ich habe das Skript gelesen. Die Datei referenz.csv fehlt im Projektordner. Für den Vergleich brauche ich die Datei oder ihren korrekten Pfad." Die Meldung "Die Ausgabe stimmt mit der Referenz überein" würde eine Prüfung behaupten, für die der Beleg fehlt. Bitte bei Rechercheaufgaben nach demselben Muster um den tatsächlich geöffneten Link und um eine klare Angabe, welche Aussage bei ausgefallener Suche offenbleibt.
Ein Kontrolllauf mit absichtlich fehlender Eingabe
Wenn du eine eigene API-Integration betreibst, kannst du die Abschlussmeldung mit zwei fiktiven Anfragen prüfen. Gib dem Modell im ersten Durchlauf eine kleine Tabelle mit bekannten Ausgaben und Teilnehmerzahlen. Bitte es, die Kosten pro Person zu berechnen. Lege vorher fest, welches Ergebnis du erwartest.
Lass im zweiten Durchlauf die Teilnehmerzahl weg. Auftrag und Modelleinstellungen bleiben gleich. Der erwartete Abschluss meldet die fehlende Zahl und lässt die Kosten pro Person offen. Die Ausgaben dürfen weiterhin genannt werden, sofern sie in der Tabelle stehen. Damit prüfst du zwei unterschiedliche Fähigkeiten. Das Modell soll eine Rechnung mit vollständigen Daten ausführen und bei einer Lücke genau benennen, welcher Teil des Auftrags offen ist. Wiederhole das Paar, wenn du das Modell wechselst oder den Entwickler-Prompt änderst.
Wo Astra und Sol im Ranking stehen
Das KI-Weekly-Ranking zeigt separate Messwerte für allgemeine Leistung, Coding und Agentenaufgaben. OpenAIs Tests oben beantworten die engere Frage, wie die Modelle mit einem bestimmten Hindernis umgehen. Die Modellprofile zeigen die verwendete Denkstufe und die einzelnen Leistungswerte. GPT-6.2 Astra im KI-Weekly-Ranking · GPT-6.2 Sol im KI-Weekly-Ranking
Für die Modellauswahl findest du im Vergleich von GPT-6.2 Astra und Sol die Unterschiede bei Leistung und Kosten. Der Astra-Praxistest zeigt, wo bei konkreten Aufgaben Nacharbeit bleibt. Beide Modelle im Ranking vergleichen
Häufig gestellte Fragen
Ist eine ausgefallene Suche dasselbe wie eine Suche ohne Treffer?
Bei einer Suche ohne Treffer konnte das Werkzeug arbeiten. Dann kannst du Suchbegriff oder Zeitraum anpassen. Wenn das Werkzeug ausfällt, braucht es zunächst einen erneuten Aufruf oder eine Quelle, die du direkt bereitstellst.
Gelten die Prozentwerte auch für den normalen ChatGPT-Chat?
Die Werte beziehen sich auf OpenAIs interne Aufgaben und die dort geprüften Konfigurationen mit und ohne Codex-Entwickler-Prompt. Daraus lässt sich keine Fehlerquote für den normalen ChatGPT-Chat ableiten.
Wann kann eine Ersatzquelle die Lücke schließen?
Eine Ersatzquelle hilft, wenn sie genau die gesuchte Aussage für denselben Zeitraum und dieselbe Definition belegt. Lass dir im Abschluss die tatsächlich genutzte Quelle nennen. So bleibt nachvollziehbar, worauf sich das Ergebnis stützt.
Kommentare (0)
Der Kommentarbereich wird geladen, sobald du ihn erreichst.
Weiterlesen