Zurück zur Übersicht
Ein am 24. März veröffentlichter Benchmark testet agentische KI in turn-basierten Umgebungen statt mit kurzen Einzelantworten. Laut der Arbeit lösen Menschen alle Aufgaben, während Frontier-Modelle unter 1 Prozent bleiben.
ARC-AGI-3 ist ein neuer Benchmark für agentische KI, der am 24. März veröffentlicht wurde. Im Mittelpunkt stehen offene, mehrstufige Aufgaben in turn-basierten Umgebungen.
Die Arbeit zielt damit auf einen anderen Testtyp als klassische Kurzprompt-Benchmarks. Gemessen werden soll, wie gut Systeme Probleme über mehrere Schritte hinweg ausführen und an veränderte Zustände anpassen.
Nach Angaben der Autoren lösen Menschen 100 Prozent der Aufgaben. Frontier-KI-Systeme bleiben demnach unter 1 Prozent.
Die Veröffentlichung setzt damit einen neuen Referenzpunkt für die Bewertung agentischer Systeme. Der Fokus verschiebt sich von punktueller Demo-Leistung auf robuste mehrstufige Problemlösung unter realistischeren Bedingungen.
Weiterlesen
Ein internes Audit von OpenAI stuft rund 30 Prozent der öffentlichen Aufgaben als fehlerhaft ein. Damit verliert der Benchmark seine Aussagekraft als Messlatte für die Leistungsfähigkeit von KI-Coding-Modellen.
Die Weltgesundheitsorganisation und Portugal haben in Lissabon eine globale Konferenz zur Regulierung von KI in der Gesundheitsversorgung eröffnet. Im Mittelpunkt stehen Haftung, Dateninfrastruktur und der sichere Einsatz von KI.
Aktuelle und ehemalige Beschäftigte werfen Meta vor, interne KI-Systeme und Produktivitätsdaten für die Auswahl von Mitarbeitern in einer bevorstehenden Entlassungsrunde genutzt zu haben. Der Konzern weist den Vorwurf zurück und betont, die Personalentscheidungen seien von Menschen getroffen worden.
Die Funktion nutzte öffentliche Instagram Profile als Referenzen für KI generierte Bilder. Wenige Tage nach dem Start nahm Meta sie wieder aus dem Produkt.
Google erweitert die Transparenzhinweise für Anzeigen, die mit generativer KI erstellt oder bearbeitet wurden. Nutzer sollen die Angaben künftig über den Bereich „How this ad was made“ im My Ad Center abrufen können.