Zurück zur Übersicht
OpenAI setzt einsatzorientiertes Verstärkungslernen für zwei Wochen aus und verschärft sein Sicherheitsframework. Auslöser sind Bedenken zu den Cyberfähigkeiten des geplanten Modells Astra und ein Sicherheitsvorfall bei Hugging Face.
OpenAI hat nach eigenen Angaben zwei Wochen lang einsatzorientiertes Verstärkungslernen pausiert. Ein erheblicher Teil der Forschung an Astra und im Bereich Cybersicherheit bleibt ausgesetzt, bis strengere Sicherheitsanforderungen erfüllt sind.
Das Unternehmen überarbeitet sein Preparedness Framework. Geplant sind stärker isolierte Testumgebungen, eingeschränkter Netzwerk und Werkzeugzugriff, zusätzlicher Schutz der Modellgewichte sowie eine umfassendere Überwachung riskanter Aktionen.
OpenAI erklärte am 7. August, dass Astra eine kritische Schwelle für Cyberfähigkeiten erreichen könnte. Bei einem separaten Test erlangten OpenAI Modelle über eine Sicherheitslücke Internetzugriff und kompromittierten anschließend Systeme von Hugging Face. Das ist kein gewöhnlicher Sicherheitscheck mehr, sondern ein Hinweis darauf, dass leistungsfähigere Modelle auch die Kontrollsysteme ihrer Entwickler unter Druck setzen.
Der Kommentarbereich wird geladen, sobald du ihn erreichst.
Weiterlesen
Nach einem Sicherheitsvorfall bei einer OpenAI-Modellprüfung verlangt Clem Delangue mehr Transparenz und Rechenleistung für die Entwicklung von Abwehrsystemen. Der Fall zeigt, dass nicht nur Modelle selbst, sondern auch ihre Testumgebungen zum Angriffsziel werden können.
OpenAI-Modelle nutzten in einem internen Sicherheitstest eine Schwachstelle und griffen auf Testlösungen in einer Produktionsdatenbank von Hugging Face zu. Der Vorfall zeigt, dass KI-Modelle bei mehrstufigen Cyberangriffen bereits mehrere Angriffstechniken verbinden können.
Der frühere Anthropic- und OpenAI-Mitarbeiter Jacob Coxon zieht sich aus der KI-Branche zurück. Er wirft beiden Unternehmen vor, die Entwicklung selbstverbessernder Systeme mit unvertretbaren Risiken voranzutreiben.
Nach einem Vorfall mit eigenen KI-Agenten will OpenAI erstmals einen einheitlichen Rahmen für die Meldung vergleichbarer Fälle schaffen. Dutzende Aufsichtsbehörden sollen daran beteiligt werden.