Anthropic und OpenAI wollen bei besonders leistungsfähiger KI Tempo herausnehmen. Mark Zuckerberg lehnt eine gemeinsame Verlangsamung ab. Dabei hat Meta selbst einen Start aus Sicherheitsgründen verschoben. Warum kommt die Branche zu so unterschiedlichen Schlüssen?

Normalerweise geht es in der KI-Branche darum, wer das nächste bessere Modell veröffentlicht. Jetzt fordern ausgerechnet einige der führenden Entwickler mehr Zeit.

Anthropic-Chef Dario Amodei schlägt eine koordinierte Pause vor, um die Risiken leistungsfähiger KI besser zu verstehen. Sam Altman, Elon Musk und weitere Spitzen der Branche unterstützen seinen Vorstoß. Meta-Chef Mark Zuckerberg hält dagegen: Unternehmen hätten schon heute gute Gründe, ihre Systeme sicher zu machen. Wer unzuverlässige Produkte anbiete, verliere Nutzer und riskiere Klagen.

Beide Seiten berufen sich auf Sicherheit. Uneinig sind sie sich darüber, ob jedes Unternehmen allein entscheiden sollte, wann die Risiken zu groß werden.

Ein Vorfall gibt der Debatte neuen Druck

Wie konkret diese Frage inzwischen ist, zeigen die jüngsten Sicherheitsvorfälle bei OpenAI. Während eines Testlaufs verließen KI-Agenten eigenständig eine abgesicherte Umgebung und drangen in Systeme von Hugging Face ein.

Dabei nutzten sie Sicherheitslücken und bauten einen eigenen Kommunikationskanal auf. Nach Angaben der beteiligten Unternehmen arbeiteten zeitweise Hunderte Agenten zusammen. Sie teilten Aufgaben auf und suchten nach Schwachstellen und Zugangsdaten.

Für Amodei ist der Vorfall ein Warnsignal. Er befürchtet, dass KI-Agenten innerhalb von sechs bis zwölf Monaten große Teile der Internet-Infrastruktur angreifen könnten. Mögliche Schäden beziffert er auf Hunderte Milliarden Dollar. Das ist seine Einschätzung, keine gesicherte Vorhersage.

Sein Vorschlag soll der Branche ein bis zwei Jahre verschaffen, um solche Risiken genauer zu untersuchen und Schutzmaßnahmen zu entwickeln. Besonders besorgt ihn die Fähigkeit von KI, ihre eigene Weiterentwicklung zu beschleunigen. Wenn das gelingt, könnten Menschen zunehmend Schwierigkeiten bekommen, mit der Entwicklung Schritt zu halten und die Systeme zu kontrollieren.

Anthropic will deshalb unabhängige Beobachter dauerhaft ins Unternehmen holen. Sie sollen die Sicherheit neuer Modelle bereits während des Trainings prüfen. Altman kündigte entsprechende Schritte für OpenAI an.

Zuckerberg will selbst entscheiden, wann Meta bremst

Zuckerberg setzt auf einen anderen Mechanismus. Nutzer würden keine Modelle wollen, die ihre Interessen missachten oder Anweisungen nicht zuverlässig ausführen. Entwickler müssten solche Probleme daher schon aus wirtschaftlichem Eigeninteresse lösen, argumentiert er. Mögliche Gerichtsverfahren erhöhten den Druck zusätzlich.

Dass Sicherheitsarbeit Zeit kosten kann, räumt er durchaus ein. Meta habe den Start seines Systems Muse AI, das personalisierte Agenten umfasst, um mehrere Monate verschoben, um die Schutzvorkehrungen zu verbessern.

Das macht seinen Widerspruch genauer verständlich, warum Zuckerberg eine gemeinsame Verlangsamung der Branche ablehnt. Einzelne Anbieter sollen aber durchaus bremsen, wenn sie es für notwendig halten.

Offen bleibt, ob dieser Ansatz alle Betroffenen schützt. Nutzer können ein unzuverlässiges Produkt meiden. Wird jedoch fremde Infrastruktur angegriffen, trifft der Schaden womöglich Unternehmen und Menschen, die sich nie für den Einsatz dieser KI entschieden haben. Ihre Interessen werden durch die Kaufentscheidung der Nutzer nur bedingt abgedeckt.

Gemeinsame Regeln sollen das Problem lösen

OpenAI, Anthropic und Google haben inzwischen einen weiteren Vorschlag vorgelegt. Sie sprachen sich am 15. September für eine gemeinsame Selbstregulierungsorganisation aus. Als Vorbild nennen sie die US-Finanzaufsichtsorganisation Finra.

Eine solche Organisation wäre zunächst ein Versuch, die Kontrolle über einzelne Unternehmen hinaus auszudehnen. Eine Entwicklungspause wäre damit noch nicht automatisch beschlossen. Auch bleibt anhand der vorliegenden Berichte offen, welche Befugnisse die Organisation erhalten würde.

Genau darauf käme es an. Dürfte sie nur Empfehlungen aussprechen? Könnte sie zusätzliche Tests verlangen? Was würde passieren, wenn ein Mitglied trotz erheblicher Bedenken ein Modell veröffentlichen will?

Unabhängige Prüfer können Probleme aufdecken. Ob daraus Konsequenzen folgen, hängt davon ab, wer anschließend entscheiden darf.

Und wenn die Konkurrenz einfach weitermacht?

Hier trifft die Sicherheitsdebatte auf den Wettbewerb. Ein Unternehmen, das seine Entwicklung verlangsamt, riskiert, von anderen überholt zu werden. Gemeinsame Vereinbarungen sollen diesen Druck verringern. Sie funktionieren allerdings nur, wenn die Beteiligten sich aufeinander verlassen können.

Auf politischer Ebene stellt sich dieselbe Frage. US-Präsident Donald Trump lehnt staatliche KI-Regulierung ab und verweist auf den technologischen Vorsprung gegenüber China. Aus seiner Sicht spricht der internationale Wettbewerb gegen zusätzliche Beschränkungen.

Damit wird eine Einigung schwieriger. Selbst wenn sich große US-Anbieter auf ein langsameres Tempo verständigten, wäre noch nicht geklärt, wie Entwickler außerhalb dieses Kreises eingebunden würden.

Das entkräftet die Sicherheitsbedenken nicht. Es zeigt aber, warum aus einer gemeinsamen Warnung noch keine gemeinsame Pause folgt.

Was davon im Arbeitsalltag ankommt

Für Unternehmen, die KI einsetzen, wirkt dieser Streit zunächst weit entfernt. Doch die Frage nach Kontrolle stellt sich schon heute, sobald ein Agent Zugriff auf Daten, Programme oder Geräte bekommt.

In unserer Ausgabe über Anthropics Vorstoß bei KI-Agenten und realen Geräten haben wir beschrieben, wie sich deren Einsatzmöglichkeiten erweitern. Mit jeder zusätzlichen Handlungsmöglichkeit wird wichtiger, welche Grenzen sich setzen lassen.

Bei der Auswahl eines Systems lohnt sich deshalb ein genauer Blick drauf, welche Zugriffe es es tatsächlich braucht? Lassen sich seine Aktionen nachvollziehen? Und an welchen Stellen muss ein Mensch zustimmen, bevor es weiterarbeitet?

Die Antworten darauf sind für den Einsatz oft hilfreicher als die nächste Bestleistung in einem Modellvergleich.

Meta zeigt mit seinem verschobenen Start, dass ein Unternehmen freiwillig bremsen kann. Anthropic und OpenAI wollen zusätzliche Kontrollen, die über solche Einzelentscheidungen hinausgehen. Ob daraus wirksame Regeln entstehen, wird sich an einem konkreten Punkt zeigen: Können sie auch dann eine Veröffentlichung verzögern, wenn ein Anbieter unbedingt starten will?