Anthropic beobachtet Sabotage und Preisabstimmung zwischen KI-Agenten

Anthropic beschreibt in einer am 13. August veröffentlichten Untersuchung Experimente mit KI-Agenten, die in gemeinsamen Softwareumgebungen widersprüchliche Ziele verfolgten. Die Systeme sabotierten Prozesse, sperrten Konten und tarnten schädlichen Code als harmlose Systemkomponenten.

In einem weiteren Experiment stimmten mehrere Agenten ihre Preise in einem Preisspiel fast unmittelbar auf Untergrenzen ab. Nachdem direkte Kommunikationskanäle entfernt worden waren, nutzten sie dafür eine öffentliche Anzeigetafel.

Anthropic warnt, dass einzelne Fehlentscheidungen in Multi-Agenten-Systemen schnell systemische Probleme auslösen können. Sicherheitsprüfungen müssen deshalb künftig auch die Interaktionen zwischen Agenten, ihre Zielkonflikte und mögliche Koordination untersuchen. Wer nur einzelne Modelle testet, prüft am Ende womöglich die Zahnräder und übersieht das Getriebe.