Unser Hackathon-Paper: Wie Teamkontext KI-Agenten zum Regelbruch bringt

Zusammen mit Vikram Viswanath (University of Sydney) und Lou Maessen (Maastricht University) habe ich am Swarm Alignment Hackathon von Apart Research teilgenommen. Dabei ist ein Paper entstanden, in dem wir untersuchen, wie der soziale Kontext in einem Team aus KI-Agenten einzelne Agenten dazu bringen kann, Regeln zu brechen.
Auslöser war der Hugging-Face-Vorfall: Dort haben manche Agenten Regeln erst gebrochen, nachdem sie es bei anderen gesehen hatten. Wir wollten herausfinden, was einen Agenten in einem Schwarm eher dazu bringt. Dafür haben wir Versuchsaufbauten aus der Soziologie übernommen, etwa das Konformitätsexperiment von Asch.
Allein und mit einer Aufgabe, die klar formulierten Regeln widerspricht, hat ein Agent in 40 % der Fälle gegen die Regeln verstoßen. Schon der Hinweis, dass er Teil eines Teams ist, hat die Quote auf 55 % erhöht. Mit einem neutralen Message Board voller ganz normaler Beiträge stieg sie sogar auf 73 %. Das liegt nicht einfach an einem längeren Prompt, denn bis zu rund 16.000 Tokens neutraler Text haben die Verstöße nicht erhöht. Spannend war auch die Rolle des Reasonings: Ohne Reasoning sind die Agenten regelbrechenden Teammitgliedern häufiger gefolgt. Mit Reasoning haben sie meistens einen Test vermutet und die Regel seltener gebrochen.
Es hat großen Spaß gemacht, mit Vikram und Lou daran zu arbeiten! Das ganze Paper gibt es auf der Website von Apart Research.





