Zum Inhalt springen
AI Safety HannoverAktuelles

News

Was bei uns los ist: Events, Vorträge und Gespräche von AI Safety Hannover.

  1. Unser Hackathon-Paper: Wie Teamkontext KI-Agenten zum Regelbruch bringt

    Titelseite des Papers „How team context makes AI agents break rules“ von Julius Großerode, Vikram Viswanath und Lou Maessen mit Apart Research
    Unser Paper vom Swarm Alignment Hackathon

    Zusammen mit Vikram Viswanath (University of Sydney) und Lou Maessen (Maastricht University) habe ich am Swarm Alignment Hackathon von Apart Research teilgenommen. Dabei ist ein Paper entstanden, in dem wir untersuchen, wie der soziale Kontext in einem Team aus KI-Agenten einzelne Agenten dazu bringen kann, Regeln zu brechen.

    Auslöser war der Hugging-Face-Vorfall: Dort haben manche Agenten Regeln erst gebrochen, nachdem sie es bei anderen gesehen hatten. Wir wollten herausfinden, was einen Agenten in einem Schwarm eher dazu bringt. Dafür haben wir Versuchsaufbauten aus der Soziologie übernommen, etwa das Konformitätsexperiment von Asch.

    Allein und mit einer Aufgabe, die klar formulierten Regeln widerspricht, hat ein Agent in 40 % der Fälle gegen die Regeln verstoßen. Schon der Hinweis, dass er Teil eines Teams ist, hat die Quote auf 55 % erhöht. Mit einem neutralen Message Board voller ganz normaler Beiträge stieg sie sogar auf 73 %. Das liegt nicht einfach an einem längeren Prompt, denn bis zu rund 16.000 Tokens neutraler Text haben die Verstöße nicht erhöht. Spannend war auch die Rolle des Reasonings: Ohne Reasoning sind die Agenten regelbrechenden Teammitgliedern häufiger gefolgt. Mit Reasoning haben sie meistens einen Test vermutet und die Regel seltener gebrochen.

    Es hat großen Spaß gemacht, mit Vikram und Lou daran zu arbeiten! Das ganze Paper gibt es auf der Website von Apart Research.

  2. Ein Tag bei AI Safety Berlin

    Collage aus vier Fotos
    Vorträge, Coworking und T-Shirts bemalen zum Foresight-Geburtstag

    Am 8. Oktober bin ich mit dem Zug nach Berlin gefahren, um ein paar der spannendsten Leute aus der deutschen AI-Safety-Community zu treffen. Eingeladen hatte AI Safety Berlin ins Cambridge Innovation Center, wo sie sich zweimal im Monat zum Coworking treffen. Mit dabei waren auch Leute vom Foresight Institute, die den 40. Geburtstag ihres Instituts gefeiert haben!

    Nach dem gemeinsamen Mittagessen folgte ein Vortrag von Dr. Babita Singh über DNA-Sequenzierung und Biorisiken.

    Später ging es weiter zu Ojin. Dort hatte AI Safety Node die PROBE Evaluation Design Jam mit mehreren Vorträgen organisiert. Einen davon hielt Trevor Lohrbeer zum Thema KI-Evaluierung. Er ist Mitgründer von AI Safety Berlin und forscht unabhängig zu AI Safety. In seinem Vortrag ging es um neue Entwicklungen in den Frontier-Labs, die es schwerer machen, die Chain of Thought von KI-Agenten im Blick zu behalten.

    Es war echt inspirierend, mit so vielen Leuten aus ganz unterschiedlichen Richtungen zu reden, die sich alle über diese Fragen Gedanken machen.

  3. Wir waren bei Visions4AI

    Zwei Mitglieder von AI Safety Hannover stehen neben einem humanoiden Roboter, im Hintergrund leuchtet der Visions4AI-Schriftzug vor der Bühne.
    Bei Visions4AI, Leibniz Universität Hannover

    Am 5. Oktober fand Visions4AI an der Leibniz Universität Hannover statt. Wir waren vor Ort und haben uns ganz unterschiedliche Sichtweisen auf die Zukunft von KI angehört.

    Im Austausch mit Gastrednern und Professoren sind uns vor allem zwei Dinge aufgefallen: Das Misstrauen gegenüber großen KI-Firmen wie OpenAI und Anthropic ist groß, genauso wie der Frust darüber, dass Deutschland in diesem Bereich noch hinterherhinkt.

    Es gab aber auch viele positive Gespräche. Besonders interessant war der Austausch mit Kristian Kersting, der einen Vortrag über „Vernünftige KI“ gehalten hat. Seine Botschaft: Es ist möglich und wichtig, KI verantwortungsvoll zu entwickeln.