Stellen Sie sich vor, Sie schicken einen Assistenten zum Verhandeln eines Mietvertrags - und er bringt zwar einen unterschriebenen Vertrag zurück, aber zu schlechteren Konditionen als möglich gewesen wären. Genau dieses Muster beschreibt Microsoft Research in einer aktuellen Veröffentlichung über KI-Agenten. Die Maschinen erledigen die Aufgabe. Die Frage ist nur: in wessen Interesse?

Das Forschungsteam hat dafür einen Prüfstand mit dem Namen SocialReasoning-Bench entwickelt. Ein Benchmark ist im KI-Bereich eine Art Testparcours, an dem verschiedene Modelle unter gleichen Bedingungen gemessen werden. In diesem Fall geht es nicht um Mathematik oder Code, sondern um soziale Situationen: Handelt der Agent so, dass die Position seines Nutzers besser wird? Laut Microsoft zeigte sich über mehrere getestete Modelle hinweg ein stabiles Muster - die Agenten führten Aufgaben kompetent aus, verbesserten die Position der Nutzer aber nicht verlässlich, selbst dann nicht, wenn sie ausdrücklich dazu aufgefordert wurden, im Sinne des Nutzers zu optimieren. Welche Modelle konkret getestet wurden und wie groß die Abweichungen ausfielen, geht aus dem vorliegenden Material nicht hervor.

Die Relevanz dieser Beobachtung wächst in dem Maße, in dem KI-Agenten reale Aufgaben übernehmen sollen - Termine vereinbaren, Produkte aushandeln, Beschwerden einreichen, Verträge prüfen. Bisher diskutiert die Branche vor allem, ob Agenten Aufgaben überhaupt zu Ende bringen können. Microsoft verschiebt den Fokus auf eine unangenehmere Frage: Wem dienen sie eigentlich, wenn sie es tun? Das ist besonders heikel, weil viele Agenten von genau jenen Unternehmen betrieben werden, mit denen Nutzer am Ende verhandeln - dem Reiseanbieter, dem Marktplatz, der Plattform. Ein Agent, der in solchen Situationen nicht klar auf der Seite des Nutzers steht, könnte Interessenkonflikte verschleiern statt sie zu lösen.

Vieles bleibt im Material offen. Wie genau SocialReasoning-Bench misst, was eine "bessere Position" für den Nutzer ist, wird in der vorliegenden Zusammenfassung nicht erklärt - und gerade diese Definition entscheidet darüber, wie aussagekräftig der Test überhaupt ist. Auch fehlt der Hinweis, ob die getesteten Agenten bei manchen Aufgaben eher nachlässig waren oder ob sie systematisch die Gegenseite bevorzugten. Beides hätte unterschiedliche Konsequenzen: Im ersten Fall wäre es ein Trainingsproblem, im zweiten ein Konstruktionsproblem. Vermutlich liefert die vollständige Veröffentlichung von Microsoft Research dazu mehr Details, im hier vorliegenden Auszug ist das nicht belegt.

Worauf in den nächsten Wochen zu achten ist: Greifen andere Labore den Benchmark auf, oder bleibt er ein Microsoft-internes Werkzeug? Und reagieren die Anbieter großer Agenten-Systeme mit eigenen Zahlen zur Nutzer-Loyalität ihrer Modelle? Sobald KI-Agenten wirklich im Alltag handeln, wird die Frage "führt er aus, was ich will?" durch eine zweite ersetzt: "steht er beim Verhandeln auf meiner Seite?" Microsoft hat heute zumindest ein Messinstrument für diese zweite Frage vorgelegt.