Mehrsprachige Evaluation

Dieses Kapitel gibt es, weil fast kein Praxisleitfaden eines enthält. Die Belege sagen aber: Es sollte eines geben. Nehmen wir an, Ihr Produkt bedient Nutzer in mehreren Sprachen, und Sie evaluieren nur auf Englisch. Dann wissen Sie nicht, wie das Produkt für die meisten Ihrer Nutzer abschneidet. Und die Standardtechniken werden in anderen Sprachen schlechter. Diese Verschlechterung ist gemessen und konkret. Erwähnt wird sie selten.

Was die Belege sagen

Drei Befunde. Alle stammen aus Arbeiten von 2025 bis 2026. Alle zeigen in dieselbe Richtung.

Befund: How Reliable is Multilingual LLM-as-a-Judge? (EMNLP Findings 2025) zeigt, dass LLM-Judges über Sprachen hinweg keine konsistenten Urteile fällen. Die Arbeit berichtet im Schnitt ein Fleiss' κ von etwa 0,3. Bei ressourcenarmen Sprachen ist die Leistung noch schlechter.

Quelle: How Reliable is Multilingual LLM-as-a-Judge?, EMNLP Findings 2025

Lassen Sie denselben Inhalt in fünf Sprachen bewerten. Sie bekommen deutlich verschiedene Urteile. Das ist kein feiner Effekt. Ein κ von etwa 0,3 bedeutet schwache Übereinstimmung.

Befund: Does the Judge Prefer English? (2026) prüfte vier per API erreichbare Judges an allen 419 Antwortpaaren aus LLMBar. Die Paare lagen auf Englisch, auf Chinesisch und in chinesisch-englisch gemischten Varianten vor. Das ergab 13.408 paarweise Urteile. Chinesische und gemischte Varianten lösten 10,7–14,4 % Präferenzwechsel gegenüber Englisch aus. Und alle Judges erreichten ihre höchste Genauigkeit auf Englisch.

Dieselbe Arbeit berichtet ein echtes Gegengewicht, und das gehört hierher: Bei Proben mit übersetzungsgleichen Paaren zeigte sich keine systematische Bevorzugung des Englischen. Die meisten Paare wurden als Gleichstand gewertet. Wo der Judge sich entschied, fiel das Urteil häufiger zugunsten des Chinesischen aus. Der belastbare Befund ist Instabilität beim Sprachwechsel, nicht eine pauschale Bevorzugung des Englischen.

Quelle: Does the Judge Prefer English?, 2026

Mehr als jedes zehnte Urteil kippt, wenn Sie nur die Sprache ändern. Und das war ein Vergleich von nur zwei Sprachen, mit starken Modellen, auf einem kuratierten Benchmark. Behandeln Sie diese Zahl als Untergrenze, nicht als schlimmsten Fall.

Befund: Arbeiten zu mehrsprachigen und ressourcenarmen Umgebungen (2026) benennen drei Probleme, die sich gegenseitig verstärken: Die Ergebnisse hängen von der Prompt-Sprache ab. Die Leistung bei ressourcenarmen Sprachen wird überschätzt. Und die meisten Teams verlassen sich auf einen einzelnen Judge, ohne Ensemble und ohne Vergleich mehrerer Judges.

Quelle: Challenges and Recommendations for LLMs-as-a-Judge in Multilingual Settings, 2026

Das mittlere Problem ist das gefährliche. Das Problem ist nicht, dass die Werte rauschen. Das Problem ist, dass sie zu optimistisch ausfallen. Und zwar genau dort, wo Sie sie am schlechtesten prüfen können.

Warum das Übersetzen Ihres Eval-Sets das nicht behebt

Der naheliegende Schritt: das englische Eval-Set maschinell übersetzen. Das ist billig. Und es ist schlechter, als es aussieht.

Übersetzungssprache ist nicht Ihr Verkehr. Übersetztes Englisch behält englische Satzstellung, englischen Gedankenaufbau und englisch geformte Fragen. Echte deutsche Nutzer schreiben kein übersetztes Englisch. Sie haben dann ein Set, das auf Deutsch ist, aber wie Englisch verteilt.

Die Fehlermodi übersetzen sich nicht mit. Ihr englisches Set enthält keine Beispiele für Fehler, die nur in einer anderen Sprache vorkommen. Diese Fehler waren nie in der Quelle. Deutsche Komposita bringen die Erkennung von Entitäten und das Zerlegen in Textabschnitte durcheinander. Im Englischen taucht das nie auf. Auch die Wahl zwischen Sie und du ist ein Beispiel. Im deutschen Geschäftsverkehr ist sie eine Frage der Korrektheit. Im Englischen gibt es kein Gegenstück. Also deckt kein englischer Testfall sie ab.

Referenzantworten werden doppelt unzuverlässig. Eine übersetzte Gold-Antwort ist die Übersetzung einer gültigen englischen Antwort. Sie ist nicht die beste Antwort in der Zielsprache.

Maschinelle Übersetzung ist ein vernünftiger Weg, um erste Abdeckung zu bekommen. Als Grundlage für Messung taugt sie nicht. Behandeln Sie ein übersetztes Set als Smoke-Test. Das echte Set bauen Sie aus echtem Verkehr in jeder Sprache.

Fehlermodi, die nur außerhalb des Englischen auftreten

Für diese Fälle lohnen sich eigene Testfälle:

Die meisten davon sind mit Code prüfbar und kosten im Betrieb nichts. Allein die Erkennung der Ausgabesprache fängt erstaunlich viel ab. Und sie braucht keinen Judge.

Ein gangbares Vorgehen

1. Die Übereinstimmung des Judges je Sprache messen. Nicht einmal global, sondern für jede Sprache einzeln. Die Messung von Trefferquote und Richtig-negativ-Rate wiederholen Sie für jede Sprache, die Sie bedienen. Die Labels dafür kommen von einer muttersprachlichen Person. Ein Judge, der auf Englisch validiert ist, ist auf Englisch validiert. Rechnen Sie damit, dass er anderswo schlechter ist, und planen Sie Budget für das Ergebnis ein. Wie viel schlechter, sagen die Befunde oben nicht. Sie messen Uneinigkeit zwischen Sprachen und Präferenzwechsel im paarweisen Vergleich. Sie messen nicht, wie stark die Trefferquote eines Judges sinkt, der einzelne Antworten bewertet. Diese Zahl gibt es für Ihre Aufgabe erst, wenn Sie sie selbst erheben. Bis dahin ist jede Annahme darüber nur eine Annahme.

2. Die Prompt-Sprache des Judges festlegen und protokollieren. Die Prompt-Sprache verändert die Ergebnisse. Sie ist also eine Versuchsbedingung. Nageln Sie sie fest wie alles andere im Harness. Ob der Judge auf Englisch oder in der Sprache des Inhalts urteilen soll, ist für Ihre Aufgabe eine empirische Frage. Testen Sie beides einmal. Danach ändern Sie es nicht mehr.

3. Wo möglich sprachunabhängige Grader bevorzugen. Schemaprüfung, Auflösbarkeit von Zitaten, Abgleich von Tool-Aufrufen und numerische Prüfungen funktionieren in jeder Sprache gleich. Das ist das stärkste Argument dafür, so viel wie möglich mit den billigen Gradern zu erledigen: Die billigen Grader sind zugleich die, die über Sprachen hinweg nicht schlechter werden.

4. Eine Jury nutzen, wo ein Judge nötig ist. Die Abhängigkeit von einem einzelnen Judge wird hier ausdrücklich als Problem benannt. Ein Panel senkt die Varianz. Es beseitigt aber keine Verzerrungen, die alle Mitglieder gemeinsam haben. Mehr dazu in Wo LLM-Judges versagen.

5. Muttersprachliche Personen für die Labels gewinnen. Dafür gibt es keinen Ersatz. Eine muttersprachliche Person labelt je Sprache 100 echte Traces. Das sagt Ihnen mehr als jede Menge übersetzter Werkzeuge. Das ist der teure Teil. Und es ist der Teil, der funktioniert.

6. Je Sprache berichten, nie zusammengefasst. Ein Gesamtwert wird von Ihrem englischen Verkehr dominiert. Er verdeckt eine versagende Sprache vollständig. Trennen Sie in jedem Bericht nach Sprache. Warum kleine Teilmengen je Sprache breite Fehlerspannen brauchen, erklärt das Kapitel Statistik.

Die Kosten, ehrlich benannt

Wer das richtig macht, vervielfacht seine Annotationskosten. Der Faktor ist ungefähr die Zahl der Sprachen, die Sie ernst nehmen. Das ist ein echtes Budget. Die meisten Teams können es nicht für jede Sprache ausgeben, die sie offiziell unterstützen.

Der vernünftige Kompromiss ist eine Stufenliste statt einer Behauptung:

• Stufe 1: volle Behandlung. Das heißt muttersprachliche Labels, Übereinstimmung des Judges je Sprache, Bericht je Sprache. Das gilt für Ihre ein bis zwei größten nicht-englischen Märkte.
• Stufe 2: sprachunabhängige Grader auf echtem Verkehr, plus eine kleine Stichprobe, die eine muttersprachliche Person prüft. Deterministische Prüfungen und menschliche Stichproben, aber kein validierter Judge.
• Stufe 3: nur Erkennung der Ausgabesprache und Überwachung von Abstürzen. Hier messen Sie keine Qualität. Sagen Sie das intern offen, statt eine Zahl zu berichten, an die Sie selbst nicht glauben.

Die Stufen zu benennen ist der nützliche Teil. Aus „wir unterstützen 12 Sprachen“ wird eine ehrliche Aussage darüber, für welche Sprachen Sie etwas belegen können.

Umstritten: Soll der Judge auf Englisch oder in der Sprache des Inhalts urteilen? Auf Englisch zu urteilen nutzt die stärkste Fähigkeit der Modelle. Der Judge muss dann aber über Text in einer anderen Sprache nachdenken. Die Ergebnisse zum Sprachwechsel legen nahe, dass genau dort die Stabilität bricht. In der Zielsprache zu urteilen hält die Aufgabe einsprachig, nutzt aber eine schwächere Fähigkeit. Eine geklärte Antwort gibt es nicht. Die richtige Wahl scheint von der Aufgabe abzuhängen. Der nützliche Schritt ist, beides an 50 gelabelten Beispielen zu testen, statt die Voreinstellung eines anderen zu übernehmen.

Häufiger Fehler: Einen einzigen globalen Qualitätswert für ein mehrsprachiges Produkt berichten. Dieser Wert ist ein Mittelwert, und Ihre größte Sprache dominiert ihn. Je schlechter eine Sprache abschneidet, desto weniger bewegt sie die Zahl. Denn sie hat meist auch weniger Verkehr. Die Kennzahl ist strukturell blind für genau den Fehler, den sie sichtbar machen soll.