Statistik für kleine Eval-Sets

Ihr Eval-Wert ist keine Messung. Er ist eine Schätzung aus einer Stichprobe. Und wie jede Schätzung hat er eine Streuung. Die meisten Eval-Berichte lassen diese Streuung weg. So kommt es, dass ein Team eine Prompt-Änderung wegen drei Punkten Verbesserung ausliefert. Und die drei Punkte waren Rauschen.

Die Rechnung hier ist Statistik aus dem Grundstudium. Sie steht in diesem Leitfaden, weil sie in Praxistexten über Evals fast völlig fehlt. Und dieses Fehlen ist teuer.

Ihr Eval-Set ist eine Stichprobe

Sie wollen wissen, wie Ihr System auf allen Eingaben abschneidet, die Ihre Nutzer je schicken werden. Gemessen haben Sie an 100 davon. Die Lücke zwischen beidem heißt Stichprobenfehler. Und sie lässt sich beziffern.

Nehmen wir ein binäres Eval, also bestanden oder nicht bestanden. Genau das empfiehlt das Kapitel Datensatz-Design. Dann lautet der Standardfehler der Bestehensquote:

SE = sqrt( p * (1 - p) / n )

Dabei ist p die beobachtete Bestehensquote und n die Anzahl der Beispiele. Das 95-%-Konfidenzintervall ist p ± 1,96 * SE.

Ein 95-%-Konfidenzintervall ist so gebaut: Wiederholen Sie dieselbe Messung mit immer neuen Stichproben, dann liegt der wahre Wert in 95 von 100 Wiederholungen im Intervall. Das Intervall sagt nicht, wie gut Ihr System ist. Es sagt, wie stark Ihre Zahl davon abhängt, welche Beispiele zufällig im Set gelandet sind.

Ein Beispiel. Sie fahren 100 Beispiele, 70 bestehen.

Schritt für Schritt, jede Zeile einzeln:

p = 0,70          70 von 100 haben bestanden
n = 100           so viele Beispiele haben Sie gefahren

Schritt 1, Standardfehler:
  p * (1 - p)     = 0,70 * 0,30 = 0,21
  geteilt durch n = 0,21 / 100  = 0,0021
  Wurzel daraus   = sqrt(0,0021) = 0,0458

Schritt 2, halbe Intervallbreite:
  1,96 * 0,0458 = 0,090

Schritt 3, Intervall bilden:
  untere Grenze = 0,70 - 0,090 = 0,610
  obere Grenze  = 0,70 + 0,090 = 0,790

Die 1,96 ist nicht willkürlich. In einer Normalverteilung liegen 95 % aller Werte innerhalb von 1,96 Standardfehlern um den Mittelwert. Für ein 99-%-Intervall stünde dort 2,58.

In Prozent umgerechnet sind 0,610 und 0,790 genau 61 % und 79 %.

Ihre 70 % liegen also irgendwo zwischen 61 % und 79 %. Das ist der ehrliche Bericht. Eine Änderung bringt den Wert auf 74 %? Damit ist nicht gezeigt, dass sie überhaupt etwas bewirkt hat.

Diese eine Rechnung, einmal angewendet, verändert dauerhaft, wie ein Team über Eval-Ergebnisse spricht.

Für einen kontinuierlichen Wert lautet das Gegenstück SE = σ / sqrt(n). Dabei ist σ die Standardabweichung der Einzelwerte.

Die Formel hat eine Grenze: Nahe 0 % und nahe 100 % versagt sie. Bei 100 von 100 liefert sie einen Standardfehler von null. Bei 98 von 100 liefert sie eine Obergrenze über 100 %. Genau dort leben aber Regressionssuiten. Ab etwa 90 % Bestehensquote nehmen Sie deshalb das Wilson-Intervall, ebenso unter 10 %. Es ist für dieselben Zahlen asymmetrisch und bleibt zwischen 0 und 100 %. Bei 98 von 100 lautet es 93 % bis 99,4 %. Jede Statistikbibliothek hat es. In statsmodels heißt es proportion_confint(k, n, method="wilson").

Drei Dinge, die das Intervall verengen

Drei Wörter tragen gleich viel Gewicht. Deshalb hier in einfachen Worten, was sie bedeuten:

• Das Intervall ist das „irgendwo zwischen 61 % und 79 %“, das Sie gerade ausgerechnet haben. Es ist Ihre Unsicherheit, aufgeschrieben.
• Fehlerbalken (englisch error bars) sind dasselbe, nur in ein Diagramm gezeichnet: die kleinen Striche über und unter einem Balken. Gleiche Idee, anderes Kleid. Millers Aufsatz trägt dieses Wort im Titel.
• Varianz ist, wie stark Ihre Zahl schwankt, ohne dass Ihr System besser oder schlechter wird. Mehr Varianz, breiteres Intervall.

Schmaler ist besser. Bei einem schmalen Intervall können Sie eine echte Verbesserung von Rauschen unterscheiden. Bei einem breiten können Sie das nicht. Dann liefern Sie Änderungen aus, die nichts bewirkt haben. Oder Sie verwerfen Änderungen, die funktioniert haben.

Der naheliegende Weg zu einem schmaleren Intervall sind mehr Beispiele, das sqrt(n) in der Formel. Das ist teuer. Die drei Techniken unten verengen das Intervall, ohne dass Sie mehr Beispiele sammeln.

Paarweise vergleichen

Eine Version ist ein Stand Ihres Systems. Version A ist der Prompt, der heute läuft. Version B ist der geänderte Prompt, den Sie ausliefern wollen. Es kann auch das heutige Modell und ein neues sein. Im Praxisbeispiel sind es der alte und der strengere System-Prompt von Tag 5. Die Frage ist immer: Ist B besser als A?

Paaren heißt: Beide Versionen laufen über dieselben Fälle. Dann schauen Sie sich jeden Fall einzeln an und notieren, ob A und B ihn bestanden haben. Sie vergleichen nicht die zwei Prozentzahlen am Ende.

Ein Beispiel. Version A besteht 70 von 100 Fällen. Version B besteht 74. Fall für Fall sieht das so aus:

Die ersten zwei Zeilen sind 88 Fälle. Bei denen kommt bei A und B dasselbe heraus. Diese Fälle sagen nichts darüber, welche Version besser ist. Nur die letzten zwei Zeilen zählen: 12 Fälle, bei denen sich A und B unterscheiden. B gewinnt 8 davon, A gewinnt 4.

Jetzt die Spanne. Die Spanne ist der Bereich, in dem der wahre Unterschied liegen kann. Gemessen sind +4 Punkte für B. Es gibt zwei Arten, die Spanne dazu zu berechnen:

Ohne Paaren:  +4 Punkte ± 12,4
Mit Paaren:   +4 Punkte ±  6,8

Ohne Paaren rechnen Sie so, als wären die zwei Prozentzahlen aus zwei verschiedenen Sets gekommen. Dann addiert sich das Rauschen beider Zahlen: 1,96 × Wurzel(0,70×0,30/100 + 0,74×0,26/100) = 0,124. Mit Paaren zählen nur die 12 Fälle, bei denen sich A und B unterscheiden: 1,96 × Wurzel(8 + 4) / 100 = 0,068. Diese zweite Formel sollten Sie sich merken: 1,96 mal die Wurzel aus der Zahl der Fälle, bei denen sich die Versionen unterscheiden, geteilt durch die Zahl aller Fälle. Das Gate in Evals in der CI rechnet genau so.

Dieselben 100 Fälle, und die Spanne ist fast halb so groß. Nur weil Sie nicht weggeworfen haben, welcher Fall bei welcher Version wie ausging.

Zwei Dinge dazu. Erstens: Die Spanne ±6,8 reicht von −2,8 bis +10,8. Die Null liegt also noch drin. 4 Punkte auf 100 Fällen beweisen auch mit Paaren nicht, dass B besser ist. Sie sind nur näher dran. Zweitens: Wie viel das Paaren bringt, hängt davon ab, wie oft A und B dasselbe Ergebnis haben. Je öfter, desto mehr bringt es. Die Zahlen oben sind ein Beispiel.

Befund: Millers Adding Error Bars to Evals (Anthropic, 2024) berichtet: Die gepaarte Differenzanalyse senkt die Varianz relativ um etwa ein Drittel. Verglichen wird mit dem Fall, dass man beide Läufe als unabhängige Stichproben behandelt.

Für die Praxis heißt das: Zwei Versionen zu vergleichen ist viel leichter, als zu sagen, wie gut eine Version für sich genommen ist. Die meisten Eval-Entscheidungen sind Vergleiche. Sie sind also meist im leichten Fall. Solange Sie paaren.

Pro Frage mehrfach ziehen

Stellen Sie einem Modell dieselbe Frage zweimal, bekommen Sie womöglich zwei verschiedene Antworten. Genau das heißt stochastisch. Und es heißt: Ein Teil des Schwankens in Ihrem Wert kommt daher, dass das Modell sich mit sich selbst uneins ist. Nicht daher, dass sich Ihre Beispiele unterscheiden.

Stellen Sie jede Frage K-mal, sagen wir fünfmal. Mitteln Sie die fünf Werte für diese Frage. Nehmen Sie diesen Mittelwert als Wert der Frage, statt eines einzelnen Würfelwurfs. Das senkt den Stichproben-Anteil der Varianz, ohne dass Sie mehr Fragen brauchen. Das zählt, wenn Fragen teuer zu labeln sind und API-Aufrufe billig.

Miller merkt außerdem an: Manchmal ist das Eval eine Next-Token-Wahl, etwa bei Multiple Choice oder Klassifikation. Dann können Sie die Token-Wahrscheinlichkeiten direkt ablesen, statt zu ziehen. Das beseitigt diese Varianzkomponente vollständig. Temperatur 0 ist die gröbere Fassung derselben Idee. Wann sie passt und wann nicht, steht im Harness-Kapitel.

Mehr Fälle nicht mit mehr Information verwechseln

Angenommen, Ihre 200 Fälle sind 40 Grundsituationen, jede fünfmal anders formuliert. Dann haben Sie keine 200 voneinander unabhängigen Fälle. Sie haben eher 40. Denn wenn das System eine Grundsituation nicht kann, scheitert es an allen fünf Formulierungen zugleich.

Fälle, die so zusammenhängen, nennt man Cluster. Rechnet man die Spanne so aus, als wären alle 200 Fälle unabhängig, wird sie zu schmal. Das ist die gefährliche Richtung des Fehlers: Ein Unterschied sieht sicher aus, der es nicht ist.

Zwei Wörter, die in den Befunden unten vorkommen. Der Standardfehler ist das Maß für das Rauschen einer gemessenen Zahl; die Spanne ist ungefähr das Doppelte davon. Naiv heißt: gerechnet, als wären alle Fälle unabhängig.

Befund: Miller berichtet, dass korrekt geclusterte Standardfehler bis zu dreimal so groß ausfallen können wie in der naiven Rechnung.

Quelle: Miller, Adding Error Bars to Evals

Der Effekt ist nichts Besonderes an Sprachmodellen. Die Umfrageforschung kennt ihn seit den 1960er Jahren. Wer 200 Personen befragt, aber nur 20 Haushalte besucht, hat keine 200 unabhängigen Meinungen. Die Spanne wird um einen Faktor größer, den Kish (1965) den Design-Effekt nannte. Schon ein schwacher Zusammenhang innerhalb der Gruppen treibt den Faktor deutlich über eins. Moulton (1986) hat das für die Ökonometrie durchgerechnet.

Befund: Eine unabhängige Arbeit von 2026 kommt für die LLM-Evaluation zum selben Schluss und geht weiter: Naive Standardfehler fallen 40–60 % kleiner aus als solche, die auch die Varianz durch Judge-Modell, Temperatur und Prompt-Formulierung berücksichtigen. Bei Chatbot-Arena-Daten sinkt die Abdeckung naiver 95-%-Intervalle mit wachsendem n. Korrigierte Intervalle bleiben bei 95 %.

Quelle: Messing, Hidden Measurement Error in LLM Pipelines, 2026

Zur Lesehilfe: Abdeckung heißt, wie oft ein Intervall, das 95 % verspricht, den wahren Wert wirklich enthält. Sinkt sie mit wachsendem n, werden die naiven Intervalle mit mehr Daten nicht besser, sondern zuverlässig zu schmal. Und das ist der unangenehmere der beiden Befunde: Selbst wer die Cluster richtig behandelt, hat das Rauschen noch nicht erfasst, das aus der Wahl des Judge-Modells und der Formulierung des Prompts kommt.

Sie haben öfter Cluster, als Sie denken. Mehrere Nachrichten aus demselben Gespräch. Fragen, die aus demselben Dokument erzeugt wurden. Synthetische Fälle, die aus derselben Kombination von Merkmalen gebaut sind. Kommen Ihre Fälle in solchen Gruppen, dann rechnen Sie den Wert pro Gruppe aus und behandeln die Gruppen als das, was Sie zählen.

Irgendwann ist Ihr Wert keine einfache Bestehensquote mehr: Judge-Werte auf einer Skala, Cluster, gepaarte Unterschiede über Gruppen. Dann gibt es keine einfache Formel mehr für die Spanne. Die Antwort heißt dann Bootstrap, und die Idee ist simpel: Sie tun so, als wären Ihre n Fälle die ganze Welt, und ziehen daraus immer wieder neue Stichproben. Konkret: Ziehen Sie aus Ihren n Fällen n Stück, wobei derselbe Fall mehrfach gezogen werden darf. Bei Clustern ziehen Sie ganze Gruppen. Rechnen Sie den Wert aus. Wiederholen Sie das tausendmal. Sortieren Sie die tausend Werte. Der 25. und der 975. sind die Grenzen Ihrer Spanne. Zwanzig Zeilen Code, keine Annahme über die Verteilung, derselbe Code für jede Kennzahl. Das ist die Standardantwort, sobald eine Formel unhandlich wird.

Wie viele Beispiele brauchen Sie wirklich?

Genug, um den kleinsten Unterschied zu erkennen, auf den Sie reagieren würden. Das ist die Definition. Und es ist eine Rechnung, keine Konvention.

Legen Sie zuerst drei Dinge fest:

• δ (Delta): die kleinste Verbesserung, die eine Auslieferung wert ist. Seien Sie ehrlich. Würden Sie bei 2 Punkten nicht handeln, dann bauen Sie das Eval nicht darauf, 2 Punkte zu erkennen.
• α (Alpha): wie oft Sie einen Unterschied für echt halten dürfen, der keiner ist. Konventionell 0,05, also ein Fehlalarm auf zwanzig.
• 1 − β, die Power: Wenn die Verbesserung wirklich da ist, wie oft soll Ihr Eval sie bemerken? Konventionell 0,80. Ja, das heißt: Der Standard übersieht jede fünfte echte Verbesserung.

Angenommen, Ihre aktuelle Version besteht 70 % und die neue 75 %. Sie wollen wissen, wie viele Beispiele es braucht, um beide zuverlässig zu unterscheiden. Jede Zahl unten ist eine Ihrer drei Festlegungen, nur umgerechnet:

n je Arm ≈ (1,96 + 0,84)² × [p₁(1−p₁) + p₂(1−p₂)] / δ²

Und die Rechnung, Schritt für Schritt:

(1,96 + 0,84)²   = 2,80²          = 7,84
0,70 × 0,30      = 0,21                    ← Streuung der alten Version
0,75 × 0,25      = 0,1875                  ← Streuung der neuen
0,21 + 0,1875    = 0,3975
0,05²            = 0,0025
7,84 × 0,3975 / 0,0025            ≈ 1247

Etwa 1.250 Beispiele je Arm. So viele braucht es, um einen Fünf-Punkte-Unterschied ungepaart zuverlässig zu erkennen. Diese Zahl erschreckt beim ersten Ausrechnen. Und sie erklärt viel darüber, warum Teams Eval-Ergebnisse sehen, die sich nicht wiederholen lassen.

Lesen Sie die Form dieser Formel. Dann können Sie vorhersagen, was Evals billiger macht, ohne sie je wieder auszurechnen. δ steht quadriert im Nenner. Halbieren Sie den Unterschied, den Sie erkennen wollen, dann vervierfacht sich die Zahl der nötigen Beispiele. Wer einen 2,5-Punkte-Unterschied statt eines 5-Punkte-Unterschieds jagt, braucht nicht 2.500 Beispiele, sondern 5.000.

Zwei Auswege, und Sie sollten beide nehmen:

1. Paaren. Also beide Versionen über dieselben Fälle laufen lassen und Fall für Fall vergleichen, wie im Abschnitt Paarweise vergleichen. Die Rechnung oben geht von zwei getrennten Sets aus. Mit Paaren wird die Spanne kleiner, und damit reichen deutlich weniger Fälle für denselben Unterschied.
2. Kleinen Deltas nicht hinterherjagen. Eine Änderung, die eine Auslieferung wert ist, bringt oft 15 Punkte auf einer gezielten Teilmenge. Nicht 3 Punkte auf einem allgemeinen Set. Bauen Sie das Eval um den Fehlermodus aus der Fehleranalyse. Dann wird der Effekt größer, und n bleibt klein.

Befund: Millers ausgearbeitetes Beispiel zeigt: Mehr gezogene Antworten je Frage senkten den kleinsten erkennbaren Effekt von 13,2 % auf 7,5 %. Die Varianzreduktion kauft echte Empfindlichkeit, ohne neue gelabelte Fragen.

Quelle: Miller, Adding Error Bars to Evals

Teilmengen brauchen eigene Spannen, und die sind breit

Eine Teilmenge ist ein Ausschnitt Ihres Eval-Sets: nur die Abrechnungsfragen, nur die Tickets von Neukunden, nur die Fälle mit zwei Fragen. Ergebnisse so aufzuteilen ist unerlässlich, denn erst dann sehen Sie, wo das System scheitert. Aber jede Teilmenge hat weniger Fälle als das ganze Set. Und je weniger Fälle, desto breiter die Spanne.

Ein Beispiel. Eine Teilmenge hat 20 Fälle, 12 davon bestanden, also 60 %. Die Spanne dazu ist rund ±21 Punkte. Der wahre Wert kann also überall zwischen 39 % und 81 % liegen. Aus 60 % auf 20 Fällen lässt sich fast nichts schließen.

Deshalb gilt: Ein schlechter Wert in einer Teilmenge ist ein Verdacht, kein Beweis. Sieht eine Teilmenge schlecht aus, sammeln Sie mehr Fälle für genau diese Teilmenge und messen erneut. Sie rufen nicht sofort einen Rückschritt aus.

Ein zweiter Grund für die Vorsicht: Je mehr Teilmengen Sie ansehen, desto sicherer sieht eine davon nur durch Zufall schlecht aus. Wenn eine Teilmenge in einem von zwanzig Fällen schlecht aussieht, obwohl nichts kaputt ist, und Sie zwölf Teilmengen ansehen, ist im Schnitt eine solche Fehlmeldung dabei. Sie wissen nur nicht, welche. Auch deshalb sind Teilmengen Verdachtsmomente, keine Befunde.

Was zu berichten ist

Ein belastbares Eval-Ergebnis enthält:

• Den Punktschätzer
• Ein Konfidenzintervall, oder n und genug Angaben, um eines zu berechnen
• Name und Version des Datensatzes
• Modell- und Judge-Version, festgenagelt
• Ob der Vergleich gepaart war
• Bei Judge-bewerteten Ergebnissen die TPR/TNR des Judges gegen menschliche Labels

Das sind sechs Zeilen. Sie machen den Unterschied zwischen einer Zahl, nach der ein Team handeln kann, und einer Zahl, über die ein Team streiten kann.

Häufiger Fehler: Eval-Werte auf zwei Nachkommastellen berichten, ohne n. „Faithfulness stieg von 0,82 auf 0,86“ ist kein Befund. Erst müssen Sie wissen, dass auf denselben 400 Beispielen gemessen wurde und dass das Intervall die Null nicht überspannt. Präzision in der Darstellung ist keine Präzision in der Schätzung. Die zusätzlichen Stellen verleiten Leser dazu, Rauschen für Signal zu halten.