Glossar

Begriffe so, wie Praktiker sie tatsächlich verwenden. Zu jedem steht die Verwechslung, die er nahelegt. Wo der Gebrauch uneinheitlich ist, sagen wir das, statt es zu glätten.

Ebenen und Geltungsbereich

Ebene A / B / C: Die Kurzform dieses Leitfadens für Modell-Evals, System-Evals und Prozess-Evals. Siehe Die drei Ebenen. Kein Standardvokabular anderswo; die Unterscheidung machen viele, die Bezeichnungen stammen von uns.

Offline-Eval: Bewertung gegen einen festen Datensatz, bevor das System live geht. Nicht verwechseln mit Batch-Inferenz. „Offline“ meint den Zeitpunkt vor dem Livegang, nicht die Art, wie die Anfragen abgeschickt werden.

Online-Eval: Bewertung von echtem Verkehr im laufenden Betrieb. Nicht verwechseln mit einem Guardrail. Ein Guardrail blockiert; ein Online-Eval zeichnet nur auf.

Komponenten-Eval: Bewertet eine einzelne Stufe einer Pipeline für sich. Nicht verwechseln mit einem Unit-Test. Die Komponente bleibt ein Modell, und ein Modell antwortet nicht immer gleich.

Ende-zu-Ende-Eval: Bewertet die Ausgabe des Gesamtsystems. Sie zeigt, ob ein Komponentenfehler eine Rolle spielte. Sie zeigt nicht, welche Komponente versagt hat.

Grader

Grader / Scorer: Alles, was aus einer Ausgabe einen Wert macht. Beide Wörter meinen dasselbe. „Scorer“ ist der Begriff in Inspect, „Grader“ ist im Fließtext üblicher.

Code-bewertet: Deterministischer Code vergibt den Wert. Nicht verwechseln mit „einfach“. Die Schwierigkeit steckt in der Normalisierungsfunktion.

LLM-as-Judge: Ein Modell bewertet per Prompt die Ausgabe eines anderen Modells. Nicht verwechseln mit einem Reward-Modell. Das ist darauf trainiert, einen einzelnen Präferenzwert auszugeben, und dient einem anderen Zweck.

Punktweise: Bewertet eine Ausgabe allein gegen ein Kriterium. Nötig für absolute Schwellwerte und CI-Gates.

Paarweise: Wählt die bessere von zwei Ausgaben. Verlässlicher bei subjektiven Qualitäten. Zugleich der Ort, an dem der Positions-Bias am stärksten wirkt.

Jury / Panel: Mehrere Judges, deren Urteile zusammengefasst werden. Das senkt die Varianz. Verzerrungen, die alle Mitglieder gemeinsam haben, bleiben.

Referenzbasiert: Vergleicht mit einer Gold-Antwort. Nicht verwechseln mit exaktem Abgleich. Ein referenzbasierter Judge kann eine Umformulierung gelten lassen.

Referenzfrei: Bewertet eine Ausgabe aus sich heraus, ohne Gold-Antwort. Bequem. Und der Grund, warum Faithfulness täuschen kann.

Rubric: Geschriebene Kriterien, die ein Judge anwendet. Nicht verwechseln mit einer Skala. Eine Rubric kann ein binäres Urteil liefern, und meist sollte sie das.

Prozess

Eval (als Artefakt): Ein Verzeichnis mit Falldateien, ein Modul mit Prüffunktionen, ein Runner und eine Ergebnisdatei je Lauf. Ein Eval in fünf Dateien zeigt das kleinste vollständige. Nicht verwechseln mit einem Benchmark; das ist das Eval eines anderen über ein Modell.

Trace: Die vollständige Aufzeichnung einer Interaktion: Eingabe, abgerufener Kontext, Tool-Aufrufe, Zwischenschritte, Ausgabe, Metadaten. Nicht verwechseln mit einer Log-Zeile. Und nicht verwechseln mit einem Span; ein Span ist ein einzelner Schritt innerhalb eines Trace.

Offenes Kodieren: Freie Notizen zu Fehlern schreiben, ohne vorgegebene Kategorien. Entlehnt aus der qualitativen Forschung.

Axiales Kodieren: Diese Notizen zu einer benannten Fehlertaxonomie bündeln. Dieser Schritt macht aus Lesen Wissen.

Fehlertaxonomie: Die benannte Liste der Arten, auf die Ihr System versagt, jede mit Häufigkeit. Das Ergebnis der Fehleranalyse.

Theoretische Sättigung: Der Punkt, an dem neue Traces keine neuen Fehlerkategorien mehr zeigen. Eine echte Abbruchregel: grob 20 saubere Traces in Folge.

Criteria Drift (Kriteriendrift): Der Begriff von Shankar et al. für eine Zwickmühle: Sie brauchen Kriterien, um Ausgaben zu bewerten. Aber erst beim Bewerten entdecken Sie die Kriterien. Der formale Grund, Daten zu lesen, bevor Sie eine Rubric schreiben.

Wohlwollender Diktator: Ein Fachexperte entscheidet allein über Qualität, kein Gremium. Husains Begriff.

Entwicklungsset / Testset: Die zwei Teile eines Eval-Sets. Das Entwicklungsset sehen Sie ständig an, und es darf sich abnutzen. Das Testset fassen Sie nur für eine Ausliefer-Entscheidung an. Danach ersetzen Sie es durch frische Traces. Siehe Datensatz-Design.

Aufbaustapel: Die 30 bis 40 gelabelten Antworten, aus denen die Beispiele eines Judges stammen.

Versiegelter Stapel: Die gelabelten Antworten, an denen ein Judge gemessen wird. Er bekommt sie nie zu sehen. Nicht verwechseln mit dem Testset; das misst das System, nicht den Judge.

Kennzahlen

TPR / TNR: Trefferquote und Richtig-negativ-Rate. Bei einem Judge ist die TPR meist der Recall auf Fehlern. Das ist die entscheidende Zahl, denn der Judge ist dazu da, Fehler zu fangen. Nicht verwechseln mit Accuracy; die bestimmt die Mehrheitsklasse.

Cohens κ: Übereinstimmung zweier Annotatoren, bereinigt um Zufallstreffer. Nicht verwechseln mit roher Übereinstimmung. Die schmeichelt bei unausgewogenen Klassen systematisch.

Fleiss’ κ: Dieselbe Idee für mehr als zwei Annotatoren.

Krippendorffs α: Übereinstimmung, die fehlende Bewertungen und nicht-binäre Skalen verkraftet. Die richtige Wahl für unordentliche reale Annotationsabläufe.

pass@k: Mindestens einer von k Versuchen war erfolgreich. Misst Fähigkeit.

pass^k: Alle k Versuche waren erfolgreich. Misst Zuverlässigkeit. Eingeführt von τ-bench. Nicht verwechseln mit pass@k. Das kleine Zeichen macht einen großen Unterschied: Bei 75 % Erfolg je Versuch liegt pass^3 für eine einzelne Aufgabe bei etwa 42 %. Über eine ganze Aufgabenmenge liegt der Wert höher, siehe Agenten.

Faithfulness: Anteil der Behauptungen in einer Antwort, die der abgerufene Kontext stützt. Nicht verwechseln mit Korrektheit. Eine Antwort kann dem Kontext vollkommen treu sein, obwohl es der falsche Kontext war.

Context Recall: Ob das Retrieval alles gefunden hat, was die Antwort braucht. Dafür braucht man Ground Truth. Deshalb überspringen Teams die Kennzahl, und deshalb schnappt die Faithfulness-Falle immer wieder zu.

Context Precision: Ob die abgerufenen Abschnitte relevant waren.

Answer Relevancy: Ob die Antwort die gestellte Frage trifft.

Recall@k: Wie viele der benötigten Dokumente unter den ersten k Treffern liegen. Die aussagekräftigste einzelne RAG-Zahl.

Attack Success Rate (ASR): Anteil der Angriffsversuche, die das verbotene Verhalten ausgelöst haben.

Minimum Detectable Effect (MDE): Der kleinste Unterschied, den Ihr Eval bei gegebenem n und gegebener Power zuverlässig erkennt. Wenn Sie Ihren nie berechnet haben, ist er vermutlich größer als die Unterschiede, auf die Sie bisher reagiert haben.

Standardfehler (SE): Wie stark eine gemessene Quote nur deshalb schwankt, weil andere Beispiele in der Stichprobe gelandet sind. Er schrumpft mit der Wurzel aus n: Viermal so viele Beispiele halbieren ihn.

Konfidenzintervall (KI): Die Spanne um Ihren Messwert. Sie ist so gebaut, dass sie bei 100 Wiederholungen mit frischen Stichproben in 95 Fällen den wahren Wert enthält. Überlappen die Intervalle zweier Systeme deutlich, ist der Unterschied nicht gezeigt.

Geclusterter Standardfehler: Ein Standardfehler, der berücksichtigt, dass Beispiele in zusammenhängenden Gruppen eintreffen. Wer das Clustering ignoriert, bekommt zu enge Intervalle. Das erzeugt Signifikanz, die nicht da ist.

Precision / Recall: Recall: Wie viele von allen echten Fehlern hat der Judge gemeldet? Das ist die TPR von oben. Precision: Wie viel von dem, was der Judge gemeldet hat, war ein echter Fehler? Dieser Leitfaden berichtet stattdessen TPR und TNR, denn Precision wandert mit der Fehlerquote.

Wilson-Intervall: Das Konfidenzintervall für Bestehensquoten nahe 0 % oder 100 %. Dort liefert die einfache Formel eine Spanne von null oder eine unmögliche.

Bootstrap: Eine Spanne schätzen, indem man die eigenen Fälle viele Male mit Zurücklegen neu zieht. Der Standard, sobald eine Formel unhandlich wird.

Nicht-Unterlegenheitsmarge: Der größte Qualitätsverlust, den Sie für ein billigeres Modell hinnehmen. Sie legen ihn fest, bevor die Zahlen da sind. Siehe Modellwahl.

Teilmenge: Ein Ausschnitt der Ergebnisse nach Art der Anfrage, Sprache oder Persona. Breite Fehlerbalken: Hypothesen, keine Befunde.

Systeme

Trajektorie: Die Folge von Schritten, die ein Agent gegangen ist. Nicht verwechseln mit der Endantwort. Eine richtige Antwort kann aus einer gescheiterten Trajektorie kommen.

Umgebungszustand: Wie die Welt aussieht, nachdem der Agent gehandelt hat. Bei Agenten das Wichtigste, was Sie bewerten.

Guardrail: Eine Kontrolle zur Laufzeit, die blockiert, umschreibt oder umleitet. Auf Precision optimiert. Nicht verwechseln mit einem Online-Eval; das ist auf Recall optimiert und blockiert nichts.

Kontamination: Benchmark-Daten stecken im Trainingsdatensatz eines Modells. Nicht verwechseln mit Leakage. Das sind Ihre eigenen Eval-Beispiele, die in Ihre Prompts oder Ihre Tuning-Schleife gelangen.

Sättigung: Ein Benchmark, bei dem die Spitzenmodelle nahe der Obergrenze zusammenrücken. Die verbleibenden Unterschiede sind dann Rauschen und Testmängel. Nicht verwechseln mit theoretischer Sättigung oben. Die Konzepte haben nichts miteinander zu tun; der gleiche Name ist ein Unglück.

Übersetzungssprache (Translationese): Text, der grammatisch in einer Sprache steht, aber strukturell in einer anderen. Der Grund, warum das Übersetzen eines Eval-Sets kein gültiges Eval-Set ergibt.

Boden: Eine Prüfung ohne Rauschen: deterministische Prüfungen und benannte Vorfall-Fälle. Ein Fehlschlag am Boden ist ein Vorfall, nie eine Statistikfrage.

Interleaving: Jeder Nutzer sieht eine Liste, in der die Ergebnisse zweier Systeme gemischt sind. Gezählt wird, wessen Ergebnisse gewählt werden. Weit empfindlicher als ein A/B-Test, aber nur dort, wo Nutzer aus einer Liste wählen.

Shadow-Betrieb: Ein neues System läuft auf echtem Verkehr, ohne dass jemand seine Antworten sieht. So vergleichen Sie offline. Erfasst die echte Mischung an Eingaben; misst keine Nutzerreaktion.