Genau an dieser Stelle setzt Ragas an. Das Framework übersetzt die diffuse Frage „Ist unser Assistent gut?“ in eine Reihe präziser Teilfragen: Hat das Retrieval die relevanten Textabschnitte gefunden? Stehen diese Abschnitte weit oben in der Trefferliste? Enthält die Antwort Aussagen, die nicht durch den gefundenen Kontext belegt sind? Geht die Antwort auf die eigentliche Frage ein oder schweift sie ab? Jede dieser Teilfragen wird zu einer Metrik mit einem Wert zwischen 0 und 1, der sich über Hunderte von Testfragen mitteln, vergleichen und im Zeitverlauf beobachten lässt.
Ragas entstand im Umfeld der frühen RAG-Welle, als Entwicklungsteams feststellten, dass klassische Kennzahlen aus der Sprachverarbeitung wie BLEU oder ROUGE für generative Antworten wenig aussagekräftig sind. Diese Maße zählen übereinstimmende Wortfolgen zwischen einer Antwort und einer Referenz. Eine inhaltlich korrekte, aber anders formulierte Antwort schneidet damit schlecht ab, während eine wortgleiche, aber sachlich verdrehte Antwort gut abschneiden kann. Die Gründer von Ragas veröffentlichten dazu ein wissenschaftliches Papier, das den Ansatz der referenzfreien RAG-Bewertung mithilfe von Sprachmodellen beschrieb, und stellten die Implementierung als Open-Source-Bibliothek bereit.
Der Kern der meisten Ragas-Metriken ist das Prinzip LLM-as-Judge. Ein Sprachmodell – häufig ein anderes oder leistungsfähigeres als das, das die Antworten erzeugt – übernimmt die Rolle des Prüfers. Es zerlegt Antworten in einzelne Aussagen, prüft, ob diese Aussagen aus dem Kontext ableitbar sind, beurteilt die Relevanz von Textabschnitten oder vergleicht eine Antwort mit einer Referenzantwort. Ragas liefert dafür strukturierte Prompts, Ausgabeformate und die Logik, mit der aus den Einzelurteilen eine Kennzahl berechnet wird.
Ergänzt wird dieser Ansatz durch klassische, nicht auf Sprachmodellen basierende Metriken – etwa Zeichenketten-Vergleiche, Embedding-Ähnlichkeiten oder traditionelle Maße wie BLEU und ROUGE – sowie durch Werkzeuge zur Erzeugung synthetischer Testdaten. Ragas ist damit kein Produkt, das man installiert und vergisst, sondern ein Baukasten, mit dem Entwicklungsteams eine eigene Evaluationspipeline aufbauen. Das macht es flexibel, verlangt aber auch Know-how bei der Auswahl und Interpretation der Metriken.
Im Mittelpunkt steht die Ragas-Bibliothek, die über den üblichen Python-Paketmanager installiert wird. Sie ist unter einer freizügigen Open-Source-Lizenz veröffentlicht, die auch die kommerzielle Nutzung erlaubt; den aktuellen Stand sollten Sie vor dem Einsatz im Repository prüfen. Die Bibliothek ist ein Entwicklerwerkzeug: Es gibt keine grafische Oberfläche, die man öffnet, sondern Klassen und Funktionen, die in Python-Code, Jupyter-Notebooks oder automatisierten Pipelines aufgerufen werden. Ergebnisse lassen sich als Tabellen exportieren, in Dataframes weiterverarbeiten oder an externe Dashboards übergeben.
Diese Ausrichtung hat Konsequenzen für die Positionierung. Ragas konkurriert nicht direkt mit großen Observability-Plattformen, sondern liefert ihnen häufig die Metriken zu. Es ist am ehesten mit einer Testbibliothek in der Softwareentwicklung vergleichbar: Man schreibt Testfälle, führt sie aus und erhält einen Bericht. Für Teams, die bereits mit Python arbeiten und ihr RAG-System selbst entwickeln, ist das ein großer Vorteil, weil sich Ragas nahtlos in bestehende Abläufe einfügt. Für Fachabteilungen ohne Programmierkenntnisse ist es dagegen kein Werkzeug, das sie eigenständig bedienen könnten.
Wer Ragas einsetzt, sollte die Entwicklungsdynamik im Blick behalten. Zwischen den Hauptversionen wurden Datenstrukturen grundlegend überarbeitet – etwa die Einführung expliziter Datentypen für einzelne Evaluationsbeispiele mit einem oder mehreren Gesprächszügen, die Umstellung von einfachen Spaltennamen auf klar definierte Felder für Nutzereingabe, Antwort, abgerufene Kontexte und Referenz oder die stärkere Ausrichtung auf ein experimentbasiertes Arbeiten. Für die Praxis bedeutet das: Versionen fest pinnen, Upgrades bewusst einplanen und die Ergebnisse nach einem Upgrade mit dem vorherigen Stand vergleichen, weil sich Prompts und damit auch Scores verändern können.
Rund um die Bibliothek existiert eine aktive Community mit Diskussionsforen, Chat-Kanälen und regelmäßigen Beiträgen aus Unternehmen und Forschung. Das Team hinter Ragas hat darüber hinaus zeitweise kommerzielle Ergänzungen angeboten oder angekündigt, etwa gehostete Oberflächen zur Visualisierung von Ergebnissen, zur Annotation durch Fachexperten und zur Abstimmung von Metriken auf menschliche Bewertungen, sowie Unterstützung für Unternehmenskunden. Welche dieser Angebote aktuell verfügbar sind, wo die Daten verarbeitet werden und zu welchen Konditionen, sollten Sie direkt beim Anbieter prüfen. Für die meisten Mittelstandsprojekte reicht die Open-Source-Bibliothek in Kombination mit einer vorhandenen Observability-Lösung vollständig aus.
Die Qualität eines RAG-Systems steht und fällt mit dem Retrieval. Findet die Suche nicht die passenden Abschnitte, kann auch das beste Sprachmodell keine korrekte Antwort formulieren. Ragas bietet dafür mehrere Metriken.
Context Recall beantwortet die komplementäre Frage: Wurde alles gefunden, was für eine vollständige Antwort nötig ist? Dazu zerlegt das Judge-Modell eine Referenzantwort in einzelne Aussagen und prüft für jede, ob sie sich aus dem abgerufenen Kontext ableiten lässt. Der Anteil der belegbaren Aussagen ergibt den Recall-Wert. Diese Metrik benötigt zwingend eine Referenzantwort und ist deshalb auf einen kuratierten Testdatensatz angewiesen. Ergänzend gibt es eine Variante, die auf benannten Entitäten wie Produktnamen, Normen oder Personen basiert und prüft, wie viele der in der Referenz genannten Entitäten im Kontext auftauchen – nützlich für faktenlastige Domänen wie Technik oder Recht.
Die zweite Gruppe von Metriken bewertet, was das Sprachmodell aus dem Kontext macht. Die bekannteste ist Faithfulness, im Deutschen meist als Treue oder Kontexttreue bezeichnet. Das Judge-Modell zerlegt die generierte Antwort in einzelne, überprüfbare Aussagen und prüft jede davon gegen den abgerufenen Kontext. Der Anteil der gedeckten Aussagen ergibt den Score. Eine Antwort, die eine Garantiefrist von drei Jahren nennt, obwohl der Kontext zwei Jahre angibt, verliert an Faithfulness. Die Metrik ist damit das wichtigste Werkzeug, um Halluzinationen im RAG-Kontext messbar zu machen. Wichtig ist die Einschränkung: Faithfulness prüft die Übereinstimmung mit dem Kontext, nicht mit der Wahrheit. Ist ein Dokument im Index veraltet, kann eine Antwort perfekt treu und trotzdem falsch sein.
Für referenzbasierte Bewertungen stehen Metriken wie Factual Correctness beziehungsweise Answer Correctness und Semantic Similarity zur Verfügung. Sie vergleichen die generierte Antwort mit einer Referenzantwort – entweder über die Zerlegung in Aussagen und deren Abgleich oder über Embedding-Ähnlichkeit. Diese Metriken kommen der Frage „Stimmt die Antwort?“ am nächsten, setzen aber einen gepflegten Goldstandard voraus.
Die Unterscheidung zwischen referenzfreien und referenzbasierten Metriken ist für die Praxis entscheidend. Referenzfreie Metriken wie Faithfulness und Answer Relevancy brauchen nur Frage, abgerufenen Kontext und Antwort. Sie lassen sich daher auch auf echte Produktionsanfragen anwenden, für die es keine Musterlösung gibt – etwa als Stichprobe aus dem laufenden Betrieb. Referenzbasierte Metriken wie Context Recall und Factual Correctness liefern dagegen ein präziseres Bild der tatsächlichen Korrektheit, setzen aber einen Datensatz voraus, in dem Fachleute die richtige Antwort hinterlegt haben.
Hinzu kommen frei definierbare Metriken. Mit einem Aspekt-Kritiker formuliert man ein Kriterium in natürlicher Sprache – etwa „Enthält die Antwort eine Empfehlung, den Fachhändler zu kontaktieren, wenn es um sicherheitsrelevante Reparaturen geht?“ – und lässt das Judge-Modell binär entscheiden. Rubrikenbasierte Bewertungen erlauben abgestufte Skalen mit beschriebenen Stufen. Damit lassen sich unternehmensspezifische Anforderungen wie Tonalität, Compliance-Hinweise oder Formatvorgaben messbar machen. Daneben bietet Ragas klassische, nicht LLM-basierte Metriken wie exakte Übereinstimmung, Zeichenketten-Ähnlichkeit, BLEU oder ROUGE, die schnell, günstig und deterministisch sind und sich für strukturierte Ausgaben eignen.
Die LLM-basierten Metriken von Ragas folgen einem gemeinsamen Muster. Für jede Metrik gibt es einen oder mehrere Prompts mit klaren Anweisungen und Beispielen, eine definierte Ausgabestruktur und eine Berechnungsvorschrift. Das Judge-Modell liefert also keine freie Schulnote, sondern strukturierte Teilurteile – etwa eine Liste von Aussagen mit der Kennzeichnung „gedeckt“ oder „nicht gedeckt“. Aus diesen Teilurteilen berechnet Ragas den Score. Dieser Ansatz macht die Bewertung nachvollziehbarer als eine pauschale Einschätzung, denn man kann im Zweifel nachsehen, welche Aussage als nicht belegt eingestuft wurde.
Trotzdem bleibt ein Sprachmodell ein Sprachmodell. Judge-Modelle können Aussagen falsch zerlegen, Nuancen übersehen, bei Fachbegriffen danebenliegen oder bei wiederholter Ausführung leicht unterschiedliche Ergebnisse liefern. Ragas bietet deshalb Mechanismen, um die Prompts anzupassen, eigene Beispiele zu hinterlegen und – in neueren Versionen – Metriken anhand menschlicher Bewertungen auszurichten. In der Praxis empfehlen wir, für die Evaluation ein leistungsfähiges, aber fest definiertes Judge-Modell zu verwenden, die Temperatur niedrig zu halten und die Modellversion zu dokumentieren. Ein Wechsel des Judge-Modells verschiebt die Scores; Vergleiche sind nur innerhalb derselben Konfiguration aussagekräftig.
Die größte Hürde jeder Evaluation ist der Testdatensatz. Hunderte realistische Fragen mit Musterantworten von Hand zu schreiben, kostet Fachleute viel Zeit. Ragas bietet deshalb eine Testset-Generierung, die aus den eigenen Dokumenten automatisch Frage-Antwort-Paare erzeugt. Der Ansatz geht über das naive „Lass das Modell zu jedem Abschnitt eine Frage schreiben“ hinaus: Ragas baut zunächst einen Wissensgraphen aus den Dokumenten auf, extrahiert Themen, Entitäten, Zusammenfassungen und Beziehungen zwischen Abschnitten und nutzt diese Struktur, um unterschiedliche Fragetypen zu erzeugen.
Dazu gehören einfache Fragen, die sich aus einem einzelnen Abschnitt beantworten lassen, und anspruchsvollere Multi-Hop-Fragen, für die Informationen aus mehreren Abschnitten kombiniert werden müssen. Außerdem unterscheidet die Generierung zwischen konkreten Faktenfragen und abstrakteren Fragen, die eine Zusammenfassung oder Einordnung verlangen. Über Personas lässt sich steuern, aus wessen Perspektive gefragt wird – etwa die eines Servicetechnikers, eines Neukunden oder einer Einkäuferin. Das Ergebnis ist ein Datensatz, der deutlich vielfältiger ist als die zehn Fragen, die ein Projektteam spontan einfallen würden.
Synthetische Testdaten haben jedoch Grenzen. Die Fragen klingen oft glatter und vollständiger als echte Nutzeranfragen, die Tippfehler, Abkürzungen, Firmenjargon und unklare Formulierungen enthalten. Die erzeugten Referenzantworten können selbst Fehler enthalten. Und Fragen, deren Antwort gar nicht in den Dokumenten steht – ein wichtiger Testfall für das korrekte Verweigern einer Antwort – entstehen auf diesem Weg kaum. Wir empfehlen daher eine Mischung: synthetische Fragen für die Breite, echte Nutzerfragen aus Pilotphasen für die Realitätsnähe und eine fachliche Prüfung der Referenzantworten, bevor der Datensatz zum Goldstandard erklärt wird.
Mit der Verbreitung von KI-Agenten hat Ragas sein Spektrum über klassisches RAG hinaus erweitert. Für mehrstufige Gespräche gibt es Datenstrukturen, die Nutzer-, Assistenten- und Tool-Nachrichten abbilden. Darauf aufbauend bewerten Metriken wie Tool Call Accuracy, ob ein Agent die richtigen Werkzeuge mit den richtigen Parametern aufgerufen hat, Agent Goal Accuracy, ob das Ziel des Nutzers am Ende erreicht wurde, und Topic Adherence, ob der Agent bei den erlaubten Themen geblieben ist. Für Anwendungen, die beispielsweise Bestellstatus abfragen, Termine buchen oder Tickets anlegen, sind diese Metriken eine sinnvolle Ergänzung zu den RAG-Kennzahlen. Daneben gibt es Metriken für weitere Aufgabentypen wie Zusammenfassungen oder SQL-Generierung.
Den größten praktischen Nutzen entfaltet Ragas, wenn die Evaluation automatisiert läuft. Typisch ist ein Ablauf in der CI/CD-Pipeline: Bei jeder Änderung an Prompts, Chunking, Embedding-Modell, Retrieval-Parametern oder Sprachmodell wird das RAG-System gegen den Testdatensatz ausgeführt, Ragas berechnet die Metriken, und die Ergebnisse werden mit dem letzten Stand verglichen. Fällt eine Kennzahl unter einen definierten Schwellenwert, schlägt der Lauf fehl oder es wird zumindest eine Warnung ausgegeben. Neuere Ragas-Versionen unterstützen dieses experimentbasierte Arbeiten mit eigenen Hilfsmitteln, die Durchläufe benennen, versionieren und vergleichbar machen. Wichtig sind dabei Kostenkontrolle und Stabilität: Ein vollständiger Durchlauf mit Hunderten Fragen und LLM-Judge verursacht Modellkosten und braucht Zeit. Viele Teams nutzen daher einen kleinen, schnellen Datensatz für jeden Commit und einen umfassenden Datensatz für nächtliche Läufe oder vor Releases.
Für Eigenentwicklungen ohne Framework ist der Weg ebenso einfach: Man protokolliert für jede Testfrage die abgerufenen Abschnitte und die erzeugte Antwort, speichert sie in einer Tabelle oder Liste und übergibt diese an Ragas. Gerade diese Framework-Unabhängigkeit macht Ragas attraktiv für Unternehmen, die mehrere RAG-Anwendungen mit unterschiedlicher Technik betreiben und trotzdem einheitliche Qualitätsmaßstäbe anlegen wollen.
Besonders interessant für den Mittelstand ist die Kombination mit einer selbst betreibbaren Observability-Lösung. Langfuse und Arize Phoenix lassen sich beispielsweise auf eigener Infrastruktur betreiben, sodass Traces, Testdaten und Bewertungen im eigenen Verantwortungsbereich bleiben. Zusammen mit einem lokal betriebenen Judge-Modell entsteht so eine vollständig souveräne Evaluationsumgebung.
Ragas ist nicht an einen Modellanbieter gebunden. In vielen Beispielen wird ein Modell eines großen US-Anbieters als Standard verwendet, doch über Wrapper und Fabrikfunktionen lassen sich praktisch alle Modelle einbinden, die über gängige Schnittstellen erreichbar sind. Dazu gehören Cloud-Dienste großer Anbieter in EU-Regionen ebenso wie lokal betriebene Open-Weight-Modelle über Inferenzserver, die eine kompatible Programmierschnittstelle anbieten. Gleiches gilt für Embedding-Modelle, bei denen lokale, mehrsprachige Modelle eine gute Wahl für deutsche Texte sind.
Die freie Modellwahl ist allerdings keine reine Formalie. Viele LLM-basierte Metriken setzen voraus, dass das Judge-Modell zuverlässig strukturierte Ausgaben erzeugt und mehrstufige Anweisungen befolgt. Kleinere lokale Modelle scheitern daran gelegentlich, liefern unvollständige Ausgaben oder bewerten zu großzügig. Vor dem Einsatz eines lokalen Judge-Modells sollte deshalb ein kurzer Kalibrierungstest stehen: Ein paar Dutzend Beispiele mit bekannten Urteilen werden bewertet, und die Ergebnisse werden mit denen eines starken Referenzmodells und mit menschlichen Einschätzungen verglichen.
DeepEval ist eine Open-Source-Bibliothek, die Evaluation konsequent als Softwaretest denkt. Testfälle werden ähnlich wie in gängigen Python-Testframeworks geschrieben und mit Schwellenwerten versehen; das Werkzeug bringt eine breite Palette an Metriken mit, darunter eigene Varianten von Faithfulness, Kontextrelevanz und Halluzinationserkennung sowie frei definierbare Kriterien. Für Teams, die Evaluation primär als Qualitäts-Gate in der Entwicklung verstehen, ist DeepEval ein ernstzunehmender Kandidat. Zum Ökosystem gehört eine kommerzielle Cloud-Plattform; wer sie nutzt, sollte Datenflüsse und Datenstandort prüfen.
TruLens verfolgt einen anderen Ansatz: Es instrumentiert die Anwendung, zeichnet Abläufe auf und wendet sogenannte Feedback-Funktionen auf einzelne Schritte an. Bekannt geworden ist das Konzept der RAG-Triade aus Kontextrelevanz, Groundedness und Antwortrelevanz – inhaltlich eng verwandt mit Context Precision, Faithfulness und Answer Relevancy bei Ragas. TruLens eignet sich gut, wenn Tracing und Bewertung eng verzahnt sein sollen. Ragas punktet dagegen mit der feineren Aufschlüsselung der Retrieval-Metriken, insbesondere der Unterscheidung zwischen Precision und Recall, und mit der Testset-Generierung.
Arize Phoenix ist primär eine Observability-Lösung mit Evaluationsfunktionen. Sie visualisiert Traces, Embeddings und Retrieval-Ergebnisse, bietet eigene LLM-basierte Evaluatoren und lässt sich selbst betreiben. LangSmith ist die Plattform aus dem LangChain-Umfeld und integriert Datensätze, Experimente, Annotationswarteschlangen und Online-Evaluation in einer Oberfläche. Beide Plattformen sind keine direkten Konkurrenten zu Ragas, sondern häufig Partner: Ragas liefert spezialisierte RAG-Metriken, die Plattform liefert Speicherung, Visualisierung und Zusammenarbeit. promptfoo schließlich ist ein Werkzeug für Prompt- und Modellvergleiche sowie für Red Teaming, das über Konfigurationsdateien und eine Kommandozeile gesteuert wird. Es eignet sich hervorragend, um verschiedene Modelle oder Prompts schnell gegeneinander zu testen und Sicherheitslücken zu suchen, ist aber weniger auf die feingliedrige Bewertung von Retrieval ausgelegt.
Die wertvollste Investition in der Evaluation ist nicht die Wahl des Werkzeugs, sondern der Testdatensatz. Ein guter Goldstandard deckt die wichtigsten Themenbereiche ab, enthält einfache und schwierige Fragen, berücksichtigt typische Formulierungen echter Nutzer und umfasst bewusst auch Fragen, auf die das System keine Antwort geben sollte. Für einen ersten belastbaren Eindruck genügt oft eine mittlere zweistellige bis niedrige dreistellige Zahl sorgfältig ausgewählter Fragen; wichtiger als die Menge ist die Abdeckung. Jede Frage sollte eine fachlich geprüfte Referenzantwort und idealerweise einen Hinweis auf die Quelldokumente haben, damit auch die Retrieval-Metriken sauber berechnet werden können.
Der Datensatz ist kein einmaliges Artefakt. Ändern sich Dokumente, Produkte oder Prozesse, müssen Referenzantworten aktualisiert werden. Fehler, die im Betrieb auffallen, sollten als neue Testfälle aufgenommen werden – so wächst der Datensatz mit dem System und verhindert, dass behobene Fehler unbemerkt zurückkehren. Wir empfehlen, den Datensatz wie Code zu versionieren und Änderungen nachvollziehbar zu dokumentieren.
LLM-Judges sind praktisch, aber nicht neutral. Sie neigen dazu, längere Antworten freundlicher zu bewerten, Antworten im eigenen Stil zu bevorzugen und bei komplexen Fachfragen Fehler zu übersehen, die ein Experte sofort erkennen würde. Die Scores können zwischen Läufen leicht schwanken. Und weil jede Metrik mehrere Modellaufrufe pro Testfrage auslösen kann, summieren sich die Kosten bei großen Datensätzen, vielen Metriken und häufigen Läufen spürbar. Ein vollständiger Durchlauf mit allen Metriken über einen großen Datensatz bei jedem Commit ist selten sinnvoll.
Bewährt haben sich einige pragmatische Regeln: Metriken gezielt nach Fragestellung auswählen, statt alle verfügbaren zu berechnen. Für schnelle Läufe einen kleineren Datensatz nutzen. Ergebnisse cachen, wenn sich die Eingaben nicht geändert haben. Scores nie als absolute Wahrheit lesen, sondern vor allem für Vergleiche zwischen Varianten unter identischen Bedingungen nutzen. Und regelmäßig eine Stichprobe von Hand prüfen, um sicherzustellen, dass die Metrik noch misst, was sie messen soll.
Ragas funktioniert auch mit deutschen Inhalten, denn die meisten Judge-Modelle verstehen Deutsch gut. Die mitgelieferten Prompts und Few-Shot-Beispiele sind jedoch englischsprachig. Das kann dazu führen, dass das Judge-Modell zwischen den Sprachen wechselt, Aussagen ungenau zerlegt oder synthetische Testfragen auf Englisch erzeugt. Ragas bietet Funktionen, um Prompts an andere Sprachen anzupassen; zusätzlich lassen sich eigene Beispiele hinterlegen. Für Answer Relevancy ist außerdem ein Embedding-Modell wichtig, das deutsche Texte gut abbildet – mehrsprachige Modelle sind hier meist die bessere Wahl als rein englischsprachige.
Hinzu kommen sprachliche Eigenheiten: Komposita, Fachjargon, formelle und informelle Anrede, Abkürzungen aus dem Unternehmensalltag. Ein Judge-Modell muss erkennen, dass „Gewährleistungsfrist“ und „gesetzliche Mängelhaftung“ in einem bestimmten Kontext dasselbe meinen können, aber nicht dasselbe sind wie eine freiwillige Herstellergarantie. Solche Feinheiten zeigen, warum wir bei deutschen Fachtexten eine Kalibrierung mit menschlichen Bewertungen für unverzichtbar halten.
In der ersten Phase geht es um Transparenz. Für ein bestehendes oder geplantes RAG-System wird ein kompakter Testdatensatz aufgebaut, idealerweise in einem Workshop mit Fachexperten, ergänzt um synthetisch erzeugte Fragen. Ragas berechnet eine erste Baseline mit wenigen, gut verständlichen Metriken – meist Faithfulness, Answer Relevancy, Context Precision und Context Recall. Schon diese Baseline liefert häufig überraschende Erkenntnisse, etwa dass bestimmte Dokumenttypen schlecht gefunden werden oder dass das Modell bei Tabellen besonders häufig Details erfindet.
In der zweiten Phase folgt die Optimierung. Auf Basis der Schwachstellen werden gezielt Hebel getestet: andere Chunk-Größen, ein besseres Embedding-Modell, Hybrid-Suche, Reranking, angepasste Prompts. Jede Variante wird gegen denselben Datensatz gemessen, sodass Entscheidungen auf Zahlen statt auf Eindrücken beruhen. In der dritten Phase wird die Evaluation zum Dauerbetrieb: Sie läuft automatisiert bei Änderungen, bewertet regelmäßig Stichproben aus dem Produktivbetrieb und liefert einen kompakten Bericht, den auch die Geschäftsführung versteht.
Ein Faithfulness-Wert von 0,87 sagt einer Geschäftsführerin zunächst wenig. Wir empfehlen deshalb, Ragas-Ergebnisse in die Sprache des Unternehmens zu übersetzen: „In rund neun von zehn Antworten sind alle Aussagen durch unsere Dokumente belegt“ oder „Bei Fragen zur Ersatzteilbestellung findet das System in einem Drittel der Fälle nicht alle nötigen Informationen.“ Kombiniert mit konkreten Beispielen aus dem Testdatensatz entsteht ein Bild, das Vertrauen schafft und Prioritäten klar macht. Wichtig ist auch die ehrliche Botschaft, dass die Zahlen Näherungen sind, die auf einem Sprachmodell als Bewerter beruhen – und dass sie dann am aussagekräftigsten sind, wenn man sie im Zeitverlauf und im Vergleich betrachtet.
Bei jeder LLM-basierten Metrik sendet Ragas Daten an das konfigurierte Judge-Modell: die Frage, die abgerufenen Kontextabschnitte, die generierte Antwort und gegebenenfalls die Referenzantwort. Bei der Testset-Generierung werden ganze Dokumentabschnitte an das Modell übergeben, um daraus Fragen, Zusammenfassungen und Wissensgraphen zu erzeugen. Für Embedding-basierte Metriken gehen Texte an das Embedding-Modell. Wer dafür einen Cloud-Dienst eines US-Anbieters nutzt, überträgt also potenziell interne Dokumente, Kundenanfragen und Antworten an diesen Dienst. Je nach Datenart, Vertrag und Region kann das einen Drittlandbezug begründen; zusätzlich stellt sich bei US-Unternehmen die Frage nach dem US CLOUD Act, der Behörden unter bestimmten Voraussetzungen Zugriff auf Daten erlauben kann, die von US-Unternehmen kontrolliert werden – unabhängig vom Speicherort.
Besonders heikel sind Stichproben aus dem Produktivbetrieb. Echte Nutzeranfragen enthalten häufig personenbezogene Daten: Namen, Kundennummern, Vertragsdetails, Gesundheits- oder Personalinformationen. Bevor solche Daten in eine Evaluation einfließen, sollten Zweck, Rechtsgrundlage und Speicherdauer geklärt und die Daten nach Möglichkeit anonymisiert oder pseudonymisiert werden. Ergänzend lohnt ein Blick auf die Telemetrie: Ragas hat in der Vergangenheit standardmäßig anonymisierte Nutzungsstatistiken übermittelt, die sich über eine Umgebungsvariable abschalten lassen. Wie die aktuelle Voreinstellung aussieht und welche Daten genau erfasst werden, sollten Sie in der Dokumentation prüfen und in sensiblen Umgebungen die Telemetrie konsequent deaktivieren.
Die gute Nachricht: Weil Ragas modellunabhängig ist, lässt sich die gesamte Evaluation datenschutzfreundlich gestalten. Eine Option sind Sprachmodelle großer Anbieter in EU-Regionen mit Auftragsverarbeitungsvertrag und vertraglichem Ausschluss der Nutzung für Modelltraining. Die Daten werden dann in Europa verarbeitet, die Frage nach dem CLOUD Act bleibt bei US-Anbietern aber bestehen und ist zu bewerten. Die konsequentere Option sind selbst betriebene Open-Weight-Modelle im eigenen Rechenzentrum oder bei einem europäischen Hoster. Zusammen mit lokalen Embedding-Modellen und einer selbst betriebenen Observability-Lösung verlassen dann weder Dokumente noch Anfragen den eigenen Verantwortungsbereich. Der Preis dafür ist ein höherer Betriebsaufwand und die Notwendigkeit, die Eignung des lokalen Modells als Judge sorgfältig zu prüfen.
Die Lizenzkosten der Bibliothek sind null. Die tatsächlichen Kosten entstehen an drei Stellen. Erstens durch Modellaufrufe: Jede LLM-basierte Metrik löst pro Testfrage einen oder mehrere Aufrufe aus, die Testset-Generierung verarbeitet ganze Dokumentbestände. Bei Cloud-Modellen wird nach verarbeiteten Tokens abgerechnet; die Summe hängt von Datensatzgröße, Anzahl der Metriken, Kontextlänge, Modellwahl und Laufhäufigkeit ab. Aktuelle Preise sind beim jeweiligen Modellanbieter zu prüfen. Zweitens durch Rechenleistung, wenn lokale Modelle eingesetzt werden: Ein leistungsfähiges Judge-Modell braucht passende Hardware, die entweder angeschafft oder bei einem Hoster gemietet wird.
Drittens – und in der Praxis oft der größte Posten – durch Arbeitszeit: für den Aufbau und die Pflege des Testdatensatzes, für die Kalibrierung des Judge-Modells, für die Integration in die Pipeline und für die Interpretation der Ergebnisse. Diesen Kosten steht ein handfester Nutzen gegenüber: weniger Fehlauskünfte im Betrieb, schnellere und fundiertere Entscheidungen bei Modell- und Architekturwechseln und die Möglichkeit, günstigere Modelle einzusetzen, wenn die Messung zeigt, dass sie für den eigenen Anwendungsfall ausreichen. Ein gut aufgesetzter Evaluationsprozess kann sich dadurch schnell amortisieren – vorausgesetzt, man misst gezielt statt flächendeckend.