Wissensdatenbank · RAG · Evaluation von LLM-Anwendungen

Ragas – RAG-Qualität messen statt nach Bauchgefühl entscheiden.

Ein RAG-System, das in der Demo überzeugt, kann im Alltag still und leise falsche Antworten liefern. Ragas ist ein Open-Source-Framework, das genau diese Lücke schließt: Es bewertet Retrieval und Antwortgenerierung mit Kennzahlen wie Faithfulness, Answer Relevancy, Context Precision und Context Recall, erzeugt synthetische Testfragen und lässt sich in CI-Pipelines und Observability-Werkzeuge einbinden. Dieser Fachartikel ordnet Metriken, Funktionsweise, Ökosystem, Wettbewerb, Betrieb, Kosten und die DSGVO-Frage herstellerneutral ein.

Dieser Artikel wurde mithilfe künstlicher Intelligenz erstellt und redaktionell geprüft.

28 Min. Lesezeit
Aktualisiert · Oktober 2026
Fachartikel · Expertenbeitrag
Ragas
Open Source · Evaluations-Framework für RAG & LLM
Typ
Python-Bibliothek
Lizenz
Open Source, prüfen
Kernmetriken
Faithfulness, Context P/R
Bewerter
LLM-as-Judge & klassisch
Testdaten
Synthetische Testsets
Stärke
RAG-spezifische Metriken
INAGRO Eignung RAG-Qualitätssicherung im Mittelstand
★★★★★
Kapitel 01 · Überblick

Was ist Ragas – und warum braucht ein RAG-System eigene Messgrößen?

Ragas – der Name steht für Retrieval Augmented Generation Assessment – ist eine quelloffene Python-Bibliothek, mit der sich die Qualität von RAG-Systemen und anderen LLM-Anwendungen systematisch messen lässt. Statt einzelne Antworten von Hand zu begutachten, berechnet Ragas für jede Frage-Antwort-Kombination Kennzahlen, die zeigen, ob die richtigen Dokumente gefunden wurden, ob die Antwort durch diese Dokumente gedeckt ist und ob sie die Frage überhaupt beantwortet.

Wer ein RAG-System baut, kennt das Problem: Die ersten Tests sehen vielversprechend aus. Man stellt ein Dutzend Fragen, die Antworten wirken plausibel, das Projekt geht in die Pilotphase. Dann meldet ein Mitarbeiter, dass der Assistent eine veraltete Garantiefrist genannt hat. Ein anderer bemerkt, dass Antworten zu einer bestimmten Produktlinie regelmäßig Details aus einer anderen Produktlinie enthalten. Niemand weiß, ob das Einzelfälle sind oder ein systematisches Problem – und niemand kann sagen, ob die letzte Änderung am Chunking die Lage verbessert oder verschlechtert hat.
Genau an dieser Stelle setzt Ragas an. Das Framework übersetzt die diffuse Frage „Ist unser Assistent gut?“ in eine Reihe präziser Teilfragen: Hat das Retrieval die relevanten Textabschnitte gefunden? Stehen diese Abschnitte weit oben in der Trefferliste? Enthält die Antwort Aussagen, die nicht durch den gefundenen Kontext belegt sind? Geht die Antwort auf die eigentliche Frage ein oder schweift sie ab? Jede dieser Teilfragen wird zu einer Metrik mit einem Wert zwischen 0 und 1, der sich über Hunderte von Testfragen mitteln, vergleichen und im Zeitverlauf beobachten lässt.

Vom Forschungsprojekt zum Standardwerkzeug der RAG-Evaluation

Ragas entstand im Umfeld der frühen RAG-Welle, als Entwicklungsteams feststellten, dass klassische Kennzahlen aus der Sprachverarbeitung wie BLEU oder ROUGE für generative Antworten wenig aussagekräftig sind. Diese Maße zählen übereinstimmende Wortfolgen zwischen einer Antwort und einer Referenz. Eine inhaltlich korrekte, aber anders formulierte Antwort schneidet damit schlecht ab, während eine wortgleiche, aber sachlich verdrehte Antwort gut abschneiden kann. Die Gründer von Ragas veröffentlichten dazu ein wissenschaftliches Papier, das den Ansatz der referenzfreien RAG-Bewertung mithilfe von Sprachmodellen beschrieb, und stellten die Implementierung als Open-Source-Bibliothek bereit.
Seitdem hat sich Ragas zu einem der bekanntesten Werkzeuge für die Evaluation von RAG-Anwendungen entwickelt. Die Bibliothek wird in Tutorials der großen Frameworks wie LangChain und LlamaIndex verwendet, ist in Observability-Plattformen integriert und wird in vielen Fachartikeln als Referenz für Begriffe wie Faithfulness oder Context Precision zitiert. Gleichzeitig hat sich die Bibliothek technisch stark weiterentwickelt: Die Programmierschnittstelle hat sich zwischen den Hauptversionen mehrfach deutlich verändert, Metriken wurden umbenannt, ergänzt oder neu implementiert. Wer heute startet, sollte sich deshalb an der aktuellen Dokumentation orientieren und ältere Codebeispiele aus Blogartikeln kritisch prüfen.

Die Grundidee: Ein Sprachmodell bewertet ein Sprachmodell

Der Kern der meisten Ragas-Metriken ist das Prinzip LLM-as-Judge. Ein Sprachmodell – häufig ein anderes oder leistungsfähigeres als das, das die Antworten erzeugt – übernimmt die Rolle des Prüfers. Es zerlegt Antworten in einzelne Aussagen, prüft, ob diese Aussagen aus dem Kontext ableitbar sind, beurteilt die Relevanz von Textabschnitten oder vergleicht eine Antwort mit einer Referenzantwort. Ragas liefert dafür strukturierte Prompts, Ausgabeformate und die Logik, mit der aus den Einzelurteilen eine Kennzahl berechnet wird.
Ergänzt wird dieser Ansatz durch klassische, nicht auf Sprachmodellen basierende Metriken – etwa Zeichenketten-Vergleiche, Embedding-Ähnlichkeiten oder traditionelle Maße wie BLEU und ROUGE – sowie durch Werkzeuge zur Erzeugung synthetischer Testdaten. Ragas ist damit kein Produkt, das man installiert und vergisst, sondern ein Baukasten, mit dem Entwicklungsteams eine eigene Evaluationspipeline aufbauen. Das macht es flexibel, verlangt aber auch Know-how bei der Auswahl und Interpretation der Metriken.
INAGRO-Einschätzung

Ragas ist aus unserer Sicht der pragmatischste Einstieg in die systematische RAG-Evaluation. Die Metriken bilden genau die Fehlerbilder ab, die in der Praxis am häufigsten auftreten: schlechtes Retrieval, erfundene Details und ausweichende Antworten. Entscheidend ist aber, Ragas nicht als Wahrheitsmaschine zu verstehen. Die Zahlen sind nur so gut wie der Testdatensatz und das Judge-Modell dahinter. Wer beides sorgfältig aufsetzt und die Ergebnisse regelmäßig mit menschlichen Stichproben abgleicht, gewinnt ein belastbares Frühwarnsystem für jede Änderung am RAG-System.

Kapitel 02 · Produktfamilie & Positionierung

Open-Source-Bibliothek, Community und ergänzende Angebote

Ragas ist in erster Linie eine frei verfügbare Python-Bibliothek. Rund um diesen Kern gibt es Dokumentation, Community-Kanäle, Integrationen in Drittprodukte und – je nach Zeitpunkt – ergänzende Angebote des Teams hinter Ragas. Die folgende Übersicht ist bewusst qualitativ; Lizenzbedingungen, Funktionsumfang und etwaige kommerzielle Konditionen sind stets beim Anbieter zu prüfen.

Ragas-Bibliothek
Open Source

Die Python-Bibliothek mit Metriken, Datenstrukturen, Testset-Generierung und Integrationen. Läuft lokal, in Notebooks, Skripten, Containern oder CI-Pipelines.

Betriebvollständig selbst
Kostenkeine Lizenzgebühr
Lizenzaktuellen Stand prüfen
Judge- & Embedding-Modelle
Voraussetzung

Ragas bringt kein eigenes Sprachmodell mit. Für LLM-basierte Metriken wird ein Judge-Modell benötigt, für einige Metriken zusätzlich ein Embedding-Modell – aus der Cloud oder lokal.

Quellefrei wählbar
Kostennach Nutzung
Datenschutzentscheidend
Integrationen in Plattformen
Ökosystem

Observability- und Tracing-Plattformen binden Ragas-Metriken ein oder bieten Anleitungen dazu. Ergebnisse werden dort neben Traces, Prompts und Kosten dargestellt.

Betriebje nach Plattform
Tiefeim Detail prüfen
Kostenbeim Anbieter prüfen
Kommerzielle Angebote
Optional

Das Team hinter Ragas hat zeitweise ergänzende gehostete Werkzeuge, etwa zur Visualisierung und Annotation, sowie Unterstützung für Unternehmen angeboten. Umfang und Verfügbarkeit ändern sich.

Betriebdurch Anbieter
Verfügbarkeitbeim Anbieter prüfen
Konditionenauf Anfrage

Die Bibliothek als Kern: frei, lokal, programmatisch

Im Mittelpunkt steht die Ragas-Bibliothek, die über den üblichen Python-Paketmanager installiert wird. Sie ist unter einer freizügigen Open-Source-Lizenz veröffentlicht, die auch die kommerzielle Nutzung erlaubt; den aktuellen Stand sollten Sie vor dem Einsatz im Repository prüfen. Die Bibliothek ist ein Entwicklerwerkzeug: Es gibt keine grafische Oberfläche, die man öffnet, sondern Klassen und Funktionen, die in Python-Code, Jupyter-Notebooks oder automatisierten Pipelines aufgerufen werden. Ergebnisse lassen sich als Tabellen exportieren, in Dataframes weiterverarbeiten oder an externe Dashboards übergeben.
Diese Ausrichtung hat Konsequenzen für die Positionierung. Ragas konkurriert nicht direkt mit großen Observability-Plattformen, sondern liefert ihnen häufig die Metriken zu. Es ist am ehesten mit einer Testbibliothek in der Softwareentwicklung vergleichbar: Man schreibt Testfälle, führt sie aus und erhält einen Bericht. Für Teams, die bereits mit Python arbeiten und ihr RAG-System selbst entwickeln, ist das ein großer Vorteil, weil sich Ragas nahtlos in bestehende Abläufe einfügt. Für Fachabteilungen ohne Programmierkenntnisse ist es dagegen kein Werkzeug, das sie eigenständig bedienen könnten.

Versionssprünge, Community und kommerzielle Ergänzungen

Wer Ragas einsetzt, sollte die Entwicklungsdynamik im Blick behalten. Zwischen den Hauptversionen wurden Datenstrukturen grundlegend überarbeitet – etwa die Einführung expliziter Datentypen für einzelne Evaluationsbeispiele mit einem oder mehreren Gesprächszügen, die Umstellung von einfachen Spaltennamen auf klar definierte Felder für Nutzereingabe, Antwort, abgerufene Kontexte und Referenz oder die stärkere Ausrichtung auf ein experimentbasiertes Arbeiten. Für die Praxis bedeutet das: Versionen fest pinnen, Upgrades bewusst einplanen und die Ergebnisse nach einem Upgrade mit dem vorherigen Stand vergleichen, weil sich Prompts und damit auch Scores verändern können.
Rund um die Bibliothek existiert eine aktive Community mit Diskussionsforen, Chat-Kanälen und regelmäßigen Beiträgen aus Unternehmen und Forschung. Das Team hinter Ragas hat darüber hinaus zeitweise kommerzielle Ergänzungen angeboten oder angekündigt, etwa gehostete Oberflächen zur Visualisierung von Ergebnissen, zur Annotation durch Fachexperten und zur Abstimmung von Metriken auf menschliche Bewertungen, sowie Unterstützung für Unternehmenskunden. Welche dieser Angebote aktuell verfügbar sind, wo die Daten verarbeitet werden und zu welchen Konditionen, sollten Sie direkt beim Anbieter prüfen. Für die meisten Mittelstandsprojekte reicht die Open-Source-Bibliothek in Kombination mit einer vorhandenen Observability-Lösung vollständig aus.
Ragas ist ein Messinstrument, kein RAG-Framework

Ragas baut keine RAG-Pipeline, indexiert keine Dokumente und beantwortet keine Nutzerfragen. Es bewertet die Ergebnisse einer Pipeline, die mit anderen Werkzeugen gebaut wurde – etwa mit LangChain, LlamaIndex, Haystack oder einer Eigenentwicklung. Diese klare Trennung ist ein Vorteil: Die Evaluation bleibt unabhängig vom gewählten Framework und kann bei einem Technologiewechsel weiterverwendet werden.

Kapitel 03 · Funktionsumfang & Metriken

Faithfulness, Relevancy, Precision, Recall: die Metriken im Detail

Das Herzstück von Ragas sind seine Metriken. Sie lassen sich entlang zweier Achsen ordnen: Bewerten sie das Retrieval oder die Generierung? Und benötigen sie eine Referenzantwort oder kommen sie ohne aus? Wer diese beiden Achsen versteht, kann für jede Fragestellung die passenden Kennzahlen auswählen.

Retrieval-Metriken: Wurde das Richtige gefunden?

Die Qualität eines RAG-Systems steht und fällt mit dem Retrieval. Findet die Suche nicht die passenden Abschnitte, kann auch das beste Sprachmodell keine korrekte Antwort formulieren. Ragas bietet dafür mehrere Metriken.
Context Precision misst, ob die relevanten Textabschnitte in der Trefferliste weit oben stehen. Die Metrik betrachtet jeden abgerufenen Abschnitt und lässt das Judge-Modell entscheiden, ob er zur Beantwortung der Frage beiträgt. Daraus wird ein rangbasierter Wert berechnet: Stehen die nützlichen Abschnitte auf den ersten Plätzen, ist der Wert hoch; verstecken sie sich hinter irrelevanten Treffern, sinkt er. Das ist besonders wichtig, weil Sprachmodelle Informationen am Anfang des Kontexts tendenziell stärker gewichten und weil die Kontextlänge Kosten verursacht. Context Precision ist damit die zentrale Kennzahl, um den Nutzen von Reranking zu belegen. Es gibt Varianten, die die Relevanz anhand einer Referenzantwort beurteilen, und Varianten, die ohne Referenz direkt gegen die Antwort des Systems prüfen.
Context Recall beantwortet die komplementäre Frage: Wurde alles gefunden, was für eine vollständige Antwort nötig ist? Dazu zerlegt das Judge-Modell eine Referenzantwort in einzelne Aussagen und prüft für jede, ob sie sich aus dem abgerufenen Kontext ableiten lässt. Der Anteil der belegbaren Aussagen ergibt den Recall-Wert. Diese Metrik benötigt zwingend eine Referenzantwort und ist deshalb auf einen kuratierten Testdatensatz angewiesen. Ergänzend gibt es eine Variante, die auf benannten Entitäten wie Produktnamen, Normen oder Personen basiert und prüft, wie viele der in der Referenz genannten Entitäten im Kontext auftauchen – nützlich für faktenlastige Domänen wie Technik oder Recht.
Wer wissen will, wie robust das System gegenüber irrelevanten Treffern ist, kann zusätzlich Noise Sensitivity messen. Diese Metrik untersucht, wie oft das System falsche Aussagen produziert, weil es sich von unpassenden Kontextabschnitten in die Irre führen lässt. Für Systeme mit Hybrid Search und großen Trefferlisten ist das eine aufschlussreiche Ergänzung.

Generierungsmetriken: Ist die Antwort belegt und relevant?

Die zweite Gruppe von Metriken bewertet, was das Sprachmodell aus dem Kontext macht. Die bekannteste ist Faithfulness, im Deutschen meist als Treue oder Kontexttreue bezeichnet. Das Judge-Modell zerlegt die generierte Antwort in einzelne, überprüfbare Aussagen und prüft jede davon gegen den abgerufenen Kontext. Der Anteil der gedeckten Aussagen ergibt den Score. Eine Antwort, die eine Garantiefrist von drei Jahren nennt, obwohl der Kontext zwei Jahre angibt, verliert an Faithfulness. Die Metrik ist damit das wichtigste Werkzeug, um Halluzinationen im RAG-Kontext messbar zu machen. Wichtig ist die Einschränkung: Faithfulness prüft die Übereinstimmung mit dem Kontext, nicht mit der Wahrheit. Ist ein Dokument im Index veraltet, kann eine Antwort perfekt treu und trotzdem falsch sein.
Answer Relevancy, in neueren Versionen auch als Response Relevancy bezeichnet, bewertet, ob die Antwort die gestellte Frage tatsächlich adressiert. Der Ansatz ist originell: Das Judge-Modell erzeugt aus der Antwort mehrere künstliche Fragen, auf die diese Antwort passen würde. Anschließend wird die semantische Ähnlichkeit dieser Fragen zur ursprünglichen Frage über ein Embedding-Modell berechnet. Weicht die Antwort aus, ist unvollständig oder enthält viel Überflüssiges, passen die rekonstruierten Fragen schlechter zum Original. Die Metrik bewertet nicht die Korrektheit, sondern den Fokus.
Für referenzbasierte Bewertungen stehen Metriken wie Factual Correctness beziehungsweise Answer Correctness und Semantic Similarity zur Verfügung. Sie vergleichen die generierte Antwort mit einer Referenzantwort – entweder über die Zerlegung in Aussagen und deren Abgleich oder über Embedding-Ähnlichkeit. Diese Metriken kommen der Frage „Stimmt die Antwort?“ am nächsten, setzen aber einen gepflegten Goldstandard voraus.
Metrik Bewertet Referenz nötig? Typische Frage
Context Precision Retrieval-Ranking je nach Variante Stehen die nützlichen Abschnitte oben?
Context Recall Retrieval-Vollständigkeit ja Wurde alles Nötige gefunden?
Context Entities Recall Retrieval von Fakten ja Sind die genannten Entitäten im Kontext?
Noise Sensitivity Robustheit ja Lässt sich das System von Rauschen täuschen?
Faithfulness Generierung, Halluzination nein Ist jede Aussage durch den Kontext gedeckt?
Answer Relevancy Generierung, Fokus nein Beantwortet die Antwort die Frage?
Factual Correctness Generierung, Korrektheit ja Stimmt die Antwort mit der Referenz überein?
Aspect Critic & Rubriken Frei definierbare Kriterien optional Ist die Antwort höflich, vollständig, regelkonform?

Referenzfrei, referenzbasiert und frei definierbar

Die Unterscheidung zwischen referenzfreien und referenzbasierten Metriken ist für die Praxis entscheidend. Referenzfreie Metriken wie Faithfulness und Answer Relevancy brauchen nur Frage, abgerufenen Kontext und Antwort. Sie lassen sich daher auch auf echte Produktionsanfragen anwenden, für die es keine Musterlösung gibt – etwa als Stichprobe aus dem laufenden Betrieb. Referenzbasierte Metriken wie Context Recall und Factual Correctness liefern dagegen ein präziseres Bild der tatsächlichen Korrektheit, setzen aber einen Datensatz voraus, in dem Fachleute die richtige Antwort hinterlegt haben.
Hinzu kommen frei definierbare Metriken. Mit einem Aspekt-Kritiker formuliert man ein Kriterium in natürlicher Sprache – etwa „Enthält die Antwort eine Empfehlung, den Fachhändler zu kontaktieren, wenn es um sicherheitsrelevante Reparaturen geht?“ – und lässt das Judge-Modell binär entscheiden. Rubrikenbasierte Bewertungen erlauben abgestufte Skalen mit beschriebenen Stufen. Damit lassen sich unternehmensspezifische Anforderungen wie Tonalität, Compliance-Hinweise oder Formatvorgaben messbar machen. Daneben bietet Ragas klassische, nicht LLM-basierte Metriken wie exakte Übereinstimmung, Zeichenketten-Ähnlichkeit, BLEU oder ROUGE, die schnell, günstig und deterministisch sind und sich für strukturierte Ausgaben eignen.
Kapitel 04 · KI- & Automatisierungsfunktionen

LLM-as-Judge, synthetische Testsets und Agenten-Metriken

Ragas nutzt Sprachmodelle nicht nur als Bewerter, sondern auch als Generator für Testdaten. Hinzu kommen Metriken für mehrstufige Gespräche, Agenten und Tool-Aufrufe sowie Funktionen, die Evaluation in automatisierte Entwicklungsprozesse einbinden.

LLM-as-Judge: strukturiert, nachvollziehbar, aber nicht unfehlbar

Die LLM-basierten Metriken von Ragas folgen einem gemeinsamen Muster. Für jede Metrik gibt es einen oder mehrere Prompts mit klaren Anweisungen und Beispielen, eine definierte Ausgabestruktur und eine Berechnungsvorschrift. Das Judge-Modell liefert also keine freie Schulnote, sondern strukturierte Teilurteile – etwa eine Liste von Aussagen mit der Kennzeichnung „gedeckt“ oder „nicht gedeckt“. Aus diesen Teilurteilen berechnet Ragas den Score. Dieser Ansatz macht die Bewertung nachvollziehbarer als eine pauschale Einschätzung, denn man kann im Zweifel nachsehen, welche Aussage als nicht belegt eingestuft wurde.
Trotzdem bleibt ein Sprachmodell ein Sprachmodell. Judge-Modelle können Aussagen falsch zerlegen, Nuancen übersehen, bei Fachbegriffen danebenliegen oder bei wiederholter Ausführung leicht unterschiedliche Ergebnisse liefern. Ragas bietet deshalb Mechanismen, um die Prompts anzupassen, eigene Beispiele zu hinterlegen und – in neueren Versionen – Metriken anhand menschlicher Bewertungen auszurichten. In der Praxis empfehlen wir, für die Evaluation ein leistungsfähiges, aber fest definiertes Judge-Modell zu verwenden, die Temperatur niedrig zu halten und die Modellversion zu dokumentieren. Ein Wechsel des Judge-Modells verschiebt die Scores; Vergleiche sind nur innerhalb derselben Konfiguration aussagekräftig.

Synthetische Testsets aus den eigenen Dokumenten

Die größte Hürde jeder Evaluation ist der Testdatensatz. Hunderte realistische Fragen mit Musterantworten von Hand zu schreiben, kostet Fachleute viel Zeit. Ragas bietet deshalb eine Testset-Generierung, die aus den eigenen Dokumenten automatisch Frage-Antwort-Paare erzeugt. Der Ansatz geht über das naive „Lass das Modell zu jedem Abschnitt eine Frage schreiben“ hinaus: Ragas baut zunächst einen Wissensgraphen aus den Dokumenten auf, extrahiert Themen, Entitäten, Zusammenfassungen und Beziehungen zwischen Abschnitten und nutzt diese Struktur, um unterschiedliche Fragetypen zu erzeugen.
Dazu gehören einfache Fragen, die sich aus einem einzelnen Abschnitt beantworten lassen, und anspruchsvollere Multi-Hop-Fragen, für die Informationen aus mehreren Abschnitten kombiniert werden müssen. Außerdem unterscheidet die Generierung zwischen konkreten Faktenfragen und abstrakteren Fragen, die eine Zusammenfassung oder Einordnung verlangen. Über Personas lässt sich steuern, aus wessen Perspektive gefragt wird – etwa die eines Servicetechnikers, eines Neukunden oder einer Einkäuferin. Das Ergebnis ist ein Datensatz, der deutlich vielfältiger ist als die zehn Fragen, die ein Projektteam spontan einfallen würden.
Synthetische Testdaten haben jedoch Grenzen. Die Fragen klingen oft glatter und vollständiger als echte Nutzeranfragen, die Tippfehler, Abkürzungen, Firmenjargon und unklare Formulierungen enthalten. Die erzeugten Referenzantworten können selbst Fehler enthalten. Und Fragen, deren Antwort gar nicht in den Dokumenten steht – ein wichtiger Testfall für das korrekte Verweigern einer Antwort – entstehen auf diesem Weg kaum. Wir empfehlen daher eine Mischung: synthetische Fragen für die Breite, echte Nutzerfragen aus Pilotphasen für die Realitätsnähe und eine fachliche Prüfung der Referenzantworten, bevor der Datensatz zum Goldstandard erklärt wird.

Agenten, Tool-Aufrufe und Evaluation in der CI-Pipeline

Mit der Verbreitung von KI-Agenten hat Ragas sein Spektrum über klassisches RAG hinaus erweitert. Für mehrstufige Gespräche gibt es Datenstrukturen, die Nutzer-, Assistenten- und Tool-Nachrichten abbilden. Darauf aufbauend bewerten Metriken wie Tool Call Accuracy, ob ein Agent die richtigen Werkzeuge mit den richtigen Parametern aufgerufen hat, Agent Goal Accuracy, ob das Ziel des Nutzers am Ende erreicht wurde, und Topic Adherence, ob der Agent bei den erlaubten Themen geblieben ist. Für Anwendungen, die beispielsweise Bestellstatus abfragen, Termine buchen oder Tickets anlegen, sind diese Metriken eine sinnvolle Ergänzung zu den RAG-Kennzahlen. Daneben gibt es Metriken für weitere Aufgabentypen wie Zusammenfassungen oder SQL-Generierung.
Den größten praktischen Nutzen entfaltet Ragas, wenn die Evaluation automatisiert läuft. Typisch ist ein Ablauf in der CI/CD-Pipeline: Bei jeder Änderung an Prompts, Chunking, Embedding-Modell, Retrieval-Parametern oder Sprachmodell wird das RAG-System gegen den Testdatensatz ausgeführt, Ragas berechnet die Metriken, und die Ergebnisse werden mit dem letzten Stand verglichen. Fällt eine Kennzahl unter einen definierten Schwellenwert, schlägt der Lauf fehl oder es wird zumindest eine Warnung ausgegeben. Neuere Ragas-Versionen unterstützen dieses experimentbasierte Arbeiten mit eigenen Hilfsmitteln, die Durchläufe benennen, versionieren und vergleichbar machen. Wichtig sind dabei Kostenkontrolle und Stabilität: Ein vollständiger Durchlauf mit Hunderten Fragen und LLM-Judge verursacht Modellkosten und braucht Zeit. Viele Teams nutzen daher einen kleinen, schnellen Datensatz für jeden Commit und einen umfassenden Datensatz für nächtliche Läufe oder vor Releases.
Regressionstests bei Änderungen

Jede Anpassung an Prompt, Chunking oder Modell wird automatisch gegen den Testdatensatz geprüft, bevor sie in Produktion geht.

Weniger Rückschritte
Synthetischer Start-Datensatz

Aus Handbüchern und Richtlinien entsteht in kurzer Zeit ein vielfältiger Fragenkatalog, den Fachleute anschließend prüfen und ergänzen.

Schneller Einstieg
Stichproben aus dem Betrieb

Referenzfreie Metriken bewerten regelmäßig einen Ausschnitt echter Anfragen und machen schleichende Qualitätsverluste sichtbar.

Frühwarnsystem
Kapitel 05 · Integrationen & Ökosystem

Frameworks, Observability und freie Modellwahl

Ragas ist bewusst offen gestaltet. Es lässt sich mit den gängigen RAG-Frameworks kombinieren, liefert Metriken an Tracing- und Observability-Plattformen und arbeitet mit nahezu jedem Sprachmodell zusammen – von großen Cloud-APIs bis zu lokal betriebenen Open-Weight-Modellen.

LangChain, LlamaIndex, Haystack und Eigenentwicklungen

Weil Ragas nur Frage, Kontext, Antwort und optional eine Referenz benötigt, ist es grundsätzlich mit jeder RAG-Pipeline kompatibel. Für die verbreiteten Frameworks gibt es zusätzlich komfortable Brücken. Mit LangChain lassen sich Ketten und Retriever direkt ausführen und deren Ausgaben in das Ragas-Datenformat überführen; außerdem kann Ragas Sprach- und Embedding-Modelle über die LangChain-Schnittstellen ansprechen, was die Auswahl an unterstützten Modellen enorm erweitert. Für LlamaIndex existiert eine vergleichbare Integration, mit der Query-Engines gegen einen Testdatensatz ausgeführt und bewertet werden können; auch die LlamaIndex-Modellschnittstellen lassen sich als Judge einbinden. Bei Haystack steht Ragas als Evaluationskomponente zur Verfügung, die sich in Pipelines einfügen lässt.
Für Eigenentwicklungen ohne Framework ist der Weg ebenso einfach: Man protokolliert für jede Testfrage die abgerufenen Abschnitte und die erzeugte Antwort, speichert sie in einer Tabelle oder Liste und übergibt diese an Ragas. Gerade diese Framework-Unabhängigkeit macht Ragas attraktiv für Unternehmen, die mehrere RAG-Anwendungen mit unterschiedlicher Technik betreiben und trotzdem einheitliche Qualitätsmaßstäbe anlegen wollen.

LangSmith, Langfuse, Arize Phoenix und weitere Plattformen

In produktiven Umgebungen laufen RAG-Anwendungen selten ohne Tracing. Plattformen wie LangSmith, Langfuse oder Arize Phoenix protokollieren jeden Schritt einer Anfrage: Eingabe, Retrieval, Prompt, Modellantwort, Latenz und Kosten. Ragas fügt sich hier als Bewertungsschicht ein. Typische Muster sind, Ragas-Scores als Bewertung an einzelne Traces anzuhängen, Datensätze aus der Plattform zu exportieren und mit Ragas zu bewerten oder Ragas-Metriken als Evaluatoren innerhalb der Plattform zu registrieren. Für Langfuse und LangSmith existieren dafür Anleitungen und Beispiele; auch andere Observability-Werkzeuge bieten Brücken an. Die genaue Integrationstiefe unterscheidet sich je nach Plattform und Version und sollte im Einzelfall geprüft werden.
Besonders interessant für den Mittelstand ist die Kombination mit einer selbst betreibbaren Observability-Lösung. Langfuse und Arize Phoenix lassen sich beispielsweise auf eigener Infrastruktur betreiben, sodass Traces, Testdaten und Bewertungen im eigenen Verantwortungsbereich bleiben. Zusammen mit einem lokal betriebenen Judge-Modell entsteht so eine vollständig souveräne Evaluationsumgebung.
Ebene Typische Werkzeuge Rolle von Ragas
RAG-Framework LangChain, LlamaIndex, Haystack, Eigenbau Bewertet Ausgaben der Pipeline
Judge-Modell Cloud-APIs, EU-gehostete Modelle, lokale Open-Weight-Modelle Nutzt das Modell für LLM-basierte Metriken
Embedding-Modell Cloud-Embeddings, lokale Sentence-Transformer Für Relevanz- und Ähnlichkeitsmetriken
Observability LangSmith, Langfuse, Arize Phoenix u. a. Liefert Scores an Traces und Datensätze
Automatisierung CI/CD-Systeme, Test-Frameworks, Scheduler Regressionstests und Qualitäts-Gates

Freie Modellwahl bis hin zu lokalen Modellen

Ragas ist nicht an einen Modellanbieter gebunden. In vielen Beispielen wird ein Modell eines großen US-Anbieters als Standard verwendet, doch über Wrapper und Fabrikfunktionen lassen sich praktisch alle Modelle einbinden, die über gängige Schnittstellen erreichbar sind. Dazu gehören Cloud-Dienste großer Anbieter in EU-Regionen ebenso wie lokal betriebene Open-Weight-Modelle über Inferenzserver, die eine kompatible Programmierschnittstelle anbieten. Gleiches gilt für Embedding-Modelle, bei denen lokale, mehrsprachige Modelle eine gute Wahl für deutsche Texte sind.
Die freie Modellwahl ist allerdings keine reine Formalie. Viele LLM-basierte Metriken setzen voraus, dass das Judge-Modell zuverlässig strukturierte Ausgaben erzeugt und mehrstufige Anweisungen befolgt. Kleinere lokale Modelle scheitern daran gelegentlich, liefern unvollständige Ausgaben oder bewerten zu großzügig. Vor dem Einsatz eines lokalen Judge-Modells sollte deshalb ein kurzer Kalibrierungstest stehen: Ein paar Dutzend Beispiele mit bekannten Urteilen werden bewertet, und die Ergebnisse werden mit denen eines starken Referenzmodells und mit menschlichen Einschätzungen verglichen.
Kapitel 06 · Abgrenzung

Ragas im Vergleich zu DeepEval, TruLens, Phoenix, LangSmith und promptfoo

Der Markt für LLM-Evaluation ist in Bewegung. Neben Ragas gibt es weitere Open-Source-Bibliotheken, Observability-Plattformen mit integrierter Evaluation und Werkzeuge mit Fokus auf Prompt-Tests. Die folgende Einordnung ist qualitativ und spiegelt unsere Projekterfahrung; Funktionsumfang und Konditionen ändern sich schnell und sind beim jeweiligen Anbieter zu prüfen.

Werkzeug Schwerpunkt Stärke Zu beachten
Ragas RAG-spezifische Metriken, Testset-Generierung Klar definierte RAG-Metriken, framework-unabhängig Entwicklerwerkzeug, API-Änderungen zwischen Versionen
DeepEval Testframework für LLM-Apps Pytest-ähnliche Testfälle, breites Metrik-Set Begleitende Cloud-Plattform optional, Datenflüsse prüfen
TruLens Feedback-Funktionen und Tracing RAG-Triade, Instrumentierung von Apps Eigenes Konzept, Einarbeitung nötig
Arize Phoenix Observability und Evaluation Tracing, Visualisierung, selbst betreibbar Metriken eher generisch, Plattformcharakter
LangSmith Evaluations Plattform für LangChain-Ökosystem Datensätze, Experimente, Annotation in einer Oberfläche Primär SaaS, Datenstandort und Konditionen prüfen
promptfoo Prompt- und Modelltests, Red Teaming Konfigurationsbasiert, schnelle Vergleiche, CLI Weniger auf RAG-Metriken spezialisiert

Bibliotheken: DeepEval und TruLens

DeepEval ist eine Open-Source-Bibliothek, die Evaluation konsequent als Softwaretest denkt. Testfälle werden ähnlich wie in gängigen Python-Testframeworks geschrieben und mit Schwellenwerten versehen; das Werkzeug bringt eine breite Palette an Metriken mit, darunter eigene Varianten von Faithfulness, Kontextrelevanz und Halluzinationserkennung sowie frei definierbare Kriterien. Für Teams, die Evaluation primär als Qualitäts-Gate in der Entwicklung verstehen, ist DeepEval ein ernstzunehmender Kandidat. Zum Ökosystem gehört eine kommerzielle Cloud-Plattform; wer sie nutzt, sollte Datenflüsse und Datenstandort prüfen.
TruLens verfolgt einen anderen Ansatz: Es instrumentiert die Anwendung, zeichnet Abläufe auf und wendet sogenannte Feedback-Funktionen auf einzelne Schritte an. Bekannt geworden ist das Konzept der RAG-Triade aus Kontextrelevanz, Groundedness und Antwortrelevanz – inhaltlich eng verwandt mit Context Precision, Faithfulness und Answer Relevancy bei Ragas. TruLens eignet sich gut, wenn Tracing und Bewertung eng verzahnt sein sollen. Ragas punktet dagegen mit der feineren Aufschlüsselung der Retrieval-Metriken, insbesondere der Unterscheidung zwischen Precision und Recall, und mit der Testset-Generierung.

Plattformen und Testwerkzeuge: Phoenix, LangSmith, promptfoo

Arize Phoenix ist primär eine Observability-Lösung mit Evaluationsfunktionen. Sie visualisiert Traces, Embeddings und Retrieval-Ergebnisse, bietet eigene LLM-basierte Evaluatoren und lässt sich selbst betreiben. LangSmith ist die Plattform aus dem LangChain-Umfeld und integriert Datensätze, Experimente, Annotationswarteschlangen und Online-Evaluation in einer Oberfläche. Beide Plattformen sind keine direkten Konkurrenten zu Ragas, sondern häufig Partner: Ragas liefert spezialisierte RAG-Metriken, die Plattform liefert Speicherung, Visualisierung und Zusammenarbeit. promptfoo schließlich ist ein Werkzeug für Prompt- und Modellvergleiche sowie für Red Teaming, das über Konfigurationsdateien und eine Kommandozeile gesteuert wird. Es eignet sich hervorragend, um verschiedene Modelle oder Prompts schnell gegeneinander zu testen und Sicherheitslücken zu suchen, ist aber weniger auf die feingliedrige Bewertung von Retrieval ausgelegt.
Stärken
  • Klar definierte, verbreitete RAG-Metriken mit nachvollziehbarer Logik
  • Saubere Trennung von Retrieval- und Generierungsqualität
  • Testset-Generierung mit Wissensgraph, Multi-Hop-Fragen und Personas
  • Framework- und modellunabhängig, auch mit lokalen Modellen
  • Open Source, lokal ausführbar, gut in CI integrierbar
Einschränkungen
  • Scores hängen stark vom Judge-Modell und dessen Version ab
  • API-Änderungen zwischen Versionen erfordern Pflegeaufwand
  • Prompts und Beispiele primär englischsprachig
  • Keine eigene Oberfläche, Visualisierung über Drittwerkzeuge
  • LLM-Judge-Aufrufe verursachen Kosten und Datenflüsse
Kapitel 07 · Einführung & Betrieb

Eine Evaluationspipeline aufbauen, die im Alltag trägt

Ragas zu installieren dauert Minuten. Eine Evaluation aufzubauen, auf die sich Entscheidungen stützen lassen, ist ein Projekt mit eigenem Anspruch. Die folgenden Schritte haben sich in unseren RAG-Projekten bewährt.

01
Qualitätsziele definieren
Gemeinsam mit der Fachabteilung festlegen, was eine gute Antwort ausmacht: Korrektheit, Vollständigkeit, Quellenangabe, Tonalität, korrektes Verweigern bei fehlendem Wissen. Daraus ergeben sich die passenden Metriken.
02
Goldstandard aufbauen
Einen Testdatensatz aus echten und synthetischen Fragen zusammenstellen, Referenzantworten fachlich prüfen lassen und nach Themen, Schwierigkeit und Fragetyp kennzeichnen. Lieber gut kuratiert als möglichst groß.
03
Judge-Modell festlegen und kalibrieren
Ein Judge-Modell wählen, das Datenschutzanforderungen erfüllt, und dessen Urteile an einer Stichprobe mit menschlichen Bewertungen abgleichen. Modellversion, Prompts und Parameter dokumentieren.
04
Baseline messen
Das aktuelle RAG-System vollständig bewerten und die Ergebnisse als Ausgangspunkt festhalten – aufgeschlüsselt nach Metrik und Themenbereich, um Schwachstellen gezielt zu erkennen.
05
Automatisieren und überwachen
Evaluation in die CI-Pipeline einbinden, Schwellenwerte definieren, Ergebnisse an die Observability-Plattform übergeben und regelmäßig Stichproben aus dem Produktivbetrieb bewerten.

Der Goldstandard-Datensatz als eigentliches Kapital

Die wertvollste Investition in der Evaluation ist nicht die Wahl des Werkzeugs, sondern der Testdatensatz. Ein guter Goldstandard deckt die wichtigsten Themenbereiche ab, enthält einfache und schwierige Fragen, berücksichtigt typische Formulierungen echter Nutzer und umfasst bewusst auch Fragen, auf die das System keine Antwort geben sollte. Für einen ersten belastbaren Eindruck genügt oft eine mittlere zweistellige bis niedrige dreistellige Zahl sorgfältig ausgewählter Fragen; wichtiger als die Menge ist die Abdeckung. Jede Frage sollte eine fachlich geprüfte Referenzantwort und idealerweise einen Hinweis auf die Quelldokumente haben, damit auch die Retrieval-Metriken sauber berechnet werden können.
Der Datensatz ist kein einmaliges Artefakt. Ändern sich Dokumente, Produkte oder Prozesse, müssen Referenzantworten aktualisiert werden. Fehler, die im Betrieb auffallen, sollten als neue Testfälle aufgenommen werden – so wächst der Datensatz mit dem System und verhindert, dass behobene Fehler unbemerkt zurückkehren. Wir empfehlen, den Datensatz wie Code zu versionieren und Änderungen nachvollziehbar zu dokumentieren.

Grenzen und Kosten von LLM-Judges

LLM-Judges sind praktisch, aber nicht neutral. Sie neigen dazu, längere Antworten freundlicher zu bewerten, Antworten im eigenen Stil zu bevorzugen und bei komplexen Fachfragen Fehler zu übersehen, die ein Experte sofort erkennen würde. Die Scores können zwischen Läufen leicht schwanken. Und weil jede Metrik mehrere Modellaufrufe pro Testfrage auslösen kann, summieren sich die Kosten bei großen Datensätzen, vielen Metriken und häufigen Läufen spürbar. Ein vollständiger Durchlauf mit allen Metriken über einen großen Datensatz bei jedem Commit ist selten sinnvoll.
Bewährt haben sich einige pragmatische Regeln: Metriken gezielt nach Fragestellung auswählen, statt alle verfügbaren zu berechnen. Für schnelle Läufe einen kleineren Datensatz nutzen. Ergebnisse cachen, wenn sich die Eingaben nicht geändert haben. Scores nie als absolute Wahrheit lesen, sondern vor allem für Vergleiche zwischen Varianten unter identischen Bedingungen nutzen. Und regelmäßig eine Stichprobe von Hand prüfen, um sicherzustellen, dass die Metrik noch misst, was sie messen soll.

Besonderheiten bei deutschen Texten

Ragas funktioniert auch mit deutschen Inhalten, denn die meisten Judge-Modelle verstehen Deutsch gut. Die mitgelieferten Prompts und Few-Shot-Beispiele sind jedoch englischsprachig. Das kann dazu führen, dass das Judge-Modell zwischen den Sprachen wechselt, Aussagen ungenau zerlegt oder synthetische Testfragen auf Englisch erzeugt. Ragas bietet Funktionen, um Prompts an andere Sprachen anzupassen; zusätzlich lassen sich eigene Beispiele hinterlegen. Für Answer Relevancy ist außerdem ein Embedding-Modell wichtig, das deutsche Texte gut abbildet – mehrsprachige Modelle sind hier meist die bessere Wahl als rein englischsprachige.
Hinzu kommen sprachliche Eigenheiten: Komposita, Fachjargon, formelle und informelle Anrede, Abkürzungen aus dem Unternehmensalltag. Ein Judge-Modell muss erkennen, dass „Gewährleistungsfrist“ und „gesetzliche Mängelhaftung“ in einem bestimmten Kontext dasselbe meinen können, aber nicht dasselbe sind wie eine freiwillige Herstellergarantie. Solche Feinheiten zeigen, warum wir bei deutschen Fachtexten eine Kalibrierung mit menschlichen Bewertungen für unverzichtbar halten.
Kapitel 08 · Einsatz im Mittelstand

Wo Ragas im Mittelstand echten Mehrwert stiftet

Mittelständische Unternehmen haben selten ein eigenes Team für KI-Qualitätssicherung. Gerade deshalb ist eine schlanke, automatisierte Evaluation wertvoll: Sie schafft Transparenz für Geschäftsführung und Fachabteilungen und verhindert, dass ein KI-Assistent nach dem Go-live unbemerkt an Qualität verliert.

Interner Wissensassistent

Ein Assistent für Handbücher, Richtlinien und Prozessbeschreibungen wird vor dem Rollout und nach jeder Dokumentenaktualisierung gegen einen Fragenkatalog geprüft.

Belastbare Freigabe
Kundenservice-Chatbot

Faithfulness und frei definierte Kriterien prüfen, ob Antworten zu Lieferzeiten, Garantie und Rückgabe durch die hinterlegten Dokumente gedeckt sind.

Weniger Fehlauskünfte
Technische Dokumentation

Servicetechniker fragen nach Fehlercodes, Drehmomenten und Ersatzteilen. Context Recall und Entitäten-Metriken zeigen, ob alle relevanten Daten gefunden werden.

Höhere Trefferquote
Modell- und Anbieterwahl

Vor dem Wechsel zu einem günstigeren oder souveräneren Modell zeigt ein Vergleichslauf, ob die Antwortqualität für den eigenen Anwendungsfall erhalten bleibt.

Fundierte Entscheidung

Eine realistische Einführung in drei Phasen

In der ersten Phase geht es um Transparenz. Für ein bestehendes oder geplantes RAG-System wird ein kompakter Testdatensatz aufgebaut, idealerweise in einem Workshop mit Fachexperten, ergänzt um synthetisch erzeugte Fragen. Ragas berechnet eine erste Baseline mit wenigen, gut verständlichen Metriken – meist Faithfulness, Answer Relevancy, Context Precision und Context Recall. Schon diese Baseline liefert häufig überraschende Erkenntnisse, etwa dass bestimmte Dokumenttypen schlecht gefunden werden oder dass das Modell bei Tabellen besonders häufig Details erfindet.
In der zweiten Phase folgt die Optimierung. Auf Basis der Schwachstellen werden gezielt Hebel getestet: andere Chunk-Größen, ein besseres Embedding-Modell, Hybrid-Suche, Reranking, angepasste Prompts. Jede Variante wird gegen denselben Datensatz gemessen, sodass Entscheidungen auf Zahlen statt auf Eindrücken beruhen. In der dritten Phase wird die Evaluation zum Dauerbetrieb: Sie läuft automatisiert bei Änderungen, bewertet regelmäßig Stichproben aus dem Produktivbetrieb und liefert einen kompakten Bericht, den auch die Geschäftsführung versteht.

Ergebnisse verständlich kommunizieren

Ein Faithfulness-Wert von 0,87 sagt einer Geschäftsführerin zunächst wenig. Wir empfehlen deshalb, Ragas-Ergebnisse in die Sprache des Unternehmens zu übersetzen: „In rund neun von zehn Antworten sind alle Aussagen durch unsere Dokumente belegt“ oder „Bei Fragen zur Ersatzteilbestellung findet das System in einem Drittel der Fälle nicht alle nötigen Informationen.“ Kombiniert mit konkreten Beispielen aus dem Testdatensatz entsteht ein Bild, das Vertrauen schafft und Prioritäten klar macht. Wichtig ist auch die ehrliche Botschaft, dass die Zahlen Näherungen sind, die auf einem Sprachmodell als Bewerter beruhen – und dass sie dann am aussagekräftigsten sind, wenn man sie im Zeitverlauf und im Vergleich betrachtet.
Konkrete Preise nennen wir bewusst nicht

Der Aufwand für eine RAG-Evaluation hängt stark von Anzahl und Komplexität der Anwendungen, vom Umfang des Testdatensatzes, von der Verfügbarkeit der Fachexperten, vom gewählten Judge-Modell und von den Anforderungen an Automatisierung und Datenschutz ab. Pauschale Festpreise wären irreführend. Was wir verlässlich anbieten: einen kompakten Discovery-Workshop, in dem wir Ihre Ausgangslage analysieren, die passende Evaluationsstrategie herstellerneutral bewerten und einen transparenten Umsetzungsweg schätzen.

Kapitel 09 · Kosten & DSGVO

Modellkosten, Testdaten und Datenhoheit

Die Ragas-Bibliothek läuft lokal und kostet keine Lizenzgebühr. Datenschutz und Kosten entscheiden sich deshalb nicht an der Bibliothek, sondern an den Modellen, die sie aufruft, und an den Daten, die durch diese Aufrufe fließen.

Keine Rechtsberatung

Die folgenden Ausführungen sind eine praxisorientierte Einordnung aus IT- und Projektsicht – keine Rechtsberatung. Für die rechtssichere Bewertung Ihres konkreten Einsatzes, für Auftragsverarbeitungsverträge, Datenschutz-Folgenabschätzungen und die Bewertung von Drittlandtransfers ziehen Sie bitte Ihre Datenschutzbeauftragten oder eine spezialisierte Kanzlei hinzu.

Wohin fließen die Daten bei einer Evaluation?

Bei jeder LLM-basierten Metrik sendet Ragas Daten an das konfigurierte Judge-Modell: die Frage, die abgerufenen Kontextabschnitte, die generierte Antwort und gegebenenfalls die Referenzantwort. Bei der Testset-Generierung werden ganze Dokumentabschnitte an das Modell übergeben, um daraus Fragen, Zusammenfassungen und Wissensgraphen zu erzeugen. Für Embedding-basierte Metriken gehen Texte an das Embedding-Modell. Wer dafür einen Cloud-Dienst eines US-Anbieters nutzt, überträgt also potenziell interne Dokumente, Kundenanfragen und Antworten an diesen Dienst. Je nach Datenart, Vertrag und Region kann das einen Drittlandbezug begründen; zusätzlich stellt sich bei US-Unternehmen die Frage nach dem US CLOUD Act, der Behörden unter bestimmten Voraussetzungen Zugriff auf Daten erlauben kann, die von US-Unternehmen kontrolliert werden – unabhängig vom Speicherort.
Besonders heikel sind Stichproben aus dem Produktivbetrieb. Echte Nutzeranfragen enthalten häufig personenbezogene Daten: Namen, Kundennummern, Vertragsdetails, Gesundheits- oder Personalinformationen. Bevor solche Daten in eine Evaluation einfließen, sollten Zweck, Rechtsgrundlage und Speicherdauer geklärt und die Daten nach Möglichkeit anonymisiert oder pseudonymisiert werden. Ergänzend lohnt ein Blick auf die Telemetrie: Ragas hat in der Vergangenheit standardmäßig anonymisierte Nutzungsstatistiken übermittelt, die sich über eine Umgebungsvariable abschalten lassen. Wie die aktuelle Voreinstellung aussieht und welche Daten genau erfasst werden, sollten Sie in der Dokumentation prüfen und in sensiblen Umgebungen die Telemetrie konsequent deaktivieren.

DSGVO-konformere Optionen: EU-Region und lokale Modelle

Die gute Nachricht: Weil Ragas modellunabhängig ist, lässt sich die gesamte Evaluation datenschutzfreundlich gestalten. Eine Option sind Sprachmodelle großer Anbieter in EU-Regionen mit Auftragsverarbeitungsvertrag und vertraglichem Ausschluss der Nutzung für Modelltraining. Die Daten werden dann in Europa verarbeitet, die Frage nach dem CLOUD Act bleibt bei US-Anbietern aber bestehen und ist zu bewerten. Die konsequentere Option sind selbst betriebene Open-Weight-Modelle im eigenen Rechenzentrum oder bei einem europäischen Hoster. Zusammen mit lokalen Embedding-Modellen und einer selbst betriebenen Observability-Lösung verlassen dann weder Dokumente noch Anfragen den eigenen Verantwortungsbereich. Der Preis dafür ist ein höherer Betriebsaufwand und die Notwendigkeit, die Eignung des lokalen Modells als Judge sorgfältig zu prüfen.
Empfehlung: Bibliothek lokal, Judge-Modell souverän wählen

Für datenschutzsensible Anwendungen empfehlen wir, Ragas lokal oder in der eigenen CI-Umgebung auszuführen und das Judge-Modell bewusst zu wählen: bevorzugt ein selbst betriebenes Open-Weight-Modell oder ein Modell in einer EU-Region mit Auftragsverarbeitungsvertrag. Testdaten werden anonymisiert, Telemetrie wird geprüft, und die Entscheidung wird dokumentiert.

Bibliothek
Lokal oder in eigener CI ausführen
Judge-Modell
Lokal oder EU-Region, AVV abschließen
Testdaten
Anonymisieren oder pseudonymisieren
Telemetrie
Einstellung prüfen, ggf. deaktivieren
Ergebnisse
Speicherort und Löschfristen festlegen
Drittland
US-Dienste und CLOUD Act bewerten

Kosten: Modellaufrufe, Rechenzeit und Arbeitszeit

Die Lizenzkosten der Bibliothek sind null. Die tatsächlichen Kosten entstehen an drei Stellen. Erstens durch Modellaufrufe: Jede LLM-basierte Metrik löst pro Testfrage einen oder mehrere Aufrufe aus, die Testset-Generierung verarbeitet ganze Dokumentbestände. Bei Cloud-Modellen wird nach verarbeiteten Tokens abgerechnet; die Summe hängt von Datensatzgröße, Anzahl der Metriken, Kontextlänge, Modellwahl und Laufhäufigkeit ab. Aktuelle Preise sind beim jeweiligen Modellanbieter zu prüfen. Zweitens durch Rechenleistung, wenn lokale Modelle eingesetzt werden: Ein leistungsfähiges Judge-Modell braucht passende Hardware, die entweder angeschafft oder bei einem Hoster gemietet wird.
Drittens – und in der Praxis oft der größte Posten – durch Arbeitszeit: für den Aufbau und die Pflege des Testdatensatzes, für die Kalibrierung des Judge-Modells, für die Integration in die Pipeline und für die Interpretation der Ergebnisse. Diesen Kosten steht ein handfester Nutzen gegenüber: weniger Fehlauskünfte im Betrieb, schnellere und fundiertere Entscheidungen bei Modell- und Architekturwechseln und die Möglichkeit, günstigere Modelle einzusetzen, wenn die Messung zeigt, dass sie für den eigenen Anwendungsfall ausreichen. Ein gut aufgesetzter Evaluationsprozess kann sich dadurch schnell amortisieren – vorausgesetzt, man misst gezielt statt flächendeckend.
Kapitel 10 · Häufige Fragen

Häufig gestellte Fragen zu Ragas

Diese Fragen tauchen in unseren Beratungsgesprächen rund um die Evaluation von RAG- und LLM-Anwendungen mit Ragas am häufigsten auf – kurz und sachlich beantwortet.

Was misst Ragas genau?
Ragas bewertet RAG- und LLM-Anwendungen mit Kennzahlen zwischen 0 und 1. Retrieval-Metriken wie Context Precision und Context Recall messen, ob die richtigen Textabschnitte gefunden und gut sortiert wurden. Generierungsmetriken wie Faithfulness und Answer Relevancy messen, ob die Antwort durch den Kontext gedeckt ist und die Frage tatsächlich beantwortet. Hinzu kommen Metriken für Agenten, Tool-Aufrufe und frei definierbare Kriterien.
Brauche ich für Ragas einen Goldstandard-Datensatz?
Nicht zwingend. Einige Metriken wie Faithfulness und Answer Relevancy arbeiten referenzfrei und benötigen nur Frage, Kontext und Antwort. Für Context Recall, Factual Correctness und belastbare Regressionstests ist ein kuratierter Datensatz mit Referenzantworten aber sehr zu empfehlen. Synthetisch erzeugte Testfragen können den Einstieg erleichtern, ersetzen fachliche Prüfung jedoch nicht.
Wie zuverlässig sind die Scores eines LLM-Judges?
Die Scores sind gute Näherungen, aber keine absolute Wahrheit. Sie hängen vom Judge-Modell, dessen Version und den Prompts ab und können zwischen Läufen leicht schwanken. Am aussagekräftigsten sind sie im Vergleich zwischen Varianten unter identischen Bedingungen und im Zeitverlauf. Eine regelmäßige Kalibrierung mit menschlichen Bewertungen ist empfehlenswert.
Ist Ragas kostenlos?
Die Bibliothek ist Open Source und ohne Lizenzgebühren nutzbar. Kosten entstehen vor allem durch die Aufrufe des Judge-Sprachmodells und der Embedding-Modelle, durch Rechenzeit sowie durch den Aufwand für Testdaten und Auswertung. Ob und welche ergänzenden kommerziellen Angebote es gibt, sollte beim Anbieter geprüft werden.
Kann man Ragas DSGVO-konform einsetzen?
Die Bibliothek selbst läuft lokal. Datenschutzrelevant sind die Judge- und Embedding-Modelle: Wer einen US-Cloud-Dienst nutzt, sendet Fragen, Kontexte und Antworten dorthin. DSGVO-konformere Optionen sind Modelle in EU-Regionen oder selbst betriebene Open-Weight-Modelle sowie anonymisierte Testdaten. Zusätzlich sollte die Telemetrie-Einstellung geprüft werden. Die rechtliche Bewertung gehört zu den Datenschutzbeauftragten – dies ist keine Rechtsberatung.
Funktioniert Ragas mit deutschen Texten?
Grundsätzlich ja, denn die meisten Metriken nutzen ein Sprachmodell als Bewerter, das Deutsch beherrscht. Die mitgelieferten Prompts und Beispiele sind jedoch englischsprachig. Ragas bietet Möglichkeiten zur Anpassung der Prompts an andere Sprachen; zusätzlich sollten die Ergebnisse stichprobenartig mit menschlichen Bewertungen abgeglichen werden.
Ragas, DeepEval oder LangSmith – was soll ich nehmen?
Ragas ist stark bei spezialisierten RAG-Metriken und Testset-Generierung, DeepEval bei testgetriebener Entwicklung mit breitem Metrik-Set, LangSmith bei der Zusammenarbeit in einer Plattform rund um LangChain. Die Werkzeuge schließen sich nicht aus: Häufig liefert Ragas die Metriken, während eine Observability-Plattform Speicherung und Visualisierung übernimmt. Entscheidend sind Ihre Architektur, Ihre Datenschutzanforderungen und Ihr Team.
Wie starte ich ein erstes Projekt mit Ragas?
Wählen Sie eine konkrete RAG-Anwendung und stellen Sie einen kleinen, fachlich geprüften Testdatensatz zusammen – gerne ergänzt um synthetische Fragen. Legen Sie ein Judge-Modell fest, das Ihre Datenschutzanforderungen erfüllt, und berechnen Sie eine Baseline mit Faithfulness, Answer Relevancy, Context Precision und Context Recall. Prüfen Sie die Ergebnisse stichprobenartig von Hand und binden Sie die Evaluation anschließend in Ihre Entwicklungspipeline ein.

Souveräne KI-Suche aufbauen

Bereit für ein RAG-System, dessen Qualität Sie messen können?

Vom Aufbau eines Goldstandard-Datensatzes über die herstellerneutrale Auswahl von Evaluationswerkzeugen und Judge-Modellen bis zur automatisierten Qualitätssicherung in Ihrer Pipeline – INAGRO begleitet Sie auf jedem Schritt. Mit Retrieval-Expertise, Datenschutz-Fokus und tiefem Verständnis für den Mittelstand. Pragmatisch, herstellerneutral und mit messbarem Ergebnis.

Seit 2006 am Markt

Erfahrung aus über 100 Digitalprojekten

DSGVO & Souveränität

Datenschutz von Anfang an mitgedacht

Rückmeldung in 24 h

Schnell, direkt, unverbindlich