Wissensdatenbank · RAG-Betrieb · Observability & Evaluation

LangSmith – Tracing, Evaluation und Monitoring für LLM-, RAG- und Agenten-Anwendungen.

Ein RAG-Chatbot ist schnell gebaut – aber warum hat er gestern eine falsche Antwort gegeben, welches Dokument hat er herangezogen und wird er nach dem nächsten Prompt-Update besser oder schlechter? LangSmith, die Plattform von LangChain Inc., macht jeden Schritt einer KI-Anwendung sichtbar, verwaltet Testdatensätze, bewertet Antworten automatisiert und überwacht Qualität, Latenz und Kosten im Betrieb. Dieser Fachartikel ordnet Editionen, Funktionen, Ökosystem, Wettbewerb, Betrieb, Kosten und die Datenschutzfrage herstellerneutral ein.

Dieser Artikel wurde mithilfe künstlicher Intelligenz erstellt und redaktionell geprüft.

28 Min. Lesezeit
Aktualisiert · Oktober 2026
Fachartikel · Expertenbeitrag
LangSmith
LangChain Inc. · Observability & Evaluation
Typ
LLM-Observability-Plattform
Kernfunktionen
Tracing, Evals, Prompts
Lizenz
Proprietär, SDKs offen
Schnittstelle
Python, TS, OpenTelemetry
Betrieb
Cloud, Self-Hosted (Enterprise)
Stärke
Agenten- & LangGraph-Debugging
INAGRO Eignung souveränes RAG im Mittelstand
★★★★★
Kapitel 01 · Überblick

Was ist LangSmith – und warum braucht eine KI-Anwendung einen Flugschreiber?

LangSmith ist eine Plattform für Observability, Tracing, Evaluation und Prompt-Management von Anwendungen, die auf großen Sprachmodellen beruhen. Sie stammt von LangChain Inc., dem Unternehmen hinter den Open-Source-Frameworks LangChain und LangGraph, und richtet sich an Teams, die Chatbots, RAG-Systeme und KI-Agenten nicht nur bauen, sondern dauerhaft zuverlässig betreiben wollen. Vereinfacht gesagt ist LangSmith der Flugschreiber und das Prüflabor einer KI-Anwendung zugleich.

Klassische Software verhält sich deterministisch: Dieselbe Eingabe führt zum selben Ergebnis, und wenn etwas schiefgeht, zeigen Logdateien und Stacktraces meist ziemlich genau, wo. Anwendungen mit Sprachmodellen brechen mit diesem Prinzip. Ein RAG-Chatbot zerlegt eine Frage, erzeugt ein Embedding, durchsucht eine Vektordatenbank, sortiert Treffer per Reranking neu, baut einen Prompt aus Systemanweisung, Kontext und Gesprächsverlauf und lässt ein Sprachmodell eine Antwort formulieren. Ein Agent ruft zusätzlich Werkzeuge auf, entscheidet über weitere Schritte und durchläuft womöglich Schleifen. An jeder dieser Stellen kann etwas Unerwartetes passieren – und das Ergebnis ist trotzdem ein flüssig formulierter Text, der auf den ersten Blick plausibel wirkt.
Genau hier setzt LangSmith an. Die Plattform zeichnet jeden Aufruf einer Anwendung als Trace auf: eine baumartige Struktur aus einzelnen Schritten, die mit ihren Eingaben, Ausgaben, Laufzeiten, Token-Verbräuchen, Fehlern und Metadaten gespeichert werden. Wer eine fehlerhafte Antwort untersucht, sieht so nicht nur das Endergebnis, sondern auch, welche Dokumentabschnitte der Retriever geliefert hat, wie der finale Prompt aussah und an welcher Stelle der Agent eine falsche Abzweigung genommen hat. Das verkürzt die Fehlersuche oft von Stunden auf Minuten.

Vom Debugging-Werkzeug zur Plattform für den gesamten Lebenszyklus

LangSmith wurde ursprünglich als Begleitwerkzeug zum LangChain-Framework entwickelt, um die oft verschachtelten Ketten aus Prompts, Modellen und Retrievern nachvollziehbar zu machen. Seitdem hat sich das Produkt deutlich erweitert. Heute deckt es den gesamten Lebenszyklus einer LLM-Anwendung ab: Entwicklung mit Playground und Prompt-Versionierung, Testen mit Datensätzen und Experimenten, Bewertung mit automatischen und menschlichen Evaluatoren sowie Betrieb mit Dashboards, Alarmen und Online-Evaluationen auf Live-Verkehr. Hinzu kommt im Umfeld von LangGraph die Möglichkeit, Agenten über die Plattform des Anbieters bereitzustellen; die genaue Produktbenennung dieser Bausteine hat sich in den vergangenen Jahren mehrfach verändert und sollte beim Anbieter nachgelesen werden.
Wichtig für die Einordnung: LangSmith ist kein Framework, mit dem man eine RAG-Anwendung baut, und keine Vektordatenbank. Es ist eine Querschnittsschicht, die neben der eigentlichen Anwendung läuft, deren Verhalten beobachtet und die Werkzeuge bereitstellt, um dieses Verhalten systematisch zu verbessern. Die Anwendung selbst kann mit LangChain, LangGraph, LlamaIndex, Haystack, einem anderen Framework oder ganz ohne Framework geschrieben sein.

Warum Observability für RAG-Projekte erfolgskritisch ist

In unseren Projekten erleben wir immer wieder dasselbe Muster: Ein Prototyp beeindruckt in der Demo, doch nach dem Rollout häufen sich Rückmeldungen wie „die Antwort war veraltet“ oder „der Bot hat etwas erfunden“. Ohne systematische Aufzeichnung lässt sich nicht klären, ob das Problem im Chunking, in der Suche, im Prompt oder im Modell liegt. Ohne Testdatensatz lässt sich nicht nachweisen, ob eine Änderung das Problem behebt, ohne an anderer Stelle neue Fehler zu erzeugen. Und ohne Monitoring bemerkt niemand, wenn die Qualität nach einem Modellwechsel des Anbieters schleichend sinkt.
Observability und Evaluation sind deshalb keine Kür, sondern die Voraussetzung dafür, dass KI-Anwendungen im Unternehmen Vertrauen gewinnen. LangSmith ist eine der bekanntesten Plattformen für diese Aufgabe – mit besonderen Stärken im LangChain-Ökosystem und bei komplexen Agenten, aber auch mit Fragen, die gerade im DACH-Raum genau betrachtet werden müssen: Wo liegen die Traces, die häufig Kundendaten im Wortlaut enthalten, und wie verhält sich ein US-Anbieter zur DSGVO?
INAGRO-Einschätzung

LangSmith ist aus unserer Sicht eine der ausgereiftesten Plattformen für Tracing und Evaluation von LLM-Anwendungen, besonders wenn LangChain oder LangGraph im Einsatz sind und komplexe Agenten nachvollzogen werden müssen. Die Bedienoberfläche ist durchdacht, der Weg vom fehlerhaften Trace zum Testfall kurz. Für den Mittelstand ist die zentrale Frage weniger die Funktion als die Datenhoheit: Die Cloud-Variante eines US-Anbieters verarbeitet potenziell personenbezogene Inhalte, und Self-Hosting ist an einen Enterprise-Vertrag gebunden. Wer volle Souveränität mit Open Source sucht, sollte Langfuse als Alternative ernsthaft prüfen.

Kapitel 02 · Editionen & Positionierung

Cloud, Hybrid, Self-Hosted: die LangSmith-Pläne im Überblick

LangSmith wird in mehreren Plänen angeboten – vom kostenlosen Einstieg für einzelne Entwickler über Team-Pläne bis zur Enterprise-Variante mit eigener Infrastruktur. Die folgende Übersicht ist bewusst qualitativ; Planbezeichnungen, Kontingente, Aufbewahrungsfristen und Preise ändern sich regelmäßig und sind stets beim Anbieter zu prüfen.

Developer
Einstieg

Kostenloser Einstieg für einzelne Entwicklerinnen und Entwickler mit einem begrenzten Kontingent an Traces pro Monat. Ideal, um Tracing und Evaluationen am eigenen Prototyp kennenzulernen.

BetriebCloud des Anbieters
Nutzereinzeln
Kontingentbeim Anbieter prüfen
Plus / Team
Teams

Für kleinere Teams mit mehreren Nutzerplätzen, höheren Kontingenten und gemeinsamen Workspaces. Abrechnung typischerweise nach Plätzen und zusätzlichem Trace-Volumen.

BetriebCloud des Anbieters
Nutzermehrere Plätze
KostenPlätze und Volumen
Enterprise Cloud
Enterprise

Unternehmensvariante mit Single Sign-on, erweiterten Rollen und Rechten, individuellen Verträgen, Support-Zusagen und gegebenenfalls Wahl der Datenregion.

Betriebdurch Anbieter
Regionbeim Anbieter prüfen
Kostenindividuell
Self-Hosted & Hybrid
Eigene Infrastruktur

Betrieb der Plattform in der eigenen Cloud oder im eigenen Rechenzentrum, in der Regel auf Kubernetes. Zusätzlich gibt es hybride Modelle, bei denen Daten in der eigenen Umgebung bleiben.

Betriebeigenes Team
Datenstandortfrei wählbar
VoraussetzungEnterprise-Vertrag

SaaS-Pläne: schneller Start, klare Abhängigkeit

Der einfachste Weg zu LangSmith führt über die Cloud-Variante. Nach der Registrierung erzeugt man einen API-Schlüssel, setzt einige Umgebungsvariablen in der Anwendung – und die ersten Traces erscheinen in der Weboberfläche. Für Prototypen und interne Experimente mit nicht personenbezogenen Testdaten ist das ein kaum zu unterbietender Einstieg. Der kostenlose Plan ist auf einzelne Nutzer und ein überschaubares Trace-Kontingent ausgelegt; sobald mehrere Personen zusammenarbeiten oder produktiver Verkehr aufgezeichnet wird, führt der Weg in einen kostenpflichtigen Plan.
Ein Aspekt, der bei der Planwahl häufig übersehen wird, sind die Aufbewahrungsfristen. LangSmith unterscheidet zwischen kürzer und länger aufbewahrten Traces, die unterschiedlich abgerechnet werden. Für die Fehlersuche im Tagesgeschäft reicht eine kurze Aufbewahrung meist aus; Traces, die als Grundlage für Testdatensätze, Audits oder Langzeitanalysen dienen, benötigen dagegen eine längere Frist oder werden gezielt in Datensätze überführt. Aus Datenschutzsicht ist eine kurze Standardaufbewahrung übrigens oft ein Vorteil – dazu mehr in Kapitel 09.
Für Unternehmen mit Datenschutzanforderungen ist die Frage nach der Datenregion zentral. Nach unserem Kenntnisstand bietet LangChain neben der US-Region auch eine EU-Region für die Cloud-Variante an. Ob diese für den gewünschten Plan verfügbar ist, welche Daten dort tatsächlich verbleiben und welche Dienste – etwa Authentifizierung, Support oder Telemetrie – dennoch außerhalb der EU laufen, sollte vor Vertragsabschluss beim Anbieter verbindlich geklärt werden.

Enterprise, Self-Hosting und die Positionierung im Markt

Die Self-Hosted-Variante richtet sich an Organisationen, die Traces nicht in eine fremde Cloud übertragen dürfen oder wollen. LangSmith wird dann in der eigenen Kubernetes-Umgebung betrieben, typischerweise per Helm-Chart, mit eigenen Datenbanken und Objektspeicher. Self-Hosting ist nach aktuellem Stand an einen Enterprise-Vertrag gebunden und damit eher für größere Organisationen oder für Mittelständler mit klarem strategischem Fokus auf KI wirtschaftlich. Daneben existieren hybride Modelle, bei denen die Datenebene in der Kundenumgebung läuft und die Steuerung beim Anbieter verbleibt; Details und Verfügbarkeit sind beim Anbieter zu prüfen.
Im Markt positioniert sich LangSmith als umfassende Plattform für Agenten-Engineering: nicht nur Logging, sondern ein durchgängiger Arbeitsablauf aus Beobachten, Bewerten, Verbessern und Bereitstellen. Der Anspruch ist ausdrücklich framework-unabhängig, die tiefste Integration besteht aber naturgemäß zu LangChain und LangGraph. Wer im LangChain-Ökosystem arbeitet, bekommt mit LangSmith die nahtloseste Erfahrung; wer ein anderes Framework nutzt, findet ebenfalls brauchbare Integrationen, sollte aber die Alternativen in Kapitel 06 mit in die Bewertung nehmen.
LangSmith ist nicht Open Source

Die SDKs für Python und TypeScript sind quelloffen verfügbar, die Plattform selbst ist jedoch ein proprietäres Produkt. Das unterscheidet LangSmith von quelloffenen Alternativen wie Langfuse oder Arize Phoenix, die sich ohne Lizenzvertrag selbst betreiben lassen. Für die Auswahl ist das ein strategischer Faktor – nicht nur ein Kostenpunkt, sondern eine Frage der langfristigen Abhängigkeit.

Kapitel 03 · Funktionsumfang

Tracing, Datasets, Experimente und Prompt-Management

Der Funktionsumfang von LangSmith gliedert sich in fünf Bereiche, die eng ineinandergreifen: Tracing als Datengrundlage, Datensätze und Experimente für reproduzierbare Tests, Evaluatoren für die Bewertung, Prompt Hub und Playground für die Entwicklung sowie Monitoring für den laufenden Betrieb.

Tracing: Runs, Traces, Threads und Projekte

Die kleinste Einheit in LangSmith ist ein Run – ein einzelner Arbeitsschritt wie ein Modellaufruf, eine Retriever-Abfrage, ein Werkzeugaufruf oder eine selbst definierte Funktion. Runs sind hierarchisch verschachtelt: Der äußerste Run repräsentiert die gesamte Anfrage, darunter liegen die Teilschritte. Die Gesamtheit bildet einen Trace. Mehrere Traces, die zu einer Unterhaltung gehören, lassen sich zu einem Thread zusammenfassen, sodass ganze Dialoge eines Chatbots nachvollziehbar werden. Traces werden in Projekten gesammelt, typischerweise getrennt nach Anwendung und Umgebung, etwa Entwicklung, Test und Produktion.
Zu jedem Run speichert LangSmith Eingaben und Ausgaben, Start- und Endzeit, Fehlermeldungen, Token-Verbrauch und daraus abgeleitete Kostenschätzungen, das verwendete Modell und seine Parameter sowie frei definierbare Metadaten und Tags. Gerade Letztere sind in der Praxis enorm wertvoll: Wer Version der Anwendung, Mandant, Sprache, Kanal oder Nutzergruppe als Metadaten mitschreibt, kann später gezielt filtern – etwa alle Anfragen eines bestimmten Produktbereichs mit negativer Bewertung in der letzten Woche. Nutzerfeedback wie Daumen hoch oder runter lässt sich per API an Traces anhängen und wird so zur Datengrundlage für Verbesserungen.
Die Weboberfläche zeigt Traces als aufklappbaren Baum mit Zeitleiste. Bei RAG-Anwendungen sieht man die vom Retriever gelieferten Dokumente samt Metadaten, bei Modellaufrufen die vollständige Nachrichtenliste inklusive Systemprompt. Ein häufig genutzter Arbeitsschritt: Ein auffälliger Run wird direkt aus der Ansicht in den Playground geöffnet, dort mit geändertem Prompt oder anderem Modell erneut ausgeführt und – falls lehrreich – als Beispiel in einen Testdatensatz übernommen.

Datasets, Experimente und Evaluatoren

Ein Dataset ist eine Sammlung von Beispielen, jeweils bestehend aus Eingaben und optional einer Referenzausgabe. Für einen RAG-Chatbot sind das typischerweise reale oder sorgfältig formulierte Fragen mit der erwarteten Antwort oder den Dokumenten, die gefunden werden sollten. Datensätze können manuell angelegt, aus Dateien importiert, aus Produktions-Traces übernommen oder synthetisch erzeugt werden. Sie sind versioniert, lassen sich in Teilmengen gliedern und bilden das Rückgrat einer reproduzierbaren Qualitätssicherung.
Ein Experiment ist ein Lauf der Anwendung über alle Beispiele eines Datensatzes. Jede Ausgabe wird von einem oder mehreren Evaluatoren bewertet: einfache Code-Prüfungen wie exakte Übereinstimmung, Formatprüfung oder Längenbegrenzung, semantische Vergleiche mit der Referenz oder Bewertungen durch ein Sprachmodell. Die Ergebnisse mehrerer Experimente lassen sich nebeneinanderstellen – etwa alter gegen neuen Prompt oder Modell A gegen Modell B. Ergänzend gibt es paarweise Vergleiche, bei denen ein Evaluator entscheidet, welche von zwei Antworten besser ist. So entsteht ein Regressionstest für KI-Anwendungen, der sich auch in CI-Pipelines einbinden lässt.

Prompt Hub, Playground und Monitoring

Der Prompt Hub ist eine versionierte Ablage für Prompts. Prompts werden dort mit Variablen, Modellkonfiguration und Beschreibung gespeichert, mit Commits versioniert und mit Markierungen wie Entwicklung oder Produktion versehen. Die Anwendung lädt den Prompt zur Laufzeit per SDK. Das trennt Prompt-Pflege von Code-Deployments: Fachexperten können Formulierungen anpassen und testen, ohne dass ein Entwickler die Anwendung neu ausrollen muss. Wer das nutzt, sollte allerdings klare Freigabeprozesse definieren, damit nicht ungeprüfte Änderungen direkt in die Produktion wandern.
Im Playground lassen sich Prompts interaktiv gegen verschiedene Modelle ausführen, Parameter variieren und Ergebnisse vergleichen – auch über einen ganzen Datensatz hinweg. Für das Monitoring stellt LangSmith Dashboards bereit, die Volumen, Fehlerraten, Latenzen, Token-Verbrauch, Kosten und Feedback-Werte über die Zeit darstellen. Eigene Diagramme auf Basis von Metadaten und Filtern sind möglich, ebenso Alarme, die bei auffälligen Fehlerraten oder Latenzspitzen benachrichtigen. Wie umfangreich Dashboards und Alarmierung im jeweiligen Plan sind, ist beim Anbieter zu prüfen.
Bereich Zweck Typische Nutzung im RAG-Projekt
Tracing Jeden Schritt sichtbar machen Fehlerhafte Antwort bis zum gelieferten Chunk zurückverfolgen
Datasets Testfälle verwalten Goldstandard-Fragen mit erwarteter Antwort und Quelle
Experimente Varianten vergleichen Neues Chunking oder Embedding-Modell gegen den Ist-Stand
Evaluatoren Antworten bewerten Faktentreue, Relevanz, Quellenangabe, Tonalität
Prompt Hub Prompts versionieren Systemprompt pflegen, ohne Code neu auszurollen
Monitoring Betrieb überwachen Latenz, Kosten, Feedback und Fehlerraten im Zeitverlauf
Kapitel 04 · KI- & Automatisierungsfunktionen

LLM-as-Judge, Online-Evals und Agenten-Debugging

Die eigentliche Stärke von LangSmith liegt nicht im bloßen Aufzeichnen, sondern in der Automatisierung von Qualitätssicherung. Sprachmodelle bewerten andere Sprachmodelle, Regeln leiten auffällige Fälle an menschliche Prüfer weiter, und komplexe Agentenläufe werden Schritt für Schritt nachvollziehbar.

LLM-as-Judge: Sprachmodelle als Prüfer

Viele Qualitätsmerkmale einer Antwort lassen sich nicht mit einfachen Regeln prüfen. Ob eine Antwort sachlich durch den gelieferten Kontext gedeckt ist, ob sie die Frage tatsächlich beantwortet oder ob der Ton zur Marke passt, erfordert Sprachverständnis. Beim Ansatz LLM-as-Judge übernimmt ein Sprachmodell diese Bewertung: Es erhält Frage, Kontext, Antwort und gegebenenfalls eine Referenz sowie eine präzise Bewertungsanweisung und liefert eine Punktzahl oder ein Urteil mit Begründung.
LangSmith bietet dafür vorgefertigte Bewertungsvorlagen für typische Kriterien wie Korrektheit, Relevanz, Halluzinationsfreiheit oder Hilfsbereitschaft, die sich anpassen oder durch eigene Anweisungen ersetzen lassen. Entscheidend ist die Kalibrierung: Ein Judge-Modell ist selbst fehlbar, kann bestimmte Antwortstile bevorzugen oder sich von der Länge einer Antwort beeinflussen lassen. Bewährt hat sich, die Urteile des Judge-Modells anfangs an einer Stichprobe mit menschlichen Bewertungen abzugleichen und die Bewertungsanweisung so lange zu schärfen, bis die Übereinstimmung ausreichend ist. LangSmith unterstützt das, indem menschliche Korrekturen an Judge-Urteilen gesammelt und als Beispiele in die Bewertung zurückgeführt werden können. Zu bedenken ist außerdem: Wer ein externes Sprachmodell als Judge nutzt, überträgt auch die bewerteten Inhalte an diesen Modellanbieter.

Online-Evaluationen, Regeln und Annotation Queues

Offline-Experimente prüfen eine Anwendung gegen einen festen Datensatz. Online-Evaluationen bewerten dagegen laufenden Produktionsverkehr. In LangSmith lassen sich dafür Regeln definieren, die auf eingehende Traces angewendet werden – auf alle oder auf eine Stichprobe, gefiltert nach Metadaten, Feedback oder Fehlerstatus. Eine Regel kann einen Evaluator ausführen, einen Trace einem Datensatz hinzufügen oder ihn in eine Warteschlange für menschliche Prüfung schieben. So entsteht ein kontinuierlicher Qualitätskreislauf: Auffällige Fälle werden automatisch erkannt, bewertet und fließen als neue Testfälle zurück.
Annotation Queues sind strukturierte Arbeitslisten für menschliche Prüferinnen und Prüfer. Fachexperten – etwa aus Kundenservice, Technik oder Recht – sehen dort einzelne Traces, bewerten sie nach vorher definierten Kriterien, korrigieren Antworten oder ergänzen Kommentare. Das ist besonders im Mittelstand wertvoll, weil das Fachwissen über richtige Antworten selten im Entwicklungsteam liegt. Die Kombination aus automatischer Vorauswahl und menschlicher Bewertung sorgt dafür, dass knappe Expertenzeit auf die wirklich relevanten Fälle konzentriert wird. Wichtig dabei: Wer Prüfer aus Fachabteilungen einbindet, gibt ihnen Zugriff auf Inhalte von Kundenanfragen – Rollen, Rechte und Schulung sind entsprechend zu regeln.

Agenten-Debugging, LangGraph Studio und KI-gestützte Analyse

Agenten sind die anspruchsvollste Kategorie von LLM-Anwendungen. Sie planen eigenständig, rufen Werkzeuge auf, werten Ergebnisse aus und entscheiden über nächste Schritte – manchmal über Dutzende Iterationen. Ein einzelner Agentenlauf kann so Hunderte Runs umfassen. LangSmith zeigt diese Läufe als Baum und Zeitleiste und macht sichtbar, welche Werkzeuge mit welchen Argumenten aufgerufen wurden, wo Schleifen entstanden und an welcher Stelle der Agent die falsche Entscheidung getroffen hat. Für Agenten auf Basis von LangGraph ergänzt LangGraph Studio eine visuelle Darstellung des Zustandsgraphen, in der sich Zustände inspizieren, Schritte wiederholen und Abläufe an bestimmten Knoten anhalten lassen.
Für die Bewertung von Agenten reichen reine Antwortprüfungen oft nicht aus. Sinnvoll sind zusätzlich Bewertungen der Trajektorie – also ob der Agent die richtigen Werkzeuge in einer sinnvollen Reihenfolge genutzt hat – und Prüfungen einzelner Schritte, etwa ob die Suchanfrage an die Vektordatenbank sinnvoll formuliert war. Darüber hinaus hat der Anbieter in den vergangenen Versionen zunehmend KI-gestützte Analysefunktionen ergänzt, etwa einen Assistenten, der beim Verfassen von Prompts hilft, oder Auswertungen, die Muster in großen Mengen von Traces zusammenfassen. Umfang, Reifegrad und Verfügbarkeit solcher Funktionen je Plan sollten vor einem Einsatz beim Anbieter geprüft werden.
Automatische Bewertung ersetzt kein Fachurteil

LLM-as-Judge skaliert Qualitätssicherung, macht sie aber nicht unfehlbar. Für geschäftskritische Antworten – Preise, Vertragsbedingungen, Sicherheitshinweise – empfehlen wir, regelmäßig Stichproben durch Fachexperten prüfen zu lassen und die Judge-Urteile damit abzugleichen. Erst diese Kombination macht Qualitätskennzahlen belastbar.

Kapitel 05 · Integrationen & Ökosystem

LangChain, LangGraph und framework-unabhängiges Tracing

LangSmith ist eng mit dem LangChain-Ökosystem verwoben, lässt sich aber auch mit beliebigem Python- oder TypeScript-Code und anderen Frameworks nutzen. Die Wahl des Integrationswegs bestimmt, wie viel Detail in den Traces ankommt und wie viel Aufwand die Instrumentierung kostet.

Native Integration mit LangChain und LangGraph

Wer eine Anwendung mit LangChain oder LangGraph baut, bekommt Tracing praktisch ohne Codeänderung: Einige Umgebungsvariablen genügen, und jede Kette, jeder Retriever, jeder Modell- und Werkzeugaufruf wird automatisch mit der korrekten Verschachtelung aufgezeichnet. Bei LangGraph werden zusätzlich die Knoten des Graphen und die Zustandsübergänge sichtbar. Diese Tiefe der Integration ist der wichtigste Grund, warum LangSmith in LangChain-Projekten so verbreitet ist – und zugleich ein Argument für eine gewisse Bindung an das Ökosystem.
Im Umfeld von LangGraph bietet der Anbieter außerdem Möglichkeiten, Agenten als langlebige, skalierbare Dienste bereitzustellen – mit persistenten Zuständen, Hintergrundausführung und Schnittstellen für menschliche Freigaben. Diese Bereitstellungsplattform ist eng mit LangSmith verknüpft und wurde in den vergangenen Jahren mehrfach umbenannt und neu zugeschnitten. Für die Architekturentscheidung ist wichtig, Observability und Bereitstellung getrennt zu betrachten: Man kann LangSmith für Tracing nutzen, ohne Agenten über die Plattform des Anbieters zu betreiben, und umgekehrt.

SDKs, Wrapper und OpenTelemetry

Für Anwendungen ohne LangChain stellen die SDKs für Python und TypeScript mehrere Wege bereit. Ein Dekorator beziehungsweise eine Hüllfunktion markiert beliebige eigene Funktionen als Run, sodass auch selbst geschriebene Retrieval- oder Verarbeitungslogik im Trace erscheint. Wrapper für verbreitete Modell-Clients – etwa für OpenAI-kompatible Schnittstellen oder Anthropic – zeichnen Modellaufrufe inklusive Token-Verbrauch automatisch auf. Daneben gibt es eine REST-API, über die sich Runs direkt anlegen lassen, etwa aus Sprachen, für die kein offizielles SDK existiert.
Zunehmend wichtig ist OpenTelemetry, der offene Standard für Telemetriedaten. LangSmith kann Traces im OpenTelemetry-Format entgegennehmen, und es gibt etablierte semantische Konventionen für generative KI. Das eröffnet zwei Vorteile: Erstens lassen sich Frameworks einbinden, die bereits OpenTelemetry-Daten erzeugen, etwa über Instrumentierungsbibliotheken für LlamaIndex, Haystack oder Agenten-Frameworks. Zweitens reduziert ein offener Standard die Abhängigkeit von einem einzelnen Anbieter – die Instrumentierung bleibt bestehen, nur das Ziel der Daten ändert sich. Wie vollständig die Abbildung von OpenTelemetry-Daten auf LangSmith-Konzepte im Einzelfall gelingt, sollte man mit der eigenen Anwendung testen.

Andere Frameworks, Werkzeuge und Datenexport

Für LlamaIndex, Haystack, das Vercel AI SDK und verschiedene Agenten-Frameworks existieren Integrationen oder dokumentierte Wege über OpenTelemetry. Evaluationsbibliotheken wie Ragas lassen sich als Evaluatoren in LangSmith-Experimente einbinden, sodass etablierte RAG-Metriken wie Faktentreue oder Kontextrelevanz zusammen mit eigenen Prüfungen laufen. Für Testautomatisierung gibt es Integrationen mit gängigen Test-Frameworks wie pytest und Vitest, die Evaluationen als Teil der normalen Testsuite ausführen.
Ein Punkt, den wir bei jeder Plattformauswahl prüfen, ist der Datenexport. LangSmith erlaubt den Export von Traces und Datensätzen per API sowie Massenexporte in Objektspeicher. Das ist wichtig für Analysen in eigenen Data-Warehouse-Umgebungen, für Archivierung und für einen möglichen späteren Anbieterwechsel. Wer Testdatensätze konsequent auch außerhalb der Plattform versioniert – etwa im eigenen Repository – behält die Hoheit über eines der wertvollsten Artefakte eines KI-Projekts.
Kapitel 06 · Abgrenzung zu Wettbewerbern

LangSmith, Langfuse, Phoenix, Weave, Ragas, Helicone: wer macht was?

Der Markt für LLM-Observability und Evaluation ist in kurzer Zeit stark gewachsen. Die Werkzeuge überschneiden sich, verfolgen aber unterschiedliche Philosophien – von der quelloffenen Plattform über die Evaluationsbibliothek bis zum Proxy-Gateway. Die Übersicht ist qualitativ; Funktionsumfang und Lizenzbedingungen sind beim jeweiligen Anbieter zu prüfen.

Werkzeug Ansatz Self-Hosting Stärke
LangSmith Proprietäre Plattform, SDKs offen Enterprise-Vertrag LangChain-/LangGraph-Integration, Agenten-Debugging, ausgereifte Evals
Langfuse Open-Source-Plattform aus Berlin Ja, quelloffen Datenhoheit, framework-unabhängig, breite Community
Arize Phoenix Quelloffenes Observability-Werkzeug Ja OpenTelemetry-nativ, Analyse von Retrieval und Embeddings
W&B Weave Teil der Weights-&-Biases-Plattform je nach Angebot Nähe zu ML-Experiment-Tracking, Evaluationen
Ragas Quelloffene Evaluationsbibliothek Bibliothek, lokal Etablierte RAG-Metriken, Testdatengenerierung
Helicone Proxy-/Gateway-basierte Observability Ja, quelloffen Sehr einfache Integration, Kosten- und Nutzungsanalyse

Langfuse: die quelloffene Alternative aus Berlin

Langfuse ist der Wettbewerber, der in DACH-Projekten am häufigsten gegen LangSmith abgewogen wird. Das Unternehmen stammt aus Berlin, die Plattform ist quelloffen und lässt sich vollständig selbst betreiben – vom Docker-Setup für Tests bis zur hochverfügbaren Kubernetes-Installation. Funktional deckt Langfuse sehr ähnliche Bereiche ab: Tracing, Sessions, Prompt-Management, Datensätze, Experimente, LLM-as-Judge-Evaluationen, Annotation und Kosten-Dashboards. Die Integration erfolgt über SDKs, OpenTelemetry und zahlreiche Framework-Anbindungen, darunter auch LangChain und LangGraph.
Die Unterschiede liegen weniger im Grundfunktionsumfang als in Detailtiefe, Bedienkomfort und Geschäftsmodell. LangSmith punktet mit der nativen LangGraph-Integration, LangGraph Studio und einer sehr polierten Oberfläche für Agenten-Traces. Langfuse punktet mit Datenhoheit ohne Lizenzvertrag, einem europäischen Ursprung und der Möglichkeit, den Quellcode selbst zu prüfen. Für viele Mittelständler, die personenbezogene Kundendaten verarbeiten, ist Langfuse Self-Hosted deshalb die naheliegende, datenschutzrechtlich einfacher zu bewertende Option. Einzelne Unternehmensfunktionen können auch bei Langfuse lizenzpflichtig sein; der aktuelle Stand ist beim Anbieter zu prüfen.

Arize Phoenix, W&B Weave, Ragas und Helicone

Arize Phoenix ist ein quelloffenes Observability- und Evaluationswerkzeug, das konsequent auf OpenTelemetry setzt und eigene Instrumentierungsbibliotheken für viele Frameworks bereitstellt. Phoenix lässt sich lokal, im Notebook oder als Server betreiben und ist stark bei der Analyse von Retrieval-Qualität und Embeddings. Für größere Unternehmensanforderungen bietet der Hersteller eine kommerzielle Plattform. W&B Weave ist der LLM-Baustein der Plattform von Weights & Biases, die im klassischen Machine Learning für Experiment-Tracking weit verbreitet ist. Weave ist besonders interessant für Teams, die bereits mit dieser Plattform arbeiten und LLM-Evaluationen in bestehende ML-Prozesse einbetten wollen.
Ragas ist keine Plattform, sondern eine quelloffene Python-Bibliothek mit Metriken für RAG-Systeme – etwa Faktentreue, Antwortrelevanz, Kontextpräzision und Kontextabdeckung – sowie Werkzeugen zur synthetischen Testdatenerzeugung. Ragas ergänzt Plattformen wie LangSmith oder Langfuse, statt sie zu ersetzen: Die Metriken liefern die Bewertung, die Plattform liefert Tracing, Datensatzverwaltung und Visualisierung. Helicone verfolgt einen anderen technischen Ansatz: Als Proxy oder Gateway zwischen Anwendung und Modellanbieter zeichnet es Modellaufrufe auf, ohne dass die Anwendung tief instrumentiert werden muss. Das ist sehr einfach einzurichten und stark bei Kosten- und Nutzungsanalyse, sieht aber naturgemäß nur die Modellaufrufe, nicht die internen Schritte wie Retrieval oder Werkzeugaufrufe.
Unsere Faustregel für die Auswahl

Intensiver LangGraph-Einsatz, Cloud-Nutzung datenschutzrechtlich geklärt oder Enterprise-Budget für Self-Hosting vorhanden: LangSmith. Personenbezogene Daten, Wunsch nach vollständiger Datenhoheit und Open Source: Langfuse Self-Hosted oder Phoenix. Reine RAG-Metriken: Ragas ergänzend. Schneller Kostenüberblick über Modellaufrufe: Helicone. In jedem Fall gilt: Instrumentierung über OpenTelemetry hält die Tür für einen späteren Wechsel offen.

Kapitel 07 · Einführung & Betrieb

Von der ersten Trace zum Qualitätskreislauf: LangSmith einführen und betreiben

Die ersten Traces sind in wenigen Minuten sichtbar. Ein belastbarer Qualitätsprozess entsteht aber erst, wenn Instrumentierung, Testdatensätze, Evaluatoren, Rollen und Datenschutz bewusst gestaltet werden. Dazu kommt die Grundsatzentscheidung zwischen Cloud und Self-Hosting.

01
Ziel und Datenrahmen klären
Festlegen, welche Anwendung beobachtet wird, welche Qualitätsmerkmale zählen und welche Daten in Traces landen dürfen. Datenschutzbeauftragte früh einbinden und das Betriebsmodell – Cloud, EU-Region oder Self-Hosting – vorab bewerten.
02
Instrumentieren mit Testdaten
Tracing in der Entwicklungsumgebung aktivieren, Metadaten wie Version, Mandant und Kanal mitschreiben und mit synthetischen oder anonymisierten Daten prüfen, ob alle relevanten Schritte im Trace erscheinen.
03
Goldstandard-Datensatz aufbauen
Gemeinsam mit Fachexperten repräsentative Fragen samt erwarteter Antworten und Quellen sammeln – inklusive schwieriger Randfälle und Fragen, auf die der Bot bewusst nicht antworten soll.
04
Evaluatoren definieren und kalibrieren
Code-Prüfungen, RAG-Metriken und LLM-as-Judge kombinieren, Judge-Urteile an menschlichen Bewertungen abgleichen und Experimente als Regressionstest in die CI-Pipeline aufnehmen.
05
Produktivbetrieb und Kreislauf
PII-Maskierung und Sampling aktivieren, Dashboards und Alarme einrichten, Online-Evaluationen und Annotation Queues etablieren und auffällige Fälle regelmäßig in den Testdatensatz zurückführen.

Cloud-Betrieb: Konfiguration, Sampling und Kostenkontrolle

Bei der Cloud-Variante beschränkt sich der technische Aufwand auf die Anwendungsseite. Das SDK sendet Traces asynchron im Hintergrund, sodass die Antwortzeit der Anwendung kaum beeinträchtigt wird; bei Netzwerkproblemen gehen im Zweifel Traces verloren, nicht Anfragen. Wichtig ist, in Serverless-Umgebungen und Batch-Jobs sicherzustellen, dass ausstehende Traces vor dem Beenden des Prozesses übertragen werden. Bei hohem Verkehr empfiehlt sich Sampling: Statt jeden Aufruf aufzuzeichnen, wird nur ein Anteil erfasst – ergänzt um gezielte Vollaufzeichnung von Fehlern oder negativ bewerteten Antworten. Das senkt Kosten und reduziert die Menge gespeicherter personenbezogener Daten zugleich.
Organisatorisch sollten Workspaces und Projekte sauber strukturiert werden: getrennte Projekte für Entwicklung, Test und Produktion, klar benannte Datensätze und eine Namenskonvention für Experimente. Rollen und Rechte legen fest, wer Produktions-Traces sehen darf – das ist bei Traces mit Kundendaten kein Detail, sondern eine Datenschutzanforderung. Single Sign-on und feingranulare Rollen sind typischerweise den höheren Plänen vorbehalten.

Self-Hosting: Architektur, Aufwand und Verantwortung

Die selbst betriebene Variante läuft in der Regel auf Kubernetes und besteht aus mehreren Diensten: Frontend, Backend- und Plattformdiensten, Warteschlangen für die Verarbeitung eingehender Traces sowie mehreren Datenhaltungen. Dazu gehören nach unserem Kenntnisstand eine relationale Datenbank für Metadaten, eine analytische Spaltendatenbank für die großen Mengen an Trace-Daten, ein In-Memory-Speicher für Warteschlangen und Caching sowie ein Objektspeicher für umfangreiche Ein- und Ausgaben. Für Tests gibt es einfachere Container-Setups, für den Produktivbetrieb sind Hochverfügbarkeit, Backups, Monitoring und Updates in eigener Verantwortung einzuplanen. Die genaue Architektur und die Systemanforderungen sind der aktuellen Dokumentation des Anbieters zu entnehmen.
Der Aufwand ist nicht zu unterschätzen: Die analytische Datenbank wächst mit dem Trace-Volumen, Aufbewahrungsfristen müssen technisch durchgesetzt werden, und neue Versionen erscheinen in kurzen Abständen. Für einen Mittelständler ohne eigene Kubernetes-Erfahrung ist Self-Hosting daher eher über einen spezialisierten Dienstleister oder einen europäischen Managed-Kubernetes-Anbieter realistisch. Der Gewinn ist volle Kontrolle über Datenstandort, Zugriff und Löschung – bei Traces mit sensiblen Inhalten oft das entscheidende Argument.
Stärken
  • Sehr schneller Einstieg in der Cloud-Variante
  • Nahtloses Tracing für LangChain und LangGraph
  • Durchgängiger Weg vom Trace zum Testfall und Experiment
  • Ausgereifte Oberfläche für komplexe Agentenläufe
  • Self-Hosting und hybride Modelle für hohe Datenschutzanforderungen
Einschränkungen
  • Traces enthalten oft personenbezogene Daten im Klartext
  • Self-Hosting an Enterprise-Vertrag gebunden
  • Kosten wachsen mit Trace-Volumen und Aufbewahrung
  • Gewisse Bindung an das LangChain-Ökosystem
  • Proprietäre Plattform, keine freie Prüfung des Quellcodes
Kapitel 08 · Einsatz im Mittelstand

Qualitätssicherung für RAG-Chatbots und Agenten im Mittelstand

Im Mittelstand entscheidet selten die Technik über den Erfolg eines KI-Projekts, sondern das Vertrauen der Nutzer. Ein Wissensassistent, der einmal eine falsche Garantiebedingung nennt, verliert schnell seine Akzeptanz. Observability und Evaluation sind das Werkzeug, mit dem sich dieses Vertrauen systematisch aufbauen und erhalten lässt.

Mittelständische Unternehmen haben dabei besondere Rahmenbedingungen: kleine oder gar keine dedizierten KI-Teams, Fachwissen, das in wenigen Köpfen steckt, hohe Ansprüche an Datenschutz und ein nüchterner Blick auf Kosten. Eine Observability-Plattform muss sich deshalb schnell einführen lassen, Fachexperten ohne Programmierkenntnisse einbinden und einen klaren Nutzen zeigen. LangSmith erfüllt die ersten beiden Punkte gut; der Nutzen hängt davon ab, ob ein echter Qualitätsprozess etabliert wird.

Typische Anwendungsfälle

Qualitätssicherung für den Wissensassistenten

Ein interner RAG-Chatbot für Handbücher, Richtlinien und Produktdaten wird vor jedem Update gegen einen Goldstandard-Datensatz getestet – mit Faktentreue und Quellenangabe als Kernkriterien.

Weniger Halluzinationen
Kundenservice-Bot im Live-Betrieb

Negativ bewertete Antworten landen automatisch in einer Annotation Queue, Servicemitarbeitende korrigieren sie, und die Korrekturen fließen als Testfälle zurück.

Kontinuierliche Verbesserung
Modell- und Kostenvergleich

Vor dem Wechsel auf ein günstigeres oder selbst gehostetes Modell zeigt ein Experiment, ob die Antwortqualität gehalten wird – mit Kosten und Latenz im direkten Vergleich.

Fundierte Modellwahl
Agenten für Angebots- und Auftragsprozesse

Ein Agent, der Anfragen auswertet, Stammdaten abfragt und Angebotsentwürfe erstellt, wird über Trajektorien-Bewertung und Schritt-Prüfungen abgesichert.

Nachvollziehbare Entscheidungen
Retrieval-Optimierung

Experimente vergleichen Chunking-Strategien, Embedding-Modelle, Hybrid-Suche und Reranking anhand derselben Fragen – statt nach Bauchgefühl zu optimieren.

Messbar bessere Treffer
Nachweis und Dokumentation

Versionierte Prompts, Testergebnisse und Evaluationsverläufe dokumentieren, wie ein KI-System geprüft wurde – hilfreich für interne Freigaben und regulatorische Anforderungen.

Belastbare Freigaben

Eine realistische Referenzarchitektur

Ein typisches Mittelstandsprojekt sieht in unserer Praxis etwa so aus: Ein RAG-Assistent für Vertrieb und Service läuft auf Basis von LangGraph, die Dokumente liegen in einer selbst betriebenen Vektordatenbank, das Sprachmodell wird über einen europäischen Anbieter oder selbst gehostet bereitgestellt. In der Entwicklung zeichnet LangSmith alle Läufe mit synthetischen und anonymisierten Testdaten auf; das Team optimiert Chunking, Retrieval und Prompts anhand von Experimenten gegen einen Goldstandard von einigen Hundert Fragen. Vor jeder Freigabe läuft dieser Datensatz automatisch als Regressionstest.
Für den Produktivbetrieb gibt es zwei Varianten. Ist die Cloud-Nutzung nach Prüfung zulässig, werden Ein- und Ausgaben vor der Übertragung maskiert, nur eine Stichprobe des Verkehrs vollständig aufgezeichnet und kurze Aufbewahrungsfristen gesetzt. Ist sie es nicht, läuft im Produktivbetrieb eine selbst betriebene Observability-Lösung – LangSmith Self-Hosted im Rahmen eines Enterprise-Vertrags oder, häufiger im Mittelstand, Langfuse Self-Hosted. Die Instrumentierung über OpenTelemetry erlaubt es, beide Welten mit überschaubarem Aufwand zu kombinieren.

Der ehrliche Blick auf Aufwand und Nutzen

Eine Observability-Plattform verbessert keine einzige Antwort von selbst. Den Unterschied macht der Prozess dahinter: Jemand muss Traces sichten, Datensätze pflegen, Evaluatoren kalibrieren und Erkenntnisse in Änderungen übersetzen. Der größte Aufwand liegt erfahrungsgemäß im Aufbau eines guten Goldstandard-Datensatzes – und genau hier ist Fachwissen aus dem Unternehmen unersetzlich. Wer dafür regelmäßig einige Stunden pro Woche einplant, erhält im Gegenzug etwas, das im KI-Umfeld selten ist: belastbare Zahlen darüber, ob das System besser oder schlechter wird.
Konkrete Preise nennen wir bewusst nicht

Der Aufwand für die Einführung von LangSmith oder einer Alternative hängt stark von Anwendungsfall, Trace-Volumen, Betriebsmodell, Datenschutzanforderungen und dem Umfang der Evaluationen ab. Pauschale Festpreise wären irreführend. Was wir verlässlich anbieten: einen kompakten Discovery-Workshop, in dem wir Ihre Ausgangslage analysieren, die passende Observability-Lösung herstellerneutral bewerten und einen transparenten Umsetzungsweg schätzen.

Kapitel 09 · Kosten & DSGVO

Trace-Volumen, Lizenzen und Datenhoheit

Bei Observability-Plattformen ist die Datenschutzfrage besonders heikel, denn sie speichern genau das, was eine KI-Anwendung verarbeitet: Fragen von Kunden und Mitarbeitenden im Wortlaut, Antworten, abgerufene Dokumentabschnitte und Metadaten. LangChain Inc. ist ein Unternehmen mit Sitz in den USA – das prägt die Bewertung der Cloud-Variante.

Keine Rechtsberatung

Die folgenden Ausführungen sind eine praxisorientierte Einordnung aus IT- und Projektsicht – keine Rechtsberatung. Für die rechtssichere Bewertung Ihres konkreten Einsatzes, für Auftragsverarbeitungsverträge, Datenschutz-Folgenabschätzungen und die Bewertung von Drittlandtransfers ziehen Sie bitte Ihre Datenschutzbeauftragten oder eine spezialisierte Kanzlei hinzu.

Warum Traces datenschutzrechtlich sensibel sind

Ein einzelner Trace eines RAG-Chatbots enthält oft mehr personenbezogene Daten, als man zunächst vermutet: den Namen eines Kunden in der Frage, eine Bestellnummer, die E-Mail-Adresse aus der Signatur, Auszüge aus Verträgen oder Personalunterlagen, die der Retriever gefunden hat, und Metadaten wie Nutzerkennungen oder IP-bezogene Informationen. In Agenten-Traces kommen Ergebnisse von Werkzeugaufrufen hinzu, etwa Datensätze aus CRM oder ERP. Observability-Daten sind damit häufig eine Kopie der sensibelsten Inhalte einer Anwendung – nur an einem weiteren Ort, mit weiteren Zugriffsberechtigten.
Daraus folgen klare Anforderungen: eine Rechtsgrundlage und Zweckbindung für die Aufzeichnung, ein Auftragsverarbeitungsvertrag mit dem Anbieter, die Prüfung von Unterauftragsverarbeitern, ein Konzept für Auskunfts- und Löschersuchen, begrenzte Aufbewahrungsfristen und eine Zugriffssteuerung, die festlegt, wer Produktions-Traces einsehen darf. Ebenso zu bedenken sind Datenflüsse, die durch LLM-as-Judge-Evaluationen entstehen, wenn Inhalte an einen weiteren Modellanbieter gehen.

Cloud, EU-Region, Self-Hosting und PII-Maskierung

Bei der Cloud-Variante in der US-Region werden Traces in die USA übertragen. Das ist ein Drittlandtransfer, für den eine tragfähige Grundlage erforderlich ist – etwa ein Angemessenheitsbeschluss mit entsprechender Zertifizierung des Anbieters oder Standardvertragsklauseln samt Transferfolgenabschätzung. Ob und wie das im Einzelfall trägt, ist von Datenschutzbeauftragten zu bewerten. Eine EU-Region, sofern für den gewünschten Plan verfügbar, verlagert die Speicherung physisch nach Europa. Da der Anbieter jedoch ein US-Unternehmen bleibt, sind Fragen nach dem US CLOUD Act, nach Supportzugriffen und nach Diensten, die außerhalb der Region laufen, weiterhin zu prüfen. Die Verfügbarkeit der EU-Region und die genauen Datenflüsse sollten beim Anbieter verbindlich erfragt werden.
Die Self-Hosted-Variante löst die Standortfrage grundlegend, weil Traces die eigene Infrastruktur nicht verlassen; zu klären bleibt, ob und welche Lizenz- oder Telemetriedaten an den Anbieter übermittelt werden. Als quelloffene, in Europa entwickelte Option ist Langfuse Self-Hosted häufig die datenschutzrechtlich einfacher zu bewertende Alternative, weil sie ohne Vertragsbeziehung zu einem US-Anbieter im eigenen Rechenzentrum oder bei einem deutschen Hoster betrieben werden kann.
Unabhängig vom Betriebsmodell ist PII-Maskierung Pflicht. Die LangSmith-SDKs erlauben es, Ein- und Ausgaben vollständig auszublenden oder vor dem Versand durch eigene Funktionen zu bereinigen – etwa durch Erkennung und Ersetzung von Namen, E-Mail-Adressen, Telefonnummern oder Kundennummern. Ergänzend helfen Sampling, kurze Aufbewahrungsfristen, die Trennung von Projekten nach Sensibilität und der Grundsatz, produktive Traces nur dann in Testdatensätze zu übernehmen, wenn sie zuvor anonymisiert wurden.
Empfehlung: Datenminimierung zuerst, dann Standort

Für Anwendungen mit personenbezogenen Daten empfehlen wir Self-Hosting – LangSmith im Rahmen eines Enterprise-Vertrags oder Langfuse Self-Hosted – im eigenen Rechenzentrum oder bei einem deutschen beziehungsweise europäischen Hoster. Wer die Cloud nutzt, wählt eine EU-Region, sofern verfügbar, maskiert personenbezogene Daten vor der Übertragung, setzt kurze Aufbewahrungsfristen und dokumentiert die Bewertung sorgfältig.

Betrieb
Self-Hosting bei sensiblen Daten bevorzugen
Cloud
EU-Region prüfen, Drittlandbezug bewerten
PII
Maskierung vor dem Versand aktivieren
Umfang
Sampling und kurze Aufbewahrung
Zugriff
Rollen für Produktions-Traces festlegen
Alternative
Langfuse Self-Hosted als Open-Source-Option

Kosten: Plätze, Trace-Volumen und Betriebsaufwand

Die Kostenstruktur der Cloud-Variante setzt sich typischerweise aus Nutzerplätzen und Trace-Volumen zusammen, wobei länger aufbewahrte Traces teurer sind als kurzfristig gespeicherte. Hinzu kommen gegebenenfalls Kosten für die Bereitstellungsplattform von Agenten. Enterprise-Verträge einschließlich Self-Hosting werden individuell verhandelt. Aktuelle Preise und Kontingente sind beim Anbieter zu prüfen, da sie sich regelmäßig ändern.
Bei der Wirtschaftlichkeitsbetrachtung sollte man drei weitere Posten nicht vergessen. Erstens die Modellkosten für Evaluationen: Jede LLM-as-Judge-Bewertung ist ein zusätzlicher Modellaufruf, der bei Online-Evaluationen auf Live-Verkehr schnell ins Gewicht fällt – Stichproben statt Vollbewertung sind hier das wichtigste Steuerungsinstrument. Zweitens beim Self-Hosting die Infrastruktur- und Betriebskosten für Kubernetes, Datenbanken und Speicher. Drittens die Arbeitszeit für Datensatzpflege und Annotation. Dem gegenüber steht die Einsparung durch schnellere Fehlersuche, fundierte Modellwahl und vermiedene Qualitätsprobleme im Betrieb. Ob sich das rechnet, zeigt am besten ein begrenzter Pilot mit klaren Kennzahlen.
Kapitel 10 · Häufige Fragen

Häufig gestellte Fragen zu LangSmith

Diese Fragen tauchen in unseren Beratungsgesprächen rund um Observability, Evaluation und Qualitätssicherung von RAG- und Agenten-Anwendungen am häufigsten auf – kurz und sachlich beantwortet.

Was ist LangSmith?
LangSmith ist eine Plattform von LangChain Inc. für Observability, Tracing, Evaluation und Prompt-Management von LLM-, RAG- und Agenten-Anwendungen. Sie zeichnet jeden Schritt einer Anwendung als Trace auf, verwaltet Testdatensätze, führt automatische und menschliche Bewertungen durch und überwacht Qualität, Kosten und Latenz im laufenden Betrieb.
Funktioniert LangSmith nur mit LangChain?
Nein. Mit LangChain und LangGraph ist die Integration am tiefsten und erfordert kaum Codeänderungen. Über die SDKs für Python und TypeScript, Wrapper für Modell-Clients, eine REST-API und OpenTelemetry lässt sich LangSmith aber auch mit eigenem Code, LlamaIndex, Haystack oder anderen Frameworks nutzen.
Wie unterscheidet sich LangSmith von Ragas?
Ragas ist eine quelloffene Bibliothek mit Metriken zur Bewertung von RAG-Systemen, etwa Faktentreue und Kontextrelevanz. LangSmith ist eine Plattform mit Tracing, Datensatzverwaltung, Experimentvergleich, Annotation und Monitoring. Beide ergänzen sich: Ragas-Metriken können als Evaluatoren in LangSmith-Experimenten laufen.
LangSmith oder Langfuse – was passt besser?
LangSmith überzeugt bei intensiver Nutzung von LangChain und LangGraph und beim Debugging komplexer Agenten. Langfuse aus Berlin ist quelloffen und lässt sich ohne Lizenzvertrag vollständig selbst betreiben, was die Datenschutzbewertung oft vereinfacht. Funktional überschneiden sich beide stark; die Entscheidung hängt meist von Framework, Datenhoheit und Budget ab.
Ist LangSmith DSGVO-konform nutzbar?
Das hängt vom Betriebsmodell und der konkreten Verarbeitung ab. LangChain ist ein US-Unternehmen, und Traces enthalten häufig personenbezogene Daten. Zu prüfen sind Datenstandort, Verfügbarkeit einer EU-Region, Auftragsverarbeitung, Drittlandtransfer, PII-Maskierung und Aufbewahrungsfristen. Self-Hosting löst die Standortfrage. Die rechtliche Bewertung gehört in die Hände Ihrer Datenschutzbeauftragten – dies ist keine Rechtsberatung.
Kann man LangSmith selbst hosten?
Ja, nach aktuellem Stand im Rahmen eines Enterprise-Vertrags. Die Plattform wird dann typischerweise auf Kubernetes mit eigenen Datenbanken und Objektspeicher betrieben. Daneben gibt es hybride Modelle. Voraussetzungen, Architektur und Konditionen sind beim Anbieter zu prüfen; der Betriebsaufwand sollte realistisch eingeplant werden.
Was kostet LangSmith?
Es gibt einen kostenlosen Einstieg für Einzelentwickler sowie kostenpflichtige Team- und Enterprise-Pläne. Abgerechnet wird typischerweise nach Nutzerplätzen und Trace-Volumen, abhängig von der Aufbewahrungsdauer. Hinzu kommen Modellkosten für automatische Evaluationen. Aktuelle Preise sind beim Anbieter zu prüfen.
Wie starte ich ein erstes Projekt mit LangSmith?
Aktivieren Sie das Tracing in einer Entwicklungsumgebung mit synthetischen oder anonymisierten Daten, schreiben Sie sinnvolle Metadaten mit und sammeln Sie gemeinsam mit Fachexperten einige Dutzend bis einige Hundert repräsentative Testfragen. Definieren Sie zwei bis drei Evaluatoren, vergleichen Sie Varianten per Experiment und klären Sie Datenschutz und Betriebsmodell, bevor produktive Daten aufgezeichnet werden.

Souveräne KI-Suche aufbauen

Bereit für eine KI-Anwendung, der Sie vertrauen können?

Von der herstellerneutralen Auswahl zwischen LangSmith, Langfuse und weiteren Werkzeugen über Goldstandard-Datensätze und kalibrierte Evaluationen bis zum souverän betriebenen, DSGVO-konformen RAG-System – INAGRO begleitet Sie auf jedem Schritt. Mit Retrieval-Expertise, Datenschutz-Fokus und tiefem Verständnis für den Mittelstand. Pragmatisch, herstellerneutral und mit messbarem Ergebnis.

Seit 2006 am Markt

Erfahrung aus über 100 Digitalprojekten

DSGVO & Souveränität

Datenschutz von Anfang an mitgedacht

Rückmeldung in 24 h

Schnell, direkt, unverbindlich