Klassische Software verhält sich deterministisch: Dieselbe Eingabe führt zum selben Ergebnis, und wenn etwas schiefgeht, zeigen Logdateien und Stacktraces meist ziemlich genau, wo. Anwendungen mit Sprachmodellen brechen mit diesem Prinzip. Ein RAG-Chatbot zerlegt eine Frage, erzeugt ein Embedding, durchsucht eine Vektordatenbank, sortiert Treffer per Reranking neu, baut einen Prompt aus Systemanweisung, Kontext und Gesprächsverlauf und lässt ein Sprachmodell eine Antwort formulieren. Ein Agent ruft zusätzlich Werkzeuge auf, entscheidet über weitere Schritte und durchläuft womöglich Schleifen. An jeder dieser Stellen kann etwas Unerwartetes passieren – und das Ergebnis ist trotzdem ein flüssig formulierter Text, der auf den ersten Blick plausibel wirkt.
Genau hier setzt LangSmith an. Die Plattform zeichnet jeden Aufruf einer Anwendung als Trace auf: eine baumartige Struktur aus einzelnen Schritten, die mit ihren Eingaben, Ausgaben, Laufzeiten, Token-Verbräuchen, Fehlern und Metadaten gespeichert werden. Wer eine fehlerhafte Antwort untersucht, sieht so nicht nur das Endergebnis, sondern auch, welche Dokumentabschnitte der Retriever geliefert hat, wie der finale Prompt aussah und an welcher Stelle der Agent eine falsche Abzweigung genommen hat. Das verkürzt die Fehlersuche oft von Stunden auf Minuten.
LangSmith wurde ursprünglich als Begleitwerkzeug zum LangChain-Framework entwickelt, um die oft verschachtelten Ketten aus Prompts, Modellen und Retrievern nachvollziehbar zu machen. Seitdem hat sich das Produkt deutlich erweitert. Heute deckt es den gesamten Lebenszyklus einer LLM-Anwendung ab: Entwicklung mit Playground und Prompt-Versionierung, Testen mit Datensätzen und Experimenten, Bewertung mit automatischen und menschlichen Evaluatoren sowie Betrieb mit Dashboards, Alarmen und Online-Evaluationen auf Live-Verkehr. Hinzu kommt im Umfeld von LangGraph die Möglichkeit, Agenten über die Plattform des Anbieters bereitzustellen; die genaue Produktbenennung dieser Bausteine hat sich in den vergangenen Jahren mehrfach verändert und sollte beim Anbieter nachgelesen werden.
Wichtig für die Einordnung: LangSmith ist kein Framework, mit dem man eine RAG-Anwendung baut, und keine Vektordatenbank. Es ist eine Querschnittsschicht, die neben der eigentlichen Anwendung läuft, deren Verhalten beobachtet und die Werkzeuge bereitstellt, um dieses Verhalten systematisch zu verbessern. Die Anwendung selbst kann mit LangChain, LangGraph, LlamaIndex, Haystack, einem anderen Framework oder ganz ohne Framework geschrieben sein.
In unseren Projekten erleben wir immer wieder dasselbe Muster: Ein Prototyp beeindruckt in der Demo, doch nach dem Rollout häufen sich Rückmeldungen wie „die Antwort war veraltet“ oder „der Bot hat etwas erfunden“. Ohne systematische Aufzeichnung lässt sich nicht klären, ob das Problem im Chunking, in der Suche, im Prompt oder im Modell liegt. Ohne Testdatensatz lässt sich nicht nachweisen, ob eine Änderung das Problem behebt, ohne an anderer Stelle neue Fehler zu erzeugen. Und ohne Monitoring bemerkt niemand, wenn die Qualität nach einem Modellwechsel des Anbieters schleichend sinkt.
Observability und Evaluation sind deshalb keine Kür, sondern die Voraussetzung dafür, dass KI-Anwendungen im Unternehmen Vertrauen gewinnen. LangSmith ist eine der bekanntesten Plattformen für diese Aufgabe – mit besonderen Stärken im LangChain-Ökosystem und bei komplexen Agenten, aber auch mit Fragen, die gerade im DACH-Raum genau betrachtet werden müssen: Wo liegen die Traces, die häufig Kundendaten im Wortlaut enthalten, und wie verhält sich ein US-Anbieter zur DSGVO?
Der einfachste Weg zu LangSmith führt über die Cloud-Variante. Nach der Registrierung erzeugt man einen API-Schlüssel, setzt einige Umgebungsvariablen in der Anwendung – und die ersten Traces erscheinen in der Weboberfläche. Für Prototypen und interne Experimente mit nicht personenbezogenen Testdaten ist das ein kaum zu unterbietender Einstieg. Der kostenlose Plan ist auf einzelne Nutzer und ein überschaubares Trace-Kontingent ausgelegt; sobald mehrere Personen zusammenarbeiten oder produktiver Verkehr aufgezeichnet wird, führt der Weg in einen kostenpflichtigen Plan.
Ein Aspekt, der bei der Planwahl häufig übersehen wird, sind die Aufbewahrungsfristen. LangSmith unterscheidet zwischen kürzer und länger aufbewahrten Traces, die unterschiedlich abgerechnet werden. Für die Fehlersuche im Tagesgeschäft reicht eine kurze Aufbewahrung meist aus; Traces, die als Grundlage für Testdatensätze, Audits oder Langzeitanalysen dienen, benötigen dagegen eine längere Frist oder werden gezielt in Datensätze überführt. Aus Datenschutzsicht ist eine kurze Standardaufbewahrung übrigens oft ein Vorteil – dazu mehr in Kapitel 09.
Für Unternehmen mit Datenschutzanforderungen ist die Frage nach der Datenregion zentral. Nach unserem Kenntnisstand bietet LangChain neben der US-Region auch eine EU-Region für die Cloud-Variante an. Ob diese für den gewünschten Plan verfügbar ist, welche Daten dort tatsächlich verbleiben und welche Dienste – etwa Authentifizierung, Support oder Telemetrie – dennoch außerhalb der EU laufen, sollte vor Vertragsabschluss beim Anbieter verbindlich geklärt werden.
Die Self-Hosted-Variante richtet sich an Organisationen, die Traces nicht in eine fremde Cloud übertragen dürfen oder wollen. LangSmith wird dann in der eigenen Kubernetes-Umgebung betrieben, typischerweise per Helm-Chart, mit eigenen Datenbanken und Objektspeicher. Self-Hosting ist nach aktuellem Stand an einen Enterprise-Vertrag gebunden und damit eher für größere Organisationen oder für Mittelständler mit klarem strategischem Fokus auf KI wirtschaftlich. Daneben existieren hybride Modelle, bei denen die Datenebene in der Kundenumgebung läuft und die Steuerung beim Anbieter verbleibt; Details und Verfügbarkeit sind beim Anbieter zu prüfen.
Im Markt positioniert sich LangSmith als umfassende Plattform für Agenten-Engineering: nicht nur Logging, sondern ein durchgängiger Arbeitsablauf aus Beobachten, Bewerten, Verbessern und Bereitstellen. Der Anspruch ist ausdrücklich framework-unabhängig, die tiefste Integration besteht aber naturgemäß zu LangChain und LangGraph. Wer im LangChain-Ökosystem arbeitet, bekommt mit LangSmith die nahtloseste Erfahrung; wer ein anderes Framework nutzt, findet ebenfalls brauchbare Integrationen, sollte aber die Alternativen in Kapitel 06 mit in die Bewertung nehmen.
Die kleinste Einheit in LangSmith ist ein Run – ein einzelner Arbeitsschritt wie ein Modellaufruf, eine Retriever-Abfrage, ein Werkzeugaufruf oder eine selbst definierte Funktion. Runs sind hierarchisch verschachtelt: Der äußerste Run repräsentiert die gesamte Anfrage, darunter liegen die Teilschritte. Die Gesamtheit bildet einen Trace. Mehrere Traces, die zu einer Unterhaltung gehören, lassen sich zu einem Thread zusammenfassen, sodass ganze Dialoge eines Chatbots nachvollziehbar werden. Traces werden in Projekten gesammelt, typischerweise getrennt nach Anwendung und Umgebung, etwa Entwicklung, Test und Produktion.
Zu jedem Run speichert LangSmith Eingaben und Ausgaben, Start- und Endzeit, Fehlermeldungen, Token-Verbrauch und daraus abgeleitete Kostenschätzungen, das verwendete Modell und seine Parameter sowie frei definierbare Metadaten und Tags. Gerade Letztere sind in der Praxis enorm wertvoll: Wer Version der Anwendung, Mandant, Sprache, Kanal oder Nutzergruppe als Metadaten mitschreibt, kann später gezielt filtern – etwa alle Anfragen eines bestimmten Produktbereichs mit negativer Bewertung in der letzten Woche. Nutzerfeedback wie Daumen hoch oder runter lässt sich per API an Traces anhängen und wird so zur Datengrundlage für Verbesserungen.
Die Weboberfläche zeigt Traces als aufklappbaren Baum mit Zeitleiste. Bei RAG-Anwendungen sieht man die vom Retriever gelieferten Dokumente samt Metadaten, bei Modellaufrufen die vollständige Nachrichtenliste inklusive Systemprompt. Ein häufig genutzter Arbeitsschritt: Ein auffälliger Run wird direkt aus der Ansicht in den Playground geöffnet, dort mit geändertem Prompt oder anderem Modell erneut ausgeführt und – falls lehrreich – als Beispiel in einen Testdatensatz übernommen.
Ein Dataset ist eine Sammlung von Beispielen, jeweils bestehend aus Eingaben und optional einer Referenzausgabe. Für einen RAG-Chatbot sind das typischerweise reale oder sorgfältig formulierte Fragen mit der erwarteten Antwort oder den Dokumenten, die gefunden werden sollten. Datensätze können manuell angelegt, aus Dateien importiert, aus Produktions-Traces übernommen oder synthetisch erzeugt werden. Sie sind versioniert, lassen sich in Teilmengen gliedern und bilden das Rückgrat einer reproduzierbaren Qualitätssicherung.
Ein Experiment ist ein Lauf der Anwendung über alle Beispiele eines Datensatzes. Jede Ausgabe wird von einem oder mehreren Evaluatoren bewertet: einfache Code-Prüfungen wie exakte Übereinstimmung, Formatprüfung oder Längenbegrenzung, semantische Vergleiche mit der Referenz oder Bewertungen durch ein Sprachmodell. Die Ergebnisse mehrerer Experimente lassen sich nebeneinanderstellen – etwa alter gegen neuen Prompt oder Modell A gegen Modell B. Ergänzend gibt es paarweise Vergleiche, bei denen ein Evaluator entscheidet, welche von zwei Antworten besser ist. So entsteht ein Regressionstest für KI-Anwendungen, der sich auch in CI-Pipelines einbinden lässt.
Der Prompt Hub ist eine versionierte Ablage für Prompts. Prompts werden dort mit Variablen, Modellkonfiguration und Beschreibung gespeichert, mit Commits versioniert und mit Markierungen wie Entwicklung oder Produktion versehen. Die Anwendung lädt den Prompt zur Laufzeit per SDK. Das trennt Prompt-Pflege von Code-Deployments: Fachexperten können Formulierungen anpassen und testen, ohne dass ein Entwickler die Anwendung neu ausrollen muss. Wer das nutzt, sollte allerdings klare Freigabeprozesse definieren, damit nicht ungeprüfte Änderungen direkt in die Produktion wandern.
Im Playground lassen sich Prompts interaktiv gegen verschiedene Modelle ausführen, Parameter variieren und Ergebnisse vergleichen – auch über einen ganzen Datensatz hinweg. Für das Monitoring stellt LangSmith Dashboards bereit, die Volumen, Fehlerraten, Latenzen, Token-Verbrauch, Kosten und Feedback-Werte über die Zeit darstellen. Eigene Diagramme auf Basis von Metadaten und Filtern sind möglich, ebenso Alarme, die bei auffälligen Fehlerraten oder Latenzspitzen benachrichtigen. Wie umfangreich Dashboards und Alarmierung im jeweiligen Plan sind, ist beim Anbieter zu prüfen.
Viele Qualitätsmerkmale einer Antwort lassen sich nicht mit einfachen Regeln prüfen. Ob eine Antwort sachlich durch den gelieferten Kontext gedeckt ist, ob sie die Frage tatsächlich beantwortet oder ob der Ton zur Marke passt, erfordert Sprachverständnis. Beim Ansatz LLM-as-Judge übernimmt ein Sprachmodell diese Bewertung: Es erhält Frage, Kontext, Antwort und gegebenenfalls eine Referenz sowie eine präzise Bewertungsanweisung und liefert eine Punktzahl oder ein Urteil mit Begründung.
LangSmith bietet dafür vorgefertigte Bewertungsvorlagen für typische Kriterien wie Korrektheit, Relevanz, Halluzinationsfreiheit oder Hilfsbereitschaft, die sich anpassen oder durch eigene Anweisungen ersetzen lassen. Entscheidend ist die Kalibrierung: Ein Judge-Modell ist selbst fehlbar, kann bestimmte Antwortstile bevorzugen oder sich von der Länge einer Antwort beeinflussen lassen. Bewährt hat sich, die Urteile des Judge-Modells anfangs an einer Stichprobe mit menschlichen Bewertungen abzugleichen und die Bewertungsanweisung so lange zu schärfen, bis die Übereinstimmung ausreichend ist. LangSmith unterstützt das, indem menschliche Korrekturen an Judge-Urteilen gesammelt und als Beispiele in die Bewertung zurückgeführt werden können. Zu bedenken ist außerdem: Wer ein externes Sprachmodell als Judge nutzt, überträgt auch die bewerteten Inhalte an diesen Modellanbieter.
Offline-Experimente prüfen eine Anwendung gegen einen festen Datensatz. Online-Evaluationen bewerten dagegen laufenden Produktionsverkehr. In LangSmith lassen sich dafür Regeln definieren, die auf eingehende Traces angewendet werden – auf alle oder auf eine Stichprobe, gefiltert nach Metadaten, Feedback oder Fehlerstatus. Eine Regel kann einen Evaluator ausführen, einen Trace einem Datensatz hinzufügen oder ihn in eine Warteschlange für menschliche Prüfung schieben. So entsteht ein kontinuierlicher Qualitätskreislauf: Auffällige Fälle werden automatisch erkannt, bewertet und fließen als neue Testfälle zurück.
Annotation Queues sind strukturierte Arbeitslisten für menschliche Prüferinnen und Prüfer. Fachexperten – etwa aus Kundenservice, Technik oder Recht – sehen dort einzelne Traces, bewerten sie nach vorher definierten Kriterien, korrigieren Antworten oder ergänzen Kommentare. Das ist besonders im Mittelstand wertvoll, weil das Fachwissen über richtige Antworten selten im Entwicklungsteam liegt. Die Kombination aus automatischer Vorauswahl und menschlicher Bewertung sorgt dafür, dass knappe Expertenzeit auf die wirklich relevanten Fälle konzentriert wird. Wichtig dabei: Wer Prüfer aus Fachabteilungen einbindet, gibt ihnen Zugriff auf Inhalte von Kundenanfragen – Rollen, Rechte und Schulung sind entsprechend zu regeln.
Agenten sind die anspruchsvollste Kategorie von LLM-Anwendungen. Sie planen eigenständig, rufen Werkzeuge auf, werten Ergebnisse aus und entscheiden über nächste Schritte – manchmal über Dutzende Iterationen. Ein einzelner Agentenlauf kann so Hunderte Runs umfassen. LangSmith zeigt diese Läufe als Baum und Zeitleiste und macht sichtbar, welche Werkzeuge mit welchen Argumenten aufgerufen wurden, wo Schleifen entstanden und an welcher Stelle der Agent die falsche Entscheidung getroffen hat. Für Agenten auf Basis von LangGraph ergänzt LangGraph Studio eine visuelle Darstellung des Zustandsgraphen, in der sich Zustände inspizieren, Schritte wiederholen und Abläufe an bestimmten Knoten anhalten lassen.
Für die Bewertung von Agenten reichen reine Antwortprüfungen oft nicht aus. Sinnvoll sind zusätzlich Bewertungen der Trajektorie – also ob der Agent die richtigen Werkzeuge in einer sinnvollen Reihenfolge genutzt hat – und Prüfungen einzelner Schritte, etwa ob die Suchanfrage an die Vektordatenbank sinnvoll formuliert war. Darüber hinaus hat der Anbieter in den vergangenen Versionen zunehmend KI-gestützte Analysefunktionen ergänzt, etwa einen Assistenten, der beim Verfassen von Prompts hilft, oder Auswertungen, die Muster in großen Mengen von Traces zusammenfassen. Umfang, Reifegrad und Verfügbarkeit solcher Funktionen je Plan sollten vor einem Einsatz beim Anbieter geprüft werden.
Wer eine Anwendung mit LangChain oder LangGraph baut, bekommt Tracing praktisch ohne Codeänderung: Einige Umgebungsvariablen genügen, und jede Kette, jeder Retriever, jeder Modell- und Werkzeugaufruf wird automatisch mit der korrekten Verschachtelung aufgezeichnet. Bei LangGraph werden zusätzlich die Knoten des Graphen und die Zustandsübergänge sichtbar. Diese Tiefe der Integration ist der wichtigste Grund, warum LangSmith in LangChain-Projekten so verbreitet ist – und zugleich ein Argument für eine gewisse Bindung an das Ökosystem.
Im Umfeld von LangGraph bietet der Anbieter außerdem Möglichkeiten, Agenten als langlebige, skalierbare Dienste bereitzustellen – mit persistenten Zuständen, Hintergrundausführung und Schnittstellen für menschliche Freigaben. Diese Bereitstellungsplattform ist eng mit LangSmith verknüpft und wurde in den vergangenen Jahren mehrfach umbenannt und neu zugeschnitten. Für die Architekturentscheidung ist wichtig, Observability und Bereitstellung getrennt zu betrachten: Man kann LangSmith für Tracing nutzen, ohne Agenten über die Plattform des Anbieters zu betreiben, und umgekehrt.
Für Anwendungen ohne LangChain stellen die SDKs für Python und TypeScript mehrere Wege bereit. Ein Dekorator beziehungsweise eine Hüllfunktion markiert beliebige eigene Funktionen als Run, sodass auch selbst geschriebene Retrieval- oder Verarbeitungslogik im Trace erscheint. Wrapper für verbreitete Modell-Clients – etwa für OpenAI-kompatible Schnittstellen oder Anthropic – zeichnen Modellaufrufe inklusive Token-Verbrauch automatisch auf. Daneben gibt es eine REST-API, über die sich Runs direkt anlegen lassen, etwa aus Sprachen, für die kein offizielles SDK existiert.
Zunehmend wichtig ist OpenTelemetry, der offene Standard für Telemetriedaten. LangSmith kann Traces im OpenTelemetry-Format entgegennehmen, und es gibt etablierte semantische Konventionen für generative KI. Das eröffnet zwei Vorteile: Erstens lassen sich Frameworks einbinden, die bereits OpenTelemetry-Daten erzeugen, etwa über Instrumentierungsbibliotheken für LlamaIndex, Haystack oder Agenten-Frameworks. Zweitens reduziert ein offener Standard die Abhängigkeit von einem einzelnen Anbieter – die Instrumentierung bleibt bestehen, nur das Ziel der Daten ändert sich. Wie vollständig die Abbildung von OpenTelemetry-Daten auf LangSmith-Konzepte im Einzelfall gelingt, sollte man mit der eigenen Anwendung testen.
Für LlamaIndex, Haystack, das Vercel AI SDK und verschiedene Agenten-Frameworks existieren Integrationen oder dokumentierte Wege über OpenTelemetry. Evaluationsbibliotheken wie Ragas lassen sich als Evaluatoren in LangSmith-Experimente einbinden, sodass etablierte RAG-Metriken wie Faktentreue oder Kontextrelevanz zusammen mit eigenen Prüfungen laufen. Für Testautomatisierung gibt es Integrationen mit gängigen Test-Frameworks wie pytest und Vitest, die Evaluationen als Teil der normalen Testsuite ausführen.
Ein Punkt, den wir bei jeder Plattformauswahl prüfen, ist der Datenexport. LangSmith erlaubt den Export von Traces und Datensätzen per API sowie Massenexporte in Objektspeicher. Das ist wichtig für Analysen in eigenen Data-Warehouse-Umgebungen, für Archivierung und für einen möglichen späteren Anbieterwechsel. Wer Testdatensätze konsequent auch außerhalb der Plattform versioniert – etwa im eigenen Repository – behält die Hoheit über eines der wertvollsten Artefakte eines KI-Projekts.
Langfuse ist der Wettbewerber, der in DACH-Projekten am häufigsten gegen LangSmith abgewogen wird. Das Unternehmen stammt aus Berlin, die Plattform ist quelloffen und lässt sich vollständig selbst betreiben – vom Docker-Setup für Tests bis zur hochverfügbaren Kubernetes-Installation. Funktional deckt Langfuse sehr ähnliche Bereiche ab: Tracing, Sessions, Prompt-Management, Datensätze, Experimente, LLM-as-Judge-Evaluationen, Annotation und Kosten-Dashboards. Die Integration erfolgt über SDKs, OpenTelemetry und zahlreiche Framework-Anbindungen, darunter auch LangChain und LangGraph.
Die Unterschiede liegen weniger im Grundfunktionsumfang als in Detailtiefe, Bedienkomfort und Geschäftsmodell. LangSmith punktet mit der nativen LangGraph-Integration, LangGraph Studio und einer sehr polierten Oberfläche für Agenten-Traces. Langfuse punktet mit Datenhoheit ohne Lizenzvertrag, einem europäischen Ursprung und der Möglichkeit, den Quellcode selbst zu prüfen. Für viele Mittelständler, die personenbezogene Kundendaten verarbeiten, ist Langfuse Self-Hosted deshalb die naheliegende, datenschutzrechtlich einfacher zu bewertende Option. Einzelne Unternehmensfunktionen können auch bei Langfuse lizenzpflichtig sein; der aktuelle Stand ist beim Anbieter zu prüfen.
Arize Phoenix ist ein quelloffenes Observability- und Evaluationswerkzeug, das konsequent auf OpenTelemetry setzt und eigene Instrumentierungsbibliotheken für viele Frameworks bereitstellt. Phoenix lässt sich lokal, im Notebook oder als Server betreiben und ist stark bei der Analyse von Retrieval-Qualität und Embeddings. Für größere Unternehmensanforderungen bietet der Hersteller eine kommerzielle Plattform. W&B Weave ist der LLM-Baustein der Plattform von Weights & Biases, die im klassischen Machine Learning für Experiment-Tracking weit verbreitet ist. Weave ist besonders interessant für Teams, die bereits mit dieser Plattform arbeiten und LLM-Evaluationen in bestehende ML-Prozesse einbetten wollen.
Ragas ist keine Plattform, sondern eine quelloffene Python-Bibliothek mit Metriken für RAG-Systeme – etwa Faktentreue, Antwortrelevanz, Kontextpräzision und Kontextabdeckung – sowie Werkzeugen zur synthetischen Testdatenerzeugung. Ragas ergänzt Plattformen wie LangSmith oder Langfuse, statt sie zu ersetzen: Die Metriken liefern die Bewertung, die Plattform liefert Tracing, Datensatzverwaltung und Visualisierung. Helicone verfolgt einen anderen technischen Ansatz: Als Proxy oder Gateway zwischen Anwendung und Modellanbieter zeichnet es Modellaufrufe auf, ohne dass die Anwendung tief instrumentiert werden muss. Das ist sehr einfach einzurichten und stark bei Kosten- und Nutzungsanalyse, sieht aber naturgemäß nur die Modellaufrufe, nicht die internen Schritte wie Retrieval oder Werkzeugaufrufe.
Bei der Cloud-Variante beschränkt sich der technische Aufwand auf die Anwendungsseite. Das SDK sendet Traces asynchron im Hintergrund, sodass die Antwortzeit der Anwendung kaum beeinträchtigt wird; bei Netzwerkproblemen gehen im Zweifel Traces verloren, nicht Anfragen. Wichtig ist, in Serverless-Umgebungen und Batch-Jobs sicherzustellen, dass ausstehende Traces vor dem Beenden des Prozesses übertragen werden. Bei hohem Verkehr empfiehlt sich Sampling: Statt jeden Aufruf aufzuzeichnen, wird nur ein Anteil erfasst – ergänzt um gezielte Vollaufzeichnung von Fehlern oder negativ bewerteten Antworten. Das senkt Kosten und reduziert die Menge gespeicherter personenbezogener Daten zugleich.
Organisatorisch sollten Workspaces und Projekte sauber strukturiert werden: getrennte Projekte für Entwicklung, Test und Produktion, klar benannte Datensätze und eine Namenskonvention für Experimente. Rollen und Rechte legen fest, wer Produktions-Traces sehen darf – das ist bei Traces mit Kundendaten kein Detail, sondern eine Datenschutzanforderung. Single Sign-on und feingranulare Rollen sind typischerweise den höheren Plänen vorbehalten.
Die selbst betriebene Variante läuft in der Regel auf Kubernetes und besteht aus mehreren Diensten: Frontend, Backend- und Plattformdiensten, Warteschlangen für die Verarbeitung eingehender Traces sowie mehreren Datenhaltungen. Dazu gehören nach unserem Kenntnisstand eine relationale Datenbank für Metadaten, eine analytische Spaltendatenbank für die großen Mengen an Trace-Daten, ein In-Memory-Speicher für Warteschlangen und Caching sowie ein Objektspeicher für umfangreiche Ein- und Ausgaben. Für Tests gibt es einfachere Container-Setups, für den Produktivbetrieb sind Hochverfügbarkeit, Backups, Monitoring und Updates in eigener Verantwortung einzuplanen. Die genaue Architektur und die Systemanforderungen sind der aktuellen Dokumentation des Anbieters zu entnehmen.
Der Aufwand ist nicht zu unterschätzen: Die analytische Datenbank wächst mit dem Trace-Volumen, Aufbewahrungsfristen müssen technisch durchgesetzt werden, und neue Versionen erscheinen in kurzen Abständen. Für einen Mittelständler ohne eigene Kubernetes-Erfahrung ist Self-Hosting daher eher über einen spezialisierten Dienstleister oder einen europäischen Managed-Kubernetes-Anbieter realistisch. Der Gewinn ist volle Kontrolle über Datenstandort, Zugriff und Löschung – bei Traces mit sensiblen Inhalten oft das entscheidende Argument.
Mittelständische Unternehmen haben dabei besondere Rahmenbedingungen: kleine oder gar keine dedizierten KI-Teams, Fachwissen, das in wenigen Köpfen steckt, hohe Ansprüche an Datenschutz und ein nüchterner Blick auf Kosten. Eine Observability-Plattform muss sich deshalb schnell einführen lassen, Fachexperten ohne Programmierkenntnisse einbinden und einen klaren Nutzen zeigen. LangSmith erfüllt die ersten beiden Punkte gut; der Nutzen hängt davon ab, ob ein echter Qualitätsprozess etabliert wird.
Ein typisches Mittelstandsprojekt sieht in unserer Praxis etwa so aus: Ein RAG-Assistent für Vertrieb und Service läuft auf Basis von LangGraph, die Dokumente liegen in einer selbst betriebenen Vektordatenbank, das Sprachmodell wird über einen europäischen Anbieter oder selbst gehostet bereitgestellt. In der Entwicklung zeichnet LangSmith alle Läufe mit synthetischen und anonymisierten Testdaten auf; das Team optimiert Chunking, Retrieval und Prompts anhand von Experimenten gegen einen Goldstandard von einigen Hundert Fragen. Vor jeder Freigabe läuft dieser Datensatz automatisch als Regressionstest.
Für den Produktivbetrieb gibt es zwei Varianten. Ist die Cloud-Nutzung nach Prüfung zulässig, werden Ein- und Ausgaben vor der Übertragung maskiert, nur eine Stichprobe des Verkehrs vollständig aufgezeichnet und kurze Aufbewahrungsfristen gesetzt. Ist sie es nicht, läuft im Produktivbetrieb eine selbst betriebene Observability-Lösung – LangSmith Self-Hosted im Rahmen eines Enterprise-Vertrags oder, häufiger im Mittelstand, Langfuse Self-Hosted. Die Instrumentierung über OpenTelemetry erlaubt es, beide Welten mit überschaubarem Aufwand zu kombinieren.
Eine Observability-Plattform verbessert keine einzige Antwort von selbst. Den Unterschied macht der Prozess dahinter: Jemand muss Traces sichten, Datensätze pflegen, Evaluatoren kalibrieren und Erkenntnisse in Änderungen übersetzen. Der größte Aufwand liegt erfahrungsgemäß im Aufbau eines guten Goldstandard-Datensatzes – und genau hier ist Fachwissen aus dem Unternehmen unersetzlich. Wer dafür regelmäßig einige Stunden pro Woche einplant, erhält im Gegenzug etwas, das im KI-Umfeld selten ist: belastbare Zahlen darüber, ob das System besser oder schlechter wird.
Ein einzelner Trace eines RAG-Chatbots enthält oft mehr personenbezogene Daten, als man zunächst vermutet: den Namen eines Kunden in der Frage, eine Bestellnummer, die E-Mail-Adresse aus der Signatur, Auszüge aus Verträgen oder Personalunterlagen, die der Retriever gefunden hat, und Metadaten wie Nutzerkennungen oder IP-bezogene Informationen. In Agenten-Traces kommen Ergebnisse von Werkzeugaufrufen hinzu, etwa Datensätze aus CRM oder ERP. Observability-Daten sind damit häufig eine Kopie der sensibelsten Inhalte einer Anwendung – nur an einem weiteren Ort, mit weiteren Zugriffsberechtigten.
Daraus folgen klare Anforderungen: eine Rechtsgrundlage und Zweckbindung für die Aufzeichnung, ein Auftragsverarbeitungsvertrag mit dem Anbieter, die Prüfung von Unterauftragsverarbeitern, ein Konzept für Auskunfts- und Löschersuchen, begrenzte Aufbewahrungsfristen und eine Zugriffssteuerung, die festlegt, wer Produktions-Traces einsehen darf. Ebenso zu bedenken sind Datenflüsse, die durch LLM-as-Judge-Evaluationen entstehen, wenn Inhalte an einen weiteren Modellanbieter gehen.
Bei der Cloud-Variante in der US-Region werden Traces in die USA übertragen. Das ist ein Drittlandtransfer, für den eine tragfähige Grundlage erforderlich ist – etwa ein Angemessenheitsbeschluss mit entsprechender Zertifizierung des Anbieters oder Standardvertragsklauseln samt Transferfolgenabschätzung. Ob und wie das im Einzelfall trägt, ist von Datenschutzbeauftragten zu bewerten. Eine EU-Region, sofern für den gewünschten Plan verfügbar, verlagert die Speicherung physisch nach Europa. Da der Anbieter jedoch ein US-Unternehmen bleibt, sind Fragen nach dem US CLOUD Act, nach Supportzugriffen und nach Diensten, die außerhalb der Region laufen, weiterhin zu prüfen. Die Verfügbarkeit der EU-Region und die genauen Datenflüsse sollten beim Anbieter verbindlich erfragt werden.
Die Self-Hosted-Variante löst die Standortfrage grundlegend, weil Traces die eigene Infrastruktur nicht verlassen; zu klären bleibt, ob und welche Lizenz- oder Telemetriedaten an den Anbieter übermittelt werden. Als quelloffene, in Europa entwickelte Option ist Langfuse Self-Hosted häufig die datenschutzrechtlich einfacher zu bewertende Alternative, weil sie ohne Vertragsbeziehung zu einem US-Anbieter im eigenen Rechenzentrum oder bei einem deutschen Hoster betrieben werden kann.
Unabhängig vom Betriebsmodell ist PII-Maskierung Pflicht. Die LangSmith-SDKs erlauben es, Ein- und Ausgaben vollständig auszublenden oder vor dem Versand durch eigene Funktionen zu bereinigen – etwa durch Erkennung und Ersetzung von Namen, E-Mail-Adressen, Telefonnummern oder Kundennummern. Ergänzend helfen Sampling, kurze Aufbewahrungsfristen, die Trennung von Projekten nach Sensibilität und der Grundsatz, produktive Traces nur dann in Testdatensätze zu übernehmen, wenn sie zuvor anonymisiert wurden.
Die Kostenstruktur der Cloud-Variante setzt sich typischerweise aus Nutzerplätzen und Trace-Volumen zusammen, wobei länger aufbewahrte Traces teurer sind als kurzfristig gespeicherte. Hinzu kommen gegebenenfalls Kosten für die Bereitstellungsplattform von Agenten. Enterprise-Verträge einschließlich Self-Hosting werden individuell verhandelt. Aktuelle Preise und Kontingente sind beim Anbieter zu prüfen, da sie sich regelmäßig ändern.
Bei der Wirtschaftlichkeitsbetrachtung sollte man drei weitere Posten nicht vergessen. Erstens die Modellkosten für Evaluationen: Jede LLM-as-Judge-Bewertung ist ein zusätzlicher Modellaufruf, der bei Online-Evaluationen auf Live-Verkehr schnell ins Gewicht fällt – Stichproben statt Vollbewertung sind hier das wichtigste Steuerungsinstrument. Zweitens beim Self-Hosting die Infrastruktur- und Betriebskosten für Kubernetes, Datenbanken und Speicher. Drittens die Arbeitszeit für Datensatzpflege und Annotation. Dem gegenüber steht die Einsparung durch schnellere Fehlersuche, fundierte Modellwahl und vermiedene Qualitätsprobleme im Betrieb. Ob sich das rechnet, zeigt am besten ein begrenzter Pilot mit klaren Kennzahlen.