Die Kategorie, in die Vellum fällt, hat sich in den letzten Jahren als eigener Begriff etabliert: LLMOps, angelehnt an das bekannte „DevOps“ und „MLOps“. Gemeint ist die Disziplin, LLM-Anwendungen nicht nur zu bauen, sondern sie über ihren gesamten Lebenszyklus hinweg beherrschbar zu machen – von der ersten Idee über systematisches Testen bis zum überwachten Produktivbetrieb. Vellum positioniert sich als durchgängige Werkbank für genau diesen Zyklus: eine Umgebung, in der Prompt-Entwicklung, Workflow-Bau, Qualitätsmessung, Deployment und Monitoring zusammenkommen, statt über viele einzelne Werkzeuge verstreut zu sein.
Anders als reine Automatisierungswerkzeuge, die vor allem Systeme miteinander verbinden, dreht sich bei Vellum alles um die Qualität und Verlässlichkeit der KI-Komponente selbst. Das Verbinden von Apps ist Mittel zum Zweck; im Mittelpunkt steht die Frage, wie eine Sprachmodell-gestützte Funktion so gebaut, getestet und überwacht wird, dass man sie einem Kunden oder einem geschäftskritischen Prozess anvertrauen kann. Damit besetzt Vellum eine Nische, die zwischen reiner Automatisierung und klassischer Softwareentwicklung liegt.
Aus unserer Projektpraxis lässt sich die Zielgruppe klar umreißen. Vellum ist gemacht für Teams, die über den einmaligen Prototyp hinaus wollen – die also eine KI-Funktion dauerhaft und verlässlich betreiben möchten und deshalb einen strukturierten Umgang mit Prompts, Tests und Betrieb brauchen. Besonders wertvoll ist die Plattform überall dort, wo die Qualität der KI-Antworten geschäftlich zählt: in der Kundenkommunikation, bei der Verarbeitung sensibler Dokumente, in Prozessen, deren Fehler sichtbar wären. Dort, wo es auf Nachvollziehbarkeit und Messbarkeit ankommt, spielt Vellum seine Stärke aus.
Weniger geeignet ist Vellum für Unternehmen, die lediglich eine einfache, einmalige Verbindung zwischen zwei Systemen suchen oder ein reines No-Code-Automatisierungswerkzeug für Fachabteilungen benötigen. Für solche Fälle sind schlankere Werkzeuge zugänglicher und günstiger. Auch als reines Cloud-Angebot eines Nicht-EU-Anbieters ist Vellum kritisch zu prüfen, wenn hohe Souveränitätsanforderungen bestehen oder sehr sensible Daten verarbeitet werden – ein Punkt, den wir in Kapitel 09 ausführlich behandeln.
Der Kern der Sache lässt sich an einem typischen Projektmoment festmachen. In fast jedem KI-Vorhaben funktioniert der erste Prototyp verblüffend gut – ein cleverer Prompt liefert im Test überzeugende Antworten, und die Begeisterung ist groß. Der schwierige Teil kommt danach: Bleibt die Qualität auch bei ungewöhnlichen Eingaben stabil? Was passiert, wenn ein neues, günstigeres Modell erscheint – ist es wirklich besser oder nur anders? Wie merkt man im Betrieb, dass die Antworten schleichend schlechter werden? Genau hier scheitern viele KI-Projekte, weil ihnen die Werkzeuge fehlen, um diese Fragen sauber zu beantworten.
Vellum verschiebt den Fokus vom einmaligen Bauen auf das dauerhafte Beherrschen. Die Plattform nimmt Unternehmen dabei nicht die inhaltliche Denkarbeit ab – gute Testfälle und sinnvolle Qualitätskriterien muss weiterhin ein Mensch definieren –, aber sie gibt eine strukturierte Umgebung, in der aus Bauchgefühl messbare Ingenieurarbeit wird. Ob dieser Ansatz zum Vorteil wird, hängt wie bei jeder Plattform von der Disziplin ab: Nur wer bereit ist, Qualität wirklich zu messen und Prozesse zu etablieren, holt aus einer LLMOps-Plattform ihren Wert heraus.
Im Zentrum steht die Idee, dass die vier Phasen einer LLM-Anwendung – Entwickeln, Testen, Ausrollen und Überwachen – nicht in getrennten Werkzeugen ablaufen, sondern in einer zusammenhängenden Umgebung. Was in der Entwicklung gebaut wird, lässt sich unmittelbar testen; was getestet und für gut befunden wurde, lässt sich ausrollen; was im Betrieb auffällt, fließt zurück in die Entwicklung. Diese Rückkopplung ist der eigentliche Kern der Positionierung.
Vellum besetzt bewusst eine Position zwischen zwei Welten. Auf der einen Seite stehen reine Entwickler-Frameworks wie LangChain, mit denen sich LLM-Anwendungen frei programmieren lassen – mächtig, aber vollständig code-getrieben und ohne fertige Oberfläche für Tests und Betrieb. Auf der anderen Seite stehen einfache visuelle KI-Baukästen, die den schnellen Prototyp erleichtern, aber beim Thema Qualitätssicherung und Produktivbetrieb schnell an Grenzen stoßen. Vellum positioniert sich dazwischen: eine grafische, kollaborative Plattform, die den gesamten Lebenszyklus abdeckt und dabei die für den Betrieb entscheidenden Themen – Evaluierung und Monitoring – in den Vordergrund rückt.
Diese Positionierung erklärt, warum Vellum vor allem bei Teams beliebt ist, die eine KI-Funktion ernsthaft und dauerhaft betreiben wollen und dabei fachliche und technische Rollen zusammenbringen müssen. Der Fokus auf Zusammenarbeit ist bewusst gewählt: Wer den Fachinhalt kennt, soll an Prompts mitwirken können, ohne selbst programmieren zu müssen; wer die technische Anbindung verantwortet, behält gleichzeitig die Kontrolle über Betrieb und Qualität. Vellum will damit ausdrücklich mehr sein als ein Entwicklerwerkzeug – es will die gemeinsame Werkbank eines interdisziplinären Teams sein.
Ein wichtiger Punkt der Einordnung: Vellum ist im Kern ein gehostetes Cloud-Angebot eines US-amerikanischen Anbieters. Die Plattform läuft auf der Infrastruktur des Herstellers; Prompts, Testdaten und Betriebsprotokolle liegen damit zunächst in dessen Cloud. Für größere Organisationen bietet der Anbieter in der Regel erweiterte Enterprise-Optionen – etwa in Bezug auf Sicherheit, Rollen und Verwaltung. Ob und in welcher Form eine Verarbeitung in einer EU-Region möglich ist, sollte im Einzelfall direkt beim Anbieter geprüft werden. Für Unternehmen mit strengen Souveränitätsanforderungen ist diese Unterscheidung zentral – wir kommen darauf in Kapitel 07 und 09 ausführlich zurück.
Der praktische Einstieg in Vellum beginnt fast immer beim Prompt. In einem klassischen Chatfenster probiert man Formulierungen nacheinander aus und behält bestenfalls im Kopf, welche Variante gut war. Vellum macht diesen Prozess strukturiert und vergleichbar: Man legt eine Aufgabe fest, definiert Platzhalter für die variablen Eingaben und lässt dann mehrere Prompt-Varianten – gegebenenfalls mit verschiedenen Modellen – nebeneinander mit denselben Beispieldaten laufen. Das Ergebnis steht Seite an Seite und macht Unterschiede sofort sichtbar. Diese Vergleichbarkeit ist der erste große Mehrwert gegenüber dem Ausprobieren im Chatfenster.
Ebenso wichtig ist die Versionierung: Jede Prompt-Fassung bleibt nachvollziehbar erhalten. Wer eine bewährte Variante versehentlich verschlechtert, kann zur früheren zurückkehren; wer eine Änderung vornimmt, kann sie belegbar gegen die alte messen. Damit verlässt das Prompt-Engineering die Ebene des Bastelns und wird zu einer dokumentierten, wiederholbaren Tätigkeit – eine Voraussetzung dafür, dass mehrere Personen sinnvoll zusammenarbeiten können.
Kaum eine ernsthafte KI-Anwendung besteht aus einem einzelnen Prompt. Meist müssen mehrere Schritte zusammenspielen: erst relevante Informationen beschaffen, dann ein Modell mit diesem Kontext befragen, das Ergebnis prüfen, gegebenenfalls verzweigen und schließlich weiterverarbeiten. Für solche mehrstufigen Abläufe bietet Vellum einen visuellen Workflow-Builder, in dem sich diese Schritte als nachvollziehbare Kette anordnen lassen. Bedingungen und Verzweigungen ermöglichen es, unterschiedliche Fälle unterschiedlich zu behandeln – etwa eine einfache Anfrage anders als eine komplexe.
Wichtig ist, dass der visuelle Ansatz nicht bedeutet, auf Ausdrucksstärke zu verzichten: Wo ein Schritt eigene Logik erfordert, lässt sich Code hinterlegen. Damit bleibt die Plattform auch für technisch anspruchsvolle Abläufe offen, ohne dass Fachanwender von der ersten Minute an programmieren müssen. Diese Mischung aus visueller Übersicht und der Möglichkeit, punktuell Code einzusetzen, ist typisch für Vellums Anspruch, verschiedene Rollen an einen Tisch zu bringen.
Der Baustein, der Vellum von einfacheren Werkzeugen abhebt, ist die systematische Evaluierung. Statt eine Prompt- oder Workflow-Änderung nur an einem Beispiel zu prüfen, definiert man einen Satz von Testfällen mit erwarteten Ergebnissen. Jede Variante wird gegen diesen Satz geprüft und erhält eine vergleichbare Bewertung. So wird nicht nur sichtbar, ob eine Änderung besser ist, sondern auch, ob sie an anderer Stelle etwas verschlechtert – eine Art Regressionstest für KI-Antworten. Das ist der Punkt, an dem KI-Entwicklung von der Kunst zur Ingenieurarbeit wird.
Ergänzt wird dies durch das Monitoring im Betrieb. Sobald eine KI-Funktion produktiv läuft, protokolliert Vellum die Aufrufe – mit Eingaben, Antworten, Laufzeiten und den anfallenden Kosten. Das erfüllt zwei Zwecke: Zum einen erlaubt es, im Fehlerfall genau zu sehen, was passiert ist; zum anderen macht es schleichende Verschlechterungen sichtbar, die sonst lange unbemerkt blieben. Gemeinsam schließen Evaluierung und Monitoring den Kreis von der Entwicklung zurück zum Betrieb und wieder zur Verbesserung.
Die anspruchsvollen KI-Fähigkeiten von Vellum lassen sich grob in drei Bereiche gliedern: mehrstufige LLM-Workflows, bei denen mehrere Modellaufrufe und Verarbeitungsschritte zusammenwirken; wissensgestützte Antworten über das Muster der abrufgestützten Generierung (englisch: Retrieval-Augmented Generation, kurz RAG); sowie agentische Ansätze, bei denen ein Modell eigenständig Werkzeuge einsetzt. Allen gemeinsam ist das Ziel, über einen einzelnen Prompt hinauszugehen und verlässlichere, kontextbezogene Ergebnisse zu erzeugen.
Der naheliegendste fortgeschrittene Einsatz ist das Zerlegen einer komplexen Aufgabe in mehrere Schritte. Statt ein Modell mit einer einzigen, überladenen Anweisung zu überfordern, teilt man die Aufgabe auf: Ein erster Schritt bereitet die Eingabe auf, ein zweiter befragt das Modell, ein dritter prüft oder formatiert das Ergebnis. Diese Zerlegung erhöht in der Praxis oft die Verlässlichkeit erheblich, weil jeder Schritt eine klar umrissene, überschaubare Aufgabe hat – und weil sich Fehler leichter einem einzelnen Schritt zuordnen lassen. Vellums Workflow-Builder ist genau für dieses Muster gemacht.
Aus unserer Sicht ist das der praxisnaheste Weg zu robusten KI-Anwendungen. Ein einzelner, riesiger Prompt mag im Test glänzen, wird im Betrieb aber schnell unübersichtlich und schwer zu verbessern. Ein sauber zerlegter Ablauf ist dagegen wartbar: Jeder Schritt lässt sich einzeln testen, austauschen und überwachen. Der Preis ist ein höherer anfänglicher Gestaltungsaufwand – der sich aber gerade bei geschäftskritischen Anwendungen auszahlt.
Ein zentrales Muster moderner KI-Anwendungen ist RAG: Bevor das Sprachmodell antwortet, werden passende Informationen aus einer eigenen Wissensquelle – etwa aus Dokumenten, Handbüchern oder einer Datenbank – herausgesucht und dem Modell als Kontext mitgegeben. So beantwortet das Modell Fragen nicht aus seinem allgemeinen Training, sondern auf Basis der tatsächlichen Unternehmensinhalte. Das reduziert erfundene Antworten und macht KI überhaupt erst für viele fachliche Anwendungsfälle brauchbar. Vellum unterstützt dieses Muster, indem sich der Abruf relevanter Inhalte als Schritt in einen Workflow einbauen lässt.
In der Praxis ist RAG mächtig, aber nicht trivial: Die Qualität der Antworten steht und fällt damit, wie gut die richtigen Informationen gefunden werden. Genau hier zahlt sich Vellums Fokus auf Evaluierung aus – man kann die Güte einer wissensgestützten Anwendung messbar machen, statt sie nur zu erhoffen. Wir empfehlen, RAG-Anwendungen von Anfang an mit realistischen Testfragen zu evaluieren, weil sich Schwächen sonst erst im Betrieb und dann oft peinlich zeigen.
Der jüngste und ehrgeizigste Bereich sind Agenten: KI-Systeme, die nicht nur antworten, sondern eigenständig entscheiden, welche Schritte oder Werkzeuge sie einsetzen, um ein Ziel zu erreichen. Vellum erlaubt es, solche agentischen Muster zu gestalten und – das ist entscheidend – auch zu testen und zu überwachen. Denn gerade Agenten sind schwer beherrschbar: Je mehr Autonomie ein System hat, desto größer ist die Gefahr unerwarteten Verhaltens. Eine Plattform, die agentische Abläufe messbar und nachvollziehbar macht, ist deshalb wertvoller als eine, die nur ihren Bau erleichtert.
Wir raten in Projekten zu einem betont nüchternen Umgang mit Agenten. Sie verführen dazu, mehr Autonomie zuzulassen, als ein Geschäftsprozess verträgt. Unser Rat: agentische Ansätze zunächst in unkritischen, gut überwachbaren Szenarien einsetzen, bei denen ein Mensch die Ergebnisse kontrolliert, bevor sie wirksam werden. Vellums Stärke ist hier nicht die Autonomie an sich, sondern die Möglichkeit, sie kontrolliert und messbar einzuführen.
Auf der ersten Ebene ist die Anbieterunabhängigkeit bei Modellen ein zentrales Merkmal. Vellum ist darauf ausgelegt, Sprachmodelle verschiedener Anbieter anzusprechen, statt an ein einzelnes Modell gebunden zu sein. Für Unternehmen ist das ein doppelter Vorteil: Zum einen lässt sich für jede Aufgabe das passende Modell wählen – ein günstiges für einfache, ein leistungsfähiges für anspruchsvolle Aufgaben. Zum anderen sinkt die Abhängigkeit von einem einzigen Anbieter, weil sich Modelle im Prinzip austauschen lassen. Genau hier greift der Prompt-Vergleich: Man kann messen, ob ein Modellwechsel die Qualität hält, bevor man ihn produktiv vollzieht.
Die zweite Ebene ist die Verbindung zu den eigenen Wissensquellen – die Voraussetzung für wissensgestützte Anwendungen. Damit ein Modell auf Basis der tatsächlichen Unternehmensinhalte antworten kann, müssen diese Inhalte auffindbar gemacht werden: Dokumente, Handbücher, Datenbanken. Vellum unterstützt die Anbindung solcher Quellen als Grundlage für RAG-Anwendungen. Für den Mittelstand ist das oft der entscheidende Punkt, denn der geschäftliche Nutzen entsteht meist erst dann, wenn die KI nicht allgemeines Weltwissen, sondern konkrete firmeneigene Informationen verarbeitet.
Wichtig ist dabei das Bewusstsein, dass genau hier oft sensible Daten ins Spiel kommen. Firmendokumente und interne Datenbanken enthalten regelmäßig Vertrauliches oder Personenbezogenes. Die Anbindung eigener Quellen ist deshalb nicht nur eine technische, sondern immer auch eine datenschutzrechtliche Frage – wir vertiefen das in Kapitel 09. Als Faustregel gilt: Je wertvoller die angebundene Wissensquelle für die Anwendung ist, desto sorgfältiger muss geprüft werden, welche Daten dabei wohin fließen.
Die dritte Ebene ist die Einbettung in die eigene Software. Eine in Vellum entwickelte und getestete KI-Funktion soll am Ende nicht in der Plattform selbst bedient werden, sondern in einer eigenen Anwendung, einem Kundenportal oder einem internen Werkzeug wirken. Dafür stellt Vellum Programmierschnittstellen (API) und Software-Bausteine (SDK) bereit, über die sich die fertige Funktion ansprechen lässt. Der Charme dieses Modells: Fachliche Rollen entwickeln und pflegen Prompts und Abläufe in Vellum, während die eigene Anwendung diese über eine stabile Schnittstelle nutzt – ohne dass jede Prompt-Änderung ein neues Software-Release erfordert.
Auch bei einer LLMOps-Plattform gibt es Systeme oder Modelle, für die keine fertige Anbindung existiert. Für diese Fälle sind die Code-Möglichkeiten in Workflow-Schritten und die offenen Schnittstellen der Ausweg: Über einen generischen Aufruf lässt sich in der Regel jede offene Programmierschnittstelle ansprechen. Das verlässt allerdings die reine Konfigurationswelt und erfordert technisches Verständnis – ein Punkt, den wir vor jeder Empfehlung klar benennen. Insgesamt gilt: Vellums Ökosystem ist auf die KI-Kette ausgerichtet, nicht auf die Breite eines universellen Integrationswerkzeugs. Wer hunderte Fachanwendungen verbinden will, kombiniert Vellum sinnvoll mit einer dedizierten Automatisierungsplattform.
Der wichtigste konzeptionelle Gegensatz besteht zu LangChain. LangChain ist kein fertiges Produkt mit Oberfläche, sondern ein Programmier-Framework: eine Sammlung von Bausteinen, mit denen Entwicklerinnen LLM-Anwendungen im eigenen Code zusammensetzen. Das bietet maximale Freiheit und Kontrolle, verlangt aber vollständige Entwicklungsarbeit – inklusive der Themen, die Vellum als fertige Funktionen mitbringt: Prompt-Vergleich, Evaluierung, Monitoring, Zusammenarbeit über Rollen hinweg. Wer diese Bausteine mit LangChain haben möchte, muss sie selbst bauen oder um weitere Werkzeuge ergänzen.
Die Faustregel aus unserer Praxis: LangChain passt für Teams mit starker Entwicklungskompetenz, die volle Kontrolle über jeden Aspekt wollen und den Aufbau von Test- und Betriebsstrukturen selbst leisten können. Vellum passt für Teams, die genau diesen Aufbau nicht selbst leisten wollen, sondern eine fertige, kollaborative Umgebung bevorzugen – und die bereit sind, dafür etwas Freiheit gegen Struktur und Geschwindigkeit einzutauschen. Nicht selten ergänzen sich beide Welten sogar: manche Organisationen entwickeln in Code und nutzen daneben eine Plattform für Test und Betrieb.
Näher an Vellum stehen die visuellen Werkzeuge Langflow und Dify. Beide bieten – wie Vellum – eine grafische Oberfläche, um KI-Abläufe zusammenzusetzen, ohne alles programmieren zu müssen. Der entscheidende Unterschied liegt in Reifegrad, Betriebsmodell und Schwerpunkt: Langflow und Dify sind quelloffen und lassen sich in der Regel selbst hosten, was für Datenschutz und Souveränität ein starkes Argument ist. Vellum ist dagegen ein kommerzielles Cloud-Angebot, das seinen Schwerpunkt bewusst auf die für den Produktivbetrieb entscheidenden Themen Evaluierung, Zusammenarbeit und Monitoring legt.
In unseren Projekten formulieren wir die Orientierung gern so: LangChain für maximale Freiheit im Code, Langflow und Dify für den visuellen Einstieg mit der Option auf Selbst-Hosting, Vellum für die durchgängige, kollaborative Werkbank mit starkem Fokus auf Qualitätsmessung und Betrieb. Wer vor allem Datenhoheit braucht, wird bei den selbst-hostbaren Optionen genauer hinsehen; wer die geführte Zusammenarbeit und den Betriebskomfort einer gemanagten Plattform schätzt und den US-Cloud-Charakter datenschutzrechtlich sauber klären kann, findet in Vellum ein durchdachtes Werkzeug.
Der große Vorteil des Cloud-Modells ist der schnelle Start. Es genügt ein Zugang, um sofort mit Prompt-Vergleich, Workflow-Bau und Evaluierung zu beginnen; Rechenzeit, Skalierung, Verfügbarkeit und Aktualisierung der Plattform übernimmt der Anbieter. Für Teams, die sich auf die eigentliche KI-Arbeit konzentrieren wollen und nicht auf den Betrieb einer Plattform, ist das ein echter Gewinn. Der Enterprise-Fokus zeigt sich darin, dass der Anbieter typischerweise erweiterte Funktionen für Sicherheit, Rollenverwaltung und Governance bereitstellt – wichtig für größere Organisationen mit entsprechenden Anforderungen.
Aus unserer Projektpraxis hat sich ein schrittweises Vorgehen bewährt, das den besonderen Charakter einer LLMOps-Plattform berücksichtigt – bei der die Qualitätsmessung im Mittelpunkt steht – und trotzdem beherrschbar bleibt.
Nach dem Start verschiebt sich der Fokus vom Bauen auf das Betreiben. Zentrale Themen sind die Beobachtung der Aufrufe, das Erkennen von Qualitätsverschlechterungen und die bewusste Pflege der Prompts und Testfälle. Weil Vellum Aufrufe protokolliert und Qualität messbar macht, ist die Überwachung vergleichsweise komfortabel – man sieht, wie sich Nutzung, Kosten und Ergebnisqualität entwickeln. Besonders wertvoll ist, dass sich neue, im Betrieb aufgetauchte Problemfälle als zusätzliche Testfälle aufnehmen lassen: So wird das Testset mit der Zeit immer aussagekräftiger.
Gleichzeitig gilt: Auch eine gemanagte Plattform enthebt niemanden der Verantwortung für die eigene Anwendung. Ein Modell kann sich beim Anbieter ändern; ein neuer Datentyp kann Prompts aus dem Tritt bringen; Kosten können bei steigender Nutzung wachsen. Wir empfehlen, für geschäftskritische KI-Funktionen von Beginn an festzulegen, wer die fachliche Qualität verantwortet, wer im Fehlerfall reagiert und in welchem Rhythmus die Evaluierung wiederholt wird. Ohne diese Betriebsdisziplin verpufft der Vorteil einer LLMOps-Plattform.
Auffällig ist ein Muster: Vellum glänzt dort, wo die Qualität der KI-Antwort geschäftlich zählt und über die Zeit stabil bleiben muss. Sobald eine Aufgabe über eine einmalige Spielerei hinausgeht und in einen dauerhaften Prozess einzieht, spielt die Plattform ihre Stärke aus. Der Mehrwert entsteht weniger durch das reine Erzeugen von Text als durch die Sicherheit, dass die Funktion messbar gut ist und es auch bleibt. Für einfache, einmalige Aufgaben ohne Qualitätsanspruch ist die Plattform hingegen überdimensioniert.
Wichtig für die Erwartungshaltung: Der Nutzen realisiert sich nur, wenn ein Team bereit ist, Qualität wirklich zu messen. Eine schlecht durchdachte KI-Funktion wird durch eine Plattform nicht besser – nur professioneller verwaltet. Und ein aufwendig aufgesetztes Testset, das niemand pflegt, ist verschwendete Mühe. Deshalb steht in unseren Projekten immer die ehrliche Frage nach Anwendungsfall, Qualitätsanspruch und den nötigen Kompetenzen vor dem Bau der ersten Funktion.
Ein typischer Verlauf: Es beginnt mit einer einzelnen KI-Funktion, die ein konkretes Problem löst. Schnell folgen weitere, weil der Nutzen sichtbar wird. Nach einigen Monaten existiert eine ganze Sammlung von Prompts, Workflows und Testsets – oft verteilt über mehrere Personen und Fachbereiche. Genau an diesem Punkt entscheidet sich, ob KI zum verlässlichen Werkzeug oder zur unübersichtlichen Baustelle wird. Vellums Fokus auf Versionierung, Evaluierung und Zusammenarbeit ist genau für diese Skalierung gedacht.
Wir empfehlen daher, schon früh eine einfache Übersicht zu führen: Welche KI-Funktion erfüllt welchen Zweck, welche Datenquellen und Modelle nutzt sie, welche Daten verarbeitet sie, wer verantwortet ihre fachliche Qualität und in welchem Rhythmus wird sie evaluiert. Diese schlanke Dokumentation kostet wenig Aufwand, ist aber die Grundlage, um eine wachsende KI-Landschaft beherrschbar und datenschutzkonform zu halten – und um später fundiert über Konsolidierung oder Werkzeugwechsel zu entscheiden.
Zur Kostenlogik zuerst: Vellum ist eine kommerzielle Plattform mit plan-basierter Abrechnung, typischerweise mit Stufen für unterschiedliche Nutzungsumfänge und Funktionsbedarfe. Konkrete Preise nennen wir hier bewusst nicht, weil der Anbieter Pläne, Kontingente und Konditionen regelmäßig anpasst; sie sollten direkt beim Anbieter geprüft werden. Entscheidend ist ein zweiter, oft unterschätzter Punkt: Zur Plattformgebühr kommen die Kosten der eigentlichen Modellaufrufe beim jeweiligen Modell-Anbieter hinzu. Die Gesamtkosten einer KI-Anwendung setzen sich also aus mindestens zwei Bausteinen zusammen – der Plattform und der Modellnutzung.
Der wichtigste Mechanismus: Die Gesamtkosten skalieren mit Nutzungsumfang und Modellwahl. Die Plattformgebühr richtet sich nach Plan und Funktionsbedarf; die Modellkosten steigen mit der Zahl und Länge der Aufrufe und mit der Wahl eines leistungsstärkeren – und damit teureren – Modells. Für den Mittelstand heißt das: Bei überschaubarem Volumen und bewusster Modellwahl bleiben die Kosten kalkulierbar; bei hohem Durchsatz oder dem reflexhaften Griff zum stärksten Modell können sie deutlich wachsen. Wir erstellen in Projekten daher standardmäßig eine Hochrechnung – erwartete Aufrufe, multipliziert mit den typischen Kosten pro Aufruf – und prüfen mithilfe der Evaluierung, ob ein günstigeres Modell die nötige Qualität ebenfalls erreicht. Genau hier wird die Qualitätsmessung zum unmittelbaren Kostenhebel.
Datenschutzrechtlich ist der zentrale Ausgangspunkt: Vellum ist eine Cloud-Plattform eines US-amerikanischen Anbieters. Bei der Nutzung fließen Daten durch dessen Cloud – und potenziell durch die Clouds der angebundenen Modell-Anbieter. Besonders heikel ist dabei, dass die verarbeiteten Inhalte hier selten harmlos sind: Prompts, angebundene Wissensquellen und Testdatensätze enthalten regelmäßig sensible Unternehmensdaten – interne Dokumente, Kundeninformationen, personenbezogene Angaben. Wo solche Daten verarbeitet werden, wird Vellum zum Auftragsverarbeiter, und es gelten die entsprechenden Anforderungen der DSGVO. Diese besondere Sensibilität verlangt größere Sorgfalt als bei einem reinen App-Verbinder.
Als Unternehmen mit Sitz in den USA unterliegt Vellum grundsätzlich US-amerikanischem Recht. Auch wenn der Anbieter Schutzmaßnahmen und vertragliche Zusicherungen bietet, bleibt – wie bei allen US-Cloud-Diensten – ein rechtliches Restrisiko hinsichtlich behördlicher Zugriffsmöglichkeiten bestehen. Weil bei Vellum jedoch typischerweise sensiblere Inhalte im Spiel sind als bei einem einfachen App-Verbinder, wiegt dieser Punkt schwerer. Für viele Mittelständler ist das Risiko bei nicht hochsensiblen Daten, einer verfügbaren EU-Region und sauberer vertraglicher Grundlage tragbar. Für besonders schützenswerte Datenkategorien, für Berufsgeheimnisträger oder für Unternehmen mit hohen Souveränitätsanforderungen ist es dagegen ein gewichtiges Gegenargument – zumal Vellum als reine Cloud-Plattform kein Selbst-Hosting vorsieht.
Es gibt mehrere Hebel, um Vellum datenschutzfreundlicher zu betreiben. Erstens die Nutzung einer EU-Region, falls der Anbieter sie anbietet – das verkürzt die Übermittlungswege und vereinfacht die rechtliche Bewertung. Zweitens ein sauberer Auftragsverarbeitungsvertrag als vertragliche Grundlage. Drittens – und oft am wirksamsten – die bewusste Wahl der Modelle: Wo es die Aufgabe erlaubt, kann die Anbindung an EU-basierte oder lokal betriebene Modelle verhindern, dass Inhalte an einen weiteren US-Dienst fließen. Viertens konsequente Datensparsamkeit: nur die wirklich nötigen Inhalte in Prompts und Testfälle aufnehmen und personenbezogene Angaben wo möglich anonymisieren oder weglassen.
Wenn Datenhoheit und Souveränität im Vordergrund stehen, ist die reine Cloud-Natur von Vellum ein struktureller Nachteil – ein Selbst-Hosting ist nicht vorgesehen. In solchen Fällen prüfen wir mit Kunden gezielt selbst-hostbare Alternativen wie Langflow oder Dify, bei denen die Plattform und die Daten in der eigenen Infrastruktur bleiben können. Das verlagert zwar den Aufwand auf Betrieb und Wartung, kann aber die datenschutzrechtliche Bewertung erheblich vereinfachen. Die Entscheidung ist letztlich eine Abwägung zwischen dem Betriebskomfort und den Betriebsfunktionen einer gemanagten Plattform und der Kontrolle über die eigenen Daten – und sollte gerade wegen der oft sensiblen Prompts und Testdaten bewusst und mit der Datenschutzbeauftragten getroffen werden.
