Um die Idee hinter Vectara zu verstehen, lohnt ein Blick auf die typische RAG-Architektur. Ein Unternehmen möchte, dass ein Sprachmodell Fragen auf Basis interner Dokumente beantwortet – Handbücher, Richtlinien, Produktdaten, Verträge oder Supportwissen. Dazu werden die Dokumente in Abschnitte zerlegt, mit einem Embedding-Modell in Vektoren übersetzt und in einem Index abgelegt. Bei einer Anfrage sucht das System die passendsten Abschnitte, sortiert sie mit einem Reranker nach Relevanz und gibt sie dem Sprachmodell als Kontext. Das Modell formuliert daraus die Antwort. Jede dieser Stufen ist eine eigene Disziplin mit eigenen Werkzeugen, Parametern und Fehlerquellen.
Genau hier setzt Vectara an. Die Plattform bündelt alle Stufen in einem gemanagten Dienst. Der Hersteller entwickelt dafür eigene Modelle für Embeddings, Reranking und Halluzinations-Erkennung und kombiniert sie mit wählbaren Sprachmodellen. Für Anwender bedeutet das: weniger Architekturentscheidungen, weniger Integrationsaufwand und eine schnellere erste lauffähige Lösung. Der Preis dafür ist eine geringere Kontrolle über die einzelnen Komponenten und eine stärkere Bindung an einen Anbieter – ein Zielkonflikt, der sich durch diesen gesamten Artikel zieht.
Vectara wurde Anfang der 2020er-Jahre in Kalifornien gegründet, zunächst unter anderem Namen, und tritt seit 2022 unter der heutigen Marke auf. Zum Gründungsteam gehören Personen mit Hintergrund in der Such- und Sprachforschung großer Technologiekonzerne sowie im Umfeld der Big-Data-Plattform Cloudera. Diese Herkunft prägt das Produkt: Vectara versteht sich weniger als Datenbankhersteller, sondern als Spezialist für vertrauenswürdige, faktentreue KI-Antworten auf Unternehmensdaten. In der Außendarstellung stehen deshalb Begriffe wie „Grounded Generation“, „Hallucination Detection“ und zunehmend „Agentic RAG“ im Vordergrund.
Bekannt wurde Vectara in der Fachöffentlichkeit vor allem durch seine Arbeit zum Thema Halluzinationen. Der Anbieter hat ein eigenes Bewertungsmodell veröffentlicht und pflegt eine öffentlich einsehbare Rangliste, die verschiedene Sprachmodelle danach vergleicht, wie häufig sie beim Zusammenfassen von Texten Inhalte erfinden. Diese Rangliste wird in Diskussionen über Modellqualität häufig zitiert. Für die Bewertung der Plattform ist sie interessant, weil sie zeigt, wo der Hersteller seine Kernkompetenz sieht. Konkrete Zahlen aus solchen Ranglisten ändern sich laufend und sollten immer an der aktuellen Quelle geprüft werden.
Technisch arbeitet Vectara mit sogenannten Korpora – logisch getrennten Wissenssammlungen, in die Dokumente geladen werden. Ein Unternehmen kann etwa einen Korpus für technische Dokumentation, einen für Personalrichtlinien und einen für Vertriebsunterlagen anlegen. Beim Hochladen übernimmt die Plattform das Extrahieren von Text aus gängigen Dateiformaten, das Zerlegen in Abschnitte und die Vektorisierung. Metadaten wie Abteilung, Sprache, Dokumenttyp oder Gültigkeitsdatum lassen sich mitgeben und später als Filter nutzen.
Die Abfrage erfolgt über einen einzigen API-Aufruf, der Retrieval und Generierung kombiniert. Man legt fest, welche Korpora durchsucht werden, wie stark lexikalische und semantische Suche gewichtet werden, welcher Reranker zum Einsatz kommt, wie viele Treffer in den Kontext gelangen und welches Sprachmodell mit welcher Prompt-Vorlage die Antwort formuliert. Die Antwort enthält den generierten Text, nummerierte Verweise auf die verwendeten Abschnitte und – je nach Konfiguration – einen Konsistenzwert, der angibt, wie gut die Aussage durch die Quellen gestützt ist. Ergänzend gibt es Chat-Funktionen mit Gesprächsverlauf und seit einiger Zeit eine Agenten-Schnittstelle, die mehrere Werkzeuge und Abfragen orchestrieren kann.
Vectara lässt sich am besten verstehen, wenn man es gegen drei benachbarte Produktkategorien abgrenzt. Vektordatenbanken wie Pinecone, Qdrant oder Weaviate speichern Vektoren und beantworten Ähnlichkeitsanfragen; Embedding, Chunking, Reranking und Generierung bleiben Aufgabe des Entwicklers. Frameworks wie LangChain, LlamaIndex oder Haystack stellen Bausteine bereit, mit denen sich RAG-Pipelines programmieren lassen, betreiben aber selbst keine Infrastruktur. Suchdienste der Hyperscaler wie Azure AI Search oder Vertex AI Search bieten Indexierung und Suche als Cloud-Dienst, eingebettet in das jeweilige Cloud-Ökosystem.
Vectara positioniert sich quer dazu als vollständige, anbieterunabhängige RAG-Plattform: Die Infrastruktur ist gemanagt wie bei einem Hyperscaler-Dienst, die Pipeline ist durchgängig wie bei einem Framework, und der Fokus liegt explizit auf generativen Antworten statt auf Trefferlisten. Ein Unterscheidungsmerkmal gegenüber den Hyperscalern ist die Unabhängigkeit von einer bestimmten Cloud; ein Unterscheidungsmerkmal gegenüber Frameworks ist, dass man sich um Betrieb, Skalierung und Modellhosting nicht selbst kümmern muss. Bei der Datenhoheit liegt Vectara in der Standardvariante allerdings näher an den Hyperscalern als an einem Eigenbau.
Die Zielgruppe reicht von Softwareherstellern, die eine Frage-Antwort-Funktion in ihr Produkt einbauen wollen, über Fachabteilungen in Konzernen bis zu stark regulierten Branchen wie Finanzdienstleistung, Gesundheitswesen oder öffentliche Verwaltung, die der Anbieter mit seinen privaten Bereitstellungsoptionen adressiert. Für den Mittelstand ist vor allem relevant, dass sich mit dem SaaS-Angebot sehr schnell ein funktionierender Prototyp aufbauen lässt. Ob daraus ein produktiver Dienst werden kann, hängt dann weniger an der Technik als an Datenschutz, Kosten und strategischer Abhängigkeit. Diese Punkte behandeln wir in den Kapiteln 07 bis 09 ausführlich.
Daten gelangen auf zwei Wegen in Vectara. Beim Datei-Upload übergibt man PDF-, Office-, HTML- oder Textdateien, und die Plattform übernimmt Extraktion und Zerlegung. Das ist bequem, aber nicht immer optimal: Komplexe Layouts, mehrspaltige Handbücher, eingescannte Dokumente oder verschachtelte Tabellen werden von generischen Parsern unterschiedlich gut verarbeitet. Beim strukturierten Upload bereitet man Dokumente selbst auf und übergibt sie bereits in Abschnitte gegliedert, inklusive Titel, Überschriftenhierarchie und Metadaten. Dieser Weg erfordert mehr Vorarbeit, liefert aber in unserer Erfahrung meist die bessere Retrieval-Qualität, weil man Chunking und Bereinigung selbst in der Hand behält.
Metadaten spielen bei Vectara eine zentrale Rolle. Felder auf Dokument- und Abschnittsebene lassen sich als filterbare Attribute deklarieren und in Abfragen mit einer SQL-ähnlichen Syntax kombinieren – etwa „nur Dokumente der Abteilung Service, gültig ab einem bestimmten Datum, in deutscher Sprache“. Darauf lässt sich auch eine einfache Berechtigungslogik aufbauen, indem man Dokumente mit Gruppenkennungen versieht und die Abfrage serverseitig auf die Gruppen des Nutzers einschränkt. Ob das für Ihre Anforderungen reicht oder ob eine dokumentgenaue Rechteprüfung gegen das Quellsystem nötig ist, sollte früh geklärt werden.
Die Suche kombiniert ein vom Anbieter entwickeltes, mehrsprachiges Embedding-Modell mit einer klassischen lexikalischen Suche. Über einen Gewichtungsparameter lässt sich festlegen, wie stark exakte Begriffe gegenüber semantischer Ähnlichkeit zählen. Das ist im Unternehmensalltag wichtig: Artikelnummern, Normbezeichnungen, Fehlercodes oder Eigennamen findet eine rein semantische Suche oft schlechter als eine Stichwortsuche, während umgangssprachliche Fragen von der semantischen Komponente profitieren. Die richtige Gewichtung ist datenabhängig und sollte mit realen Testfragen kalibriert werden.
Nach dem Retrieval folgt das Reranking. Vectara bietet einen eigenen mehrsprachigen neuronalen Reranker, der die gefundenen Abschnitte erneut gegen die Frage bewertet und neu sortiert. Ergänzend gibt es ein Diversitäts-Reranking nach dem Prinzip der maximalen marginalen Relevanz, das verhindert, dass nahezu identische Abschnitte den Kontext füllen, sowie benutzerdefinierte Reranker, mit denen sich Geschäftsregeln einbringen lassen – etwa neuere Dokumente bevorzugen oder bestimmte Quellen höher gewichten. Mehrere Reranker lassen sich in einer Kette hintereinanderschalten. Für Teams, die bisher nur mit reiner Vektorsuche gearbeitet haben, ist diese Stufe oft der größte Qualitätssprung.
Unter „Grounded Generation“ versteht Vectara die Erzeugung einer Antwort, die sich ausschließlich auf die abgerufenen Abschnitte stützen soll. Die Plattform übergibt die bestplatzierten Treffer an ein Sprachmodell, das über eine Prompt-Vorlage angewiesen wird, nur auf Basis dieser Quellen zu antworten und jede Aussage mit einem nummerierten Verweis zu belegen. Wählbar sind je nach Tarif ein vom Anbieter speziell für RAG trainiertes Modell sowie verschiedene Modelle externer Anbieter. Eigene Prompt-Vorlagen ermöglichen es, Tonalität, Antwortformat und Sprache festzulegen.
Die Zitate sind für die Praxis entscheidend. Sie erlauben es Nutzern, jede Aussage an der Originalquelle zu prüfen, und sie sind Voraussetzung für Vertrauen in Fachabteilungen, die mit Normen, Verträgen oder Sicherheitsvorschriften arbeiten. Gute Zitate setzen allerdings gute Abschnitte voraus: Ist ein Dokument ungünstig zerlegt, verweist die Antwort zwar korrekt auf einen Abschnitt, dieser enthält aber nicht den vollständigen Zusammenhang. Hier zeigt sich erneut, dass auch eine gemanagte Plattform die Sorgfalt bei der Datenaufbereitung nicht ersetzt.
Das Hughes Hallucination Evaluation Model, kurz HHEM, ist ein Klassifikationsmodell, das ein Paar aus Quelltext und generierter Aussage betrachtet und einschätzt, ob die Aussage durch die Quelle gedeckt ist. Das Ergebnis ist ein Wert zwischen null und eins, den Vectara als Factual Consistency Score an jede Antwort anhängen kann. Ein hoher Wert bedeutet, dass die Antwort weitgehend durch die abgerufenen Abschnitte gestützt wird; ein niedriger Wert deutet darauf hin, dass das Sprachmodell Inhalte ergänzt, verfälscht oder erfunden hat.
Eine offene Variante des Modells hat der Hersteller öffentlich zugänglich gemacht; sie lässt sich auch außerhalb der Plattform einsetzen, etwa zur Evaluierung eines selbst gebauten RAG-Systems. Innerhalb der Plattform kommt laut Anbieter eine leistungsfähigere, kommerzielle Variante zum Einsatz, die auch mehrsprachige Inhalte abdecken soll. Praktisch nutzbar wird der Wert, wenn man Regeln daran knüpft: Antworten unterhalb eines Schwellenwerts werden mit einem Hinweis versehen, nicht angezeigt, an einen Menschen weitergeleitet oder für die Nachbearbeitung protokolliert. Ergänzend hat der Anbieter Funktionen zur automatischen Korrektur vorgestellt, die problematische Passagen erkennen und eine überarbeitete Fassung vorschlagen sollen. Reifegrad und Sprachabdeckung dieser Funktionen sollten vor produktivem Einsatz geprüft werden.
Klassisches RAG beantwortet eine Frage mit einer Suche. Viele reale Fragen erfordern aber mehrere Schritte: eine Frage zerlegen, verschiedene Wissensquellen abfragen, Ergebnisse vergleichen, eine Berechnung durchführen oder eine externe Schnittstelle aufrufen. Vectara adressiert das mit Agenten-Funktionen. Über eine Agenten-Schnittstelle lassen sich Agenten definieren, die Zugriff auf einen oder mehrere Korpora als Werkzeuge erhalten, Anweisungen folgen und Gesprächszustände verwalten. Ergänzend gibt es eine offene Python-Bibliothek für Agenten, die auf einem verbreiteten Open-Source-Framework aufsetzt und es Entwicklern ermöglicht, Vectara-Korpora mit eigenen Werkzeugen, Datenbankabfragen oder Webdiensten zu kombinieren.
Für Unternehmen eröffnet das Szenarien jenseits des Frage-Antwort-Chats: Ein Agent im Kundenservice kann zunächst in der Wissensbasis nach einer Lösung suchen, dann den Vertragsstatus im CRM abfragen und schließlich eine Antwort vorschlagen. Ein Agent im Einkauf kann Lieferantendokumente durchsuchen und mit Bestelldaten abgleichen. Solche Szenarien sind allerdings deutlich komplexer als einfaches RAG. Fehler pflanzen sich über mehrere Schritte fort, Kosten und Antwortzeiten steigen, und die Frage, welche Aktionen ein Agent selbstständig ausführen darf, ist eine Governance-Entscheidung. Wir empfehlen, Agenten erst einzuführen, wenn die zugrunde liegende Retrieval-Qualität nachweislich stimmt.
Unter dem Stichwort Guardrails fasst Vectara verschiedene Schutzmechanismen zusammen: die Beschränkung auf Antworten aus den eigenen Quellen, die Halluzinations-Bewertung, Regeln für den Umgang mit Fragen außerhalb des Wissensbereichs und Richtlinien, die Agenten in ihrem Handlungsspielraum begrenzen. Hinzu kommen klassische Governance-Funktionen wie rollenbasierte Zugriffsrechte, getrennte API-Schlüssel für Lese- und Schreibzugriffe, Protokollierung von Abfragen und Antworten sowie Auswertungen zur Nutzung. Diese Beobachtbarkeit ist im Betrieb unverzichtbar: Nur wer sieht, welche Fragen gestellt werden, welche Quellen gefunden werden und wo Konsistenzwerte niedrig sind, kann das System gezielt verbessern.
Ergänzend hat der Hersteller ein offenes Evaluierungswerkzeug veröffentlicht, das Retrieval- und Generierungsqualität ohne aufwendig erstellte Referenzantworten bewerten soll. Es lässt sich mit etablierten Ansätzen wie RAGAS kombinieren. Für ein belastbares Qualitätsmanagement empfehlen wir in jedem Fall einen eigenen, fachlich abgenommenen Testdatensatz mit typischen Fragen und erwarteten Quellen.
Kern der Integration ist eine REST-Schnittstelle, über die sich Korpora anlegen, Dokumente hochladen und löschen, Abfragen stellen, Chats führen, Agenten steuern und Nutzungsdaten abrufen lassen. Die Authentifizierung erfolgt über API-Schlüssel mit unterschiedlichen Berechtigungen oder über OAuth-basierte Verfahren für Server-zu-Server-Kommunikation. Für gängige Programmiersprachen gibt es Client-Bibliotheken, und eine webbasierte Konsole erlaubt es, Korpora zu verwalten, Abfragen interaktiv zu testen und Einstellungen auszuprobieren, ohne Code zu schreiben. Für schnelle Prototypen stellt der Anbieter außerdem Vorlagen für Such- und Chat-Oberflächen bereit, die sich in eigene Webseiten oder interne Portale einbinden lassen.
Ein Vorteil dieses Ansatzes ist die klare Trennung: Die Anwendung kümmert sich um Benutzeroberfläche, Anmeldung und Geschäftslogik, Vectara um Wissen und Antworten. Ein Nachteil ist, dass die gesamte RAG-Logik hinter einer externen Schnittstelle liegt. Änderungen am API-Verhalten, an Modellen oder an Standardeinstellungen wirken sich direkt auf die Ergebnisse aus. Eine Versionierung der Abfrageparameter und regelmäßige Regressionstests mit einem festen Fragenkatalog sind deshalb Pflicht.
Für Entwicklerteams, die bereits mit Orchestrierungs-Frameworks arbeiten, ist die Anbindung an LangChain und LlamaIndex relevant. In beiden Frameworks existieren Integrationen, mit denen sich Vectara als Wissensspeicher beziehungsweise als gemanagter Index nutzen lässt. Damit kann Vectara Teil einer größeren Anwendung werden, in der etwa eigene Werkzeuge, andere Datenquellen oder abweichende Sprachmodelle eingebunden sind. Die offene Agenten-Bibliothek des Herstellers baut ihrerseits auf einem dieser Frameworks auf. Wie aktuell und vollständig diese Integrationen jeweils sind, schwankt erfahrungsgemäß; vor einer Architekturentscheidung lohnt ein Blick in die Versionshistorie.
Anders als manche Enterprise-Suchprodukte bringt Vectara keine umfangreiche Bibliothek fertiger, zertifizierter Konnektoren zu Dutzenden Unternehmensanwendungen mit. Stattdessen stellt der Hersteller ein offenes Ingest-Framework bereit, mit dem sich Webseiten, Dateiablagen, Wikis, Ticketsysteme und weitere Quellen crawlen und in Korpora laden lassen. Daneben bieten Datenintegrationswerkzeuge und Dokumenten-Parser von Drittanbietern Anbindungen an Vectara. Für Quellsysteme wie SharePoint, Confluence, Dateiserver oder ERP-Dokumentenablagen bedeutet das in der Praxis häufig: Man baut oder konfiguriert einen eigenen Synchronisationsprozess, der neue, geänderte und gelöschte Dokumente erkennt und die Korpora aktuell hält.
Der naheliegendste Vergleich ist deepset Cloud. Beide Plattformen bieten RAG als gemanagten Dienst, beide adressieren Unternehmen, die nicht alles selbst bauen wollen. Der Unterschied liegt im Ansatz. deepset Cloud basiert auf dem Open-Source-Framework Haystack und gibt Entwicklern eine sehr flexible Pipeline-Architektur an die Hand, in der Komponenten, Modelle und Datenquellen frei kombinierbar sind. Wer später auf einen selbst betriebenen Stack wechseln will, kann Pipelines grundsätzlich mitnehmen. Vectara ist stärker vorkonfiguriert: Die Pipeline ist fester, die eigenen Modelle sind gesetzt, dafür ist der Weg zur ersten guten Antwort kürzer, und die Halluzinations-Bewertung ist fest integriert. Für ein Team mit Entwicklerkapazität und dem Wunsch nach Flexibilität spricht viel für deepset Cloud; für ein Team, das schnell ein qualitativ solides Ergebnis mit wenig Konfiguration will, für Vectara.
Die Dienste der großen Cloud-Anbieter – Azure AI Search, Google Vertex AI Search und AWS Bedrock Knowledge Bases – sind vor allem dann attraktiv, wenn ein Unternehmen bereits auf der jeweiligen Plattform arbeitet. Identitätsmanagement, Netzwerkisolation, Abrechnung, Compliance-Nachweise und Datenquellen sind dann schon vorhanden, und der RAG-Dienst fügt sich in eine bekannte Umgebung ein. Viele Mittelständler mit Microsoft 365 landen deshalb fast automatisch bei Azure. Vectara punktet demgegenüber mit Unabhängigkeit von einer bestimmten Cloud und mit einem stärker auf Antwortqualität ausgerichteten Gesamtpaket. Datenschutzrechtlich teilen alle diese Optionen eine Eigenschaft: Es handelt sich um US-Unternehmen, sodass der CLOUD Act bei allen zu bewerten ist – auch wenn EU-Regionen gewählt werden.
Am anderen Ende des Spektrums steht der Eigenbau mit Open-Source-Komponenten: ein Framework wie Haystack oder LlamaIndex, eine Vektordatenbank wie Qdrant oder pgvector, ein offenes Embedding-Modell, ein Reranker und ein Sprachmodell, das selbst oder bei einem europäischen Anbieter gehostet wird. Dieser Weg bietet maximale Kontrolle und die beste Ausgangslage für Datenhoheit, verlangt aber Kompetenz in Retrieval, Modellbetrieb und Evaluierung. Interessant ist, dass sich einzelne Vectara-Bausteine – etwa das offene Halluzinations-Modell – auch in einem solchen Eigenbau nutzen lassen.
Es ist verlockend, bei einer Plattform wie Vectara einfach einen Ordner voller Dokumente hochzuladen und auf gute Antworten zu hoffen. Für einen ersten Eindruck funktioniert das erstaunlich gut. Für einen produktiven Einsatz reicht es selten. Typische Probleme sind veraltete Dokumentversionen, die neben aktuellen liegen und widersprüchliche Antworten erzeugen; eingescannte PDFs ohne saubere Texterkennung; Tabellen, deren Struktur beim Parsen verloren geht; und lange Dokumente ohne klare Gliederung, deren Abschnitte keinen eigenständigen Sinn ergeben. Die Investition in eine saubere Aufbereitungsstrecke – gegebenenfalls mit spezialisierten Parsern vor dem Upload – zahlt sich fast immer aus.
Ein RAG-System ist nie fertig. Neue Dokumente kommen hinzu, Fragen verändern sich, der Anbieter aktualisiert Modelle. Deshalb gehört ein kontinuierliches Qualitätsmanagement zum Betrieb. Der Testdatensatz aus der Einführungsphase wird regelmäßig gegen das System ausgeführt, idealerweise automatisiert, und die Ergebnisse werden mit früheren Läufen verglichen. Die Konsistenzwerte von HHEM liefern ein zusätzliches Frühwarnsignal: Sinkt der Durchschnitt in einem Themenbereich, lohnt ein Blick auf Quellen und Retrieval. Ergänzend sollten Nutzer Antworten bewerten können, und unbeantwortete oder schlecht bewertete Fragen sollten in einen festen Prozess zur Pflege der Wissensbasis münden.
Bei jeder gemanagten Plattform stellt sich die Frage, was passiert, wenn man sie verlassen möchte – wegen Kosten, Strategiewechsel, Datenschutzbedenken oder weil der Anbieter sein Angebot ändert. Bei Vectara liegen Embeddings, Indexstruktur und Reranking-Logik beim Anbieter; sie lassen sich nicht einfach in eine andere Vektordatenbank exportieren. Was portabel bleibt, sind die Quelldokumente, die eigene Aufbereitungsstrecke, die Metadaten, der Testdatensatz und die Prompt-Vorlagen. Wir empfehlen deshalb, diese Bestandteile bewusst außerhalb der Plattform zu pflegen und zu versionieren. Dann ist ein späterer Wechsel aufwendig, aber machbar – und der Testdatensatz zeigt objektiv, ob die neue Lösung mindestens gleichwertig ist.
Aus unserer Projektpraxis ergibt sich ein recht klares Bild. Vectara passt gut, wenn die Daten unkritisch oder bereits öffentlich sind, etwa Produktdokumentation oder Website-Inhalte; wenn Geschwindigkeit wichtiger ist als Kontrolle, etwa bei einem Pilotprojekt oder einem Machbarkeitsnachweis; wenn keine eigene Retrieval-Kompetenz vorhanden ist und auch nicht aufgebaut werden soll; und wenn das Unternehmen keinen festen Hyperscaler nutzt, dessen RAG-Dienst sich anbieten würde. Weniger gut passt Vectara bei personenbezogenen Daten in großem Umfang, bei Geschäftsgeheimnissen mit hohem Schutzbedarf, bei strengen Vorgaben zur Datenlokalisierung in Deutschland, bei bereits tief in Microsoft Azure integrierten Landschaften und überall dort, wo langfristige Unabhängigkeit von einzelnen Anbietern strategisch gewollt ist.
Für viele Mittelständler bewährt sich ein zweistufiges Vorgehen. In der ersten Stufe dient eine gemanagte Plattform wie Vectara als schneller Machbarkeitsnachweis mit ausgewählten, unkritischen Dokumenten. Das Team lernt, welche Fragen gestellt werden, wie wichtig Datenaufbereitung ist und welche Antwortqualität erreichbar ist. Gleichzeitig entstehen der Testdatensatz, die Metadatenstruktur und die Aufbereitungsstrecke – alles Bestandteile, die unabhängig von der Plattform weiterverwendet werden können. In der zweiten Stufe fällt dann eine fundierte Entscheidung: Entweder bleibt man bei Vectara, gegebenenfalls in einer privaten Bereitstellung mit sauberer vertraglicher Grundlage, oder man überführt die Lösung in einen souveränen Eigenbau mit Haystack oder LlamaIndex und Qdrant, betrieben in einem deutschen Rechenzentrum. Der Testdatensatz macht beide Varianten objektiv vergleichbar.
Bei der Nutzung von Vectara als Cloud-Dienst fließen mehrere Datenarten zum Anbieter: die Quelldokumente selbst, die daraus erzeugten Abschnitte und Vektoren, die Metadaten, die Fragen der Nutzer mitsamt Gesprächsverläufen und die generierten Antworten. Kommen externe Sprachmodelle zum Einsatz, werden Frage und Kontext zusätzlich an deren Anbieter weitergegeben, die damit als weitere Unterauftragsverarbeiter in die Bewertung einzubeziehen sind. Für jede dieser Datenarten ist zu klären, wo sie verarbeitet und gespeichert werden, wie lange sie aufbewahrt werden, wer Zugriff hat und ob sie zur Verbesserung von Modellen genutzt werden dürfen.
Zentral ist der Serverstandort. Ob und in welchem Umfang Vectara eine Verarbeitung ausschließlich in einer EU-Region anbietet, welche Daten dabei tatsächlich in der EU verbleiben und ob Support- oder Betriebszugriffe aus den USA erfolgen, ist beim Anbieter verbindlich zu erfragen und vertraglich festzuhalten. Selbst bei Speicherung in der EU bleibt der Drittlandbezug bestehen, weil der Anbieter seinen Sitz in den USA hat. Hier greift der US CLOUD Act, der US-Behörden unter bestimmten Voraussetzungen den Zugriff auf Daten ermöglichen kann, die von US-Unternehmen kontrolliert werden – unabhängig vom physischen Speicherort. Ob der Anbieter unter dem aktuellen Angemessenheitsrahmen zwischen EU und USA zertifiziert ist, welche Standardvertragsklauseln gelten und welche ergänzenden technischen Maßnahmen greifen, gehört in die Prüfung durch Datenschutzbeauftragte.
Die privaten Bereitstellungsformen – in einer kundeneigenen Cloud-Umgebung oder im eigenen Rechenzentrum – können diese Situation deutlich entschärfen, weil Daten dann nach Herstellerangaben die vom Kunden kontrollierte Umgebung nicht verlassen. Auch hier sind jedoch Fragen zu klären: Welche Telemetrie- und Lizenzdaten fließen zum Hersteller? Wie werden Updates eingespielt? Welche Fernzugriffe sind für Support vorgesehen? Und läuft die private Umgebung ihrerseits bei einem US-Hyperscaler, für den der CLOUD Act ebenfalls gilt?
Wer maximale Datenhoheit braucht, ist mit einem selbst betriebenen Open-Source-Stack meist besser aufgestellt. Eine bewährte Kombination ist Haystack als Framework, Qdrant oder pgvector als Vektordatenbank, ein offenes mehrsprachiges Embedding-Modell, ein offener Reranker und ein Sprachmodell, das im eigenen Rechenzentrum oder bei einem deutschen beziehungsweise europäischen Anbieter läuft. In einer solchen Architektur verlassen weder Dokumente noch Fragen den eigenen Verantwortungsbereich, und es gibt keinen US-Anbieter in der Verarbeitungskette. Zur Qualitätssicherung lassen sich Evaluierungswerkzeuge wie RAGAS und sogar die offene Variante des Vectara-Halluzinations-Modells einsetzen. Der Preis ist ein höherer Entwicklungs- und Betriebsaufwand – den viele Mittelständler mit einem spezialisierten Partner tragen.
Vectara bietet in der Regel einen kostenlosen Testzugang, nutzungsabhängige Tarife für kleinere Projekte und individuell verhandelte Enterprise-Verträge. Kostentreiber sind typischerweise die Menge der indexierten Daten, die Zahl der Abfragen und generierten Antworten, die gewählten Sprachmodelle, Zusatzfunktionen wie Agenten oder erweiterte Halluzinations-Funktionen sowie die Bereitstellungsform. Private Bereitstellungen sind naturgemäß deutlich teurer als der mandantenfähige Cloud-Dienst. Aktuelle Preise und Konditionen sind beim Anbieter zu prüfen, da sie sich regelmäßig ändern.
Für eine ehrliche Wirtschaftlichkeitsbetrachtung sollte man die Plattformkosten nicht isoliert betrachten, sondern gegen die Gesamtkosten eines Eigenbaus stellen: Infrastruktur, Modellhosting, Entwicklung, Betrieb, Monitoring und das Know-how, um all das aktuell zu halten. Bei kleinen bis mittleren Volumina und ohne eigenes Retrieval-Team fällt die Rechnung häufig zugunsten einer gemanagten Plattform aus. Bei hohen Abfragevolumina, großen Datenbeständen und strengen Datenschutzanforderungen kippt sie oft zugunsten eines selbst betriebenen Stacks. Der Abfrageverlauf aus einem Pilotprojekt liefert die beste Grundlage für diese Hochrechnung.