Um Vald einzuordnen, hilft ein Blick auf das Grundproblem, das alle Vektorsysteme lösen. Moderne KI-Anwendungen übersetzen Texte, Bilder, Produkte oder Nutzerverhalten mit einem Embedding-Modell in Zahlenreihen mit Hunderten von Dimensionen. Inhaltlich Ähnliches liegt in diesem Vektorraum nahe beieinander. Wer zu einer Frage passende Dokumentabschnitte, zu einem Bild ähnliche Bilder oder zu einem Produkt vergleichbare Artikel finden will, sucht also die nächsten Nachbarn eines Vektors. Bei wenigen Tausend Einträgen reicht ein exakter Vergleich mit jedem Vektor. Bei vielen Millionen oder gar Milliarden Einträgen braucht man approximative Verfahren, die auf die Garantie absoluter Exaktheit verzichten und dafür um Größenordnungen schneller antworten.
Viele Werkzeuge lösen dieses Problem auf einem einzelnen Rechner – Bibliotheken wie FAISS oder Annoy etwa, oder eine Vektorerweiterung in der bestehenden Datenbank. Vald setzt eine Ebene höher an: Es beantwortet die Frage, wie man eine Vektorsuche betreibt, wenn der Index nicht mehr in den Arbeitsspeicher einer Maschine passt, wenn Tausende Anfragen pro Sekunde eintreffen und wenn einzelne Server ausfallen dürfen, ohne dass die Suche stillsteht. Die Antwort lautet bei Vald: Zerlege den Datenbestand in viele Teile, gib jedem Teil einen eigenen kleinen Suchprozess, lass Kubernetes diese Prozesse verwalten und koordiniere alles über schlanke Vermittlungsdienste.
Vald entstand bei Yahoo! JAPAN, einem der größten Internetportale Japans, und wird heute von der LY Corporation getragen, in der Yahoo! JAPAN und LINE zusammengeführt wurden. Der Index-Kern NGT – kurz für Neighborhood Graph and Tree – stammt ebenfalls aus dem Forschungs- und Entwicklungsumfeld dieses Unternehmens. Vald wurde für Szenarien wie Bildsuche, Empfehlungen und Inhaltsähnlichkeit in einem Portal mit sehr hoher Nutzerzahl entworfen. Diese Herkunft prägt bis heute das Design: Es geht um Durchsatz, Ausfallsicherheit und automatisierten Betrieb, nicht um eine besonders bequeme Einstiegserfahrung.
Das Projekt ist öffentlich auf GitHub verfügbar und wird unter einer freizügigen Open-Source-Lizenz bereitgestellt. Es ist in der Cloud-native-Landschaft sichtbar, hat aber eine deutlich kleinere Nutzer- und Beitragsgemeinschaft als Milvus, Qdrant oder Weaviate. Die Projektseite, die Dokumentation und das Repository sind auf Englisch gehalten; Aktivität, Releasefrequenz und aktuelle Roadmap sollte man vor einer Entscheidung direkt im Repository prüfen, statt sich auf ältere Vergleiche zu verlassen.
Der Kern von Vald ist die Idee, einen großen Vektorbestand auf viele Agents zu verteilen. Ein Agent ist ein Pod im Kubernetes-Cluster, der einen Teil der Vektoren im Arbeitsspeicher hält und darauf einen NGT-Index betreibt. Kommt ein neuer Vektor hinzu, entscheidet ein vorgeschalteter Gateway-Dienst anhand aktueller Ressourcendaten, auf welchen Agents er abgelegt wird – in der Regel mehrfach, damit der Ausfall eines Pods keinen Datenverlust bedeutet. Bei einer Suchanfrage fragt das Gateway alle relevanten Agents parallel, sammelt deren beste Treffer ein und liefert die insgesamt besten zurück.
Damit verschiebt Vald die Komplexität: Jeder einzelne Agent ist vergleichsweise einfach und arbeitet nur mit einem überschaubaren Teil der Daten. Die eigentliche Intelligenz liegt in der Verteilung, der Koordination und im automatisierten Lebenszyklus der Indizes. Kubernetes übernimmt dabei Aufgaben, die man in anderen Systemen selbst lösen müsste: Neustart ausgefallener Pods, Skalierung, Rollouts und Ressourcenverwaltung.
Ein typischer Schreibvorgang läuft so ab: Eine Anwendung sendet über ein Client-SDK einen Vektor mit einer eindeutigen Kennung an das Gateway. Das Gateway fragt beim Discoverer nach, welche Agents verfügbar sind und wie viel Arbeitsspeicher sie gerade belegen, und wählt daraufhin eine konfigurierte Zahl von Agents als Ziel. Diese übernehmen den Vektor zunächst in einen Zwischenbereich. Der eigentliche NGT-Index wird nicht bei jedem einzelnen Vektor neu berechnet, sondern gesammelt im Hintergrund aktualisiert – entweder nach einer festgelegten Zeitspanne oder sobald genug neue Vektoren angefallen sind. Der Index Manager koordiniert diese Abläufe clusterweit und sorgt dafür, dass Indizes regelmäßig gespeichert werden.
Ein Suchvorgang ist ebenso aufgeteilt: Das Gateway nimmt den Anfragevektor entgegen, leitet ihn parallel an die Agents weiter, wartet auf deren Teilergebnisse innerhalb eines Zeitbudgets und führt sie zu einer Rangliste zusammen. Optional schaltet sich davor oder danach ein Filter Gateway ein, das beispielsweise Rohtext erst in einen Vektor umwandelt oder bestimmte Treffer ausblendet. Für standortübergreifende Szenarien kann ein Mirror Gateway Änderungen zwischen Clustern abgleichen.
Vald positioniert sich bewusst als Infrastrukturkomponente. Es gibt keine kommerzielle Edition mit Lizenzstufen und nach unserem Kenntnisstand keinen etablierten, vom Projekt selbst angebotenen Managed Service, wie ihn mehrere andere Vektordatenbanken bereitstellen. Zielgruppe sind Teams, die Kubernetes bereits souverän betreiben und eine Vektorsuche als weiteren Dienst in ihre Plattform aufnehmen wollen. Wer dagegen eine schlüsselfertige Wissensdatenbank mit grafischer Oberfläche, Benutzerverwaltung und eingebauter Hybrid-Suche sucht, wird bei Vald nicht fündig – und muss diese Ebenen selbst ergänzen oder ein anderes System wählen.
Diese Positionierung ist keine Schwäche, sondern eine Designentscheidung. Vald konzentriert sich auf eine Aufgabe: Vektoren verteilt, ausfallsicher und schnell durchsuchbar zu halten. Funktionen wie Metadatenabfragen, Volltextsuche oder Dokumentenverwaltung überlässt es anderen Systemen. In einer modernen Plattformarchitektur, in der jedes System eine klar abgegrenzte Rolle hat, kann das genau richtig sein. Für ein kleines Team, das ein einziges System für alles sucht, ist es eher hinderlich.
NGT ist eine Bibliothek für approximative Nächste-Nachbarn-Suche, die auf einem Nachbarschaftsgraphen beruht, ergänzt um baumbasierte Einstiegspunkte. Vereinfacht gesagt verbindet NGT jeden Vektor mit einer Auswahl ähnlicher Vektoren. Bei einer Suche startet der Algorithmus an geeigneten Einstiegspunkten und hangelt sich entlang dieser Verbindungen immer näher an den Anfragevektor heran. Das Prinzip ähnelt anderen graphbasierten Verfahren wie HNSW, unterscheidet sich aber in Details des Graphaufbaus und der Optimierung. In öffentlichen Vergleichen schneiden graphbasierte Verfahren bei Treffergenauigkeit und Geschwindigkeit generell gut ab; wie sich NGT im eigenen Szenario schlägt, lässt sich nur mit eigenen Daten seriös beurteilen.
Vald stellt über die Konfiguration die üblichen Stellschrauben bereit: das Distanzmaß – etwa euklidischer Abstand, Kosinus oder Winkel –, die Dimension der Vektoren, den Datentyp und Parameter, mit denen sich der Kompromiss zwischen Genauigkeit und Geschwindigkeit steuern lässt. Bei Suchanfragen lassen sich unter anderem die gewünschte Trefferzahl, ein Radius oder Schwellenwert, ein Genauigkeitsfaktor und ein Zeitlimit angeben. Neben der approximativen Suche bietet die API je nach Version auch eine lineare, also exakte Suche an, die sich gut als Referenz für Qualitätsmessungen eignet.
Eine der praktischsten Eigenschaften von Vald ist das automatische Indexieren. In vielen ANN-Bibliotheken muss die Anwendung selbst entscheiden, wann ein Index neu gebaut wird – mit allen Risiken für Konsistenz und Verfügbarkeit. Vald übernimmt diese Aufgabe: Neue, geänderte und gelöschte Vektoren werden gesammelt und in konfigurierbaren Intervallen oder ab einer bestimmten Menge in den Index übernommen. Für Anwendungen bedeutet das: Schreiben und Suchen funktionieren jederzeit, neue Einträge werden nach kurzer Verzögerung auffindbar. Wie lange diese Verzögerung im eigenen Setup ist, sollte gemessen und mit den fachlichen Anforderungen abgeglichen werden.
Da Agents ihre Daten im Arbeitsspeicher halten, ist die Persistenz ein zentrales Thema. Vald kann Indizes regelmäßig auf persistente Volumes im Cluster schreiben und nach einem Neustart von dort laden. Darüber hinaus gibt es Mechanismen, Indizes über einen Begleitprozess in einen Objektspeicher zu sichern und von dort wiederherzustellen – je nach Version und Konfiguration etwa in S3-kompatible Speicher, die sich auch bei europäischen Anbietern oder im eigenen Rechenzentrum betreiben lassen. Diese Sicherungen sind der Schlüssel dafür, dass ein Cluster nach einem Totalausfall nicht alle Vektoren neu berechnen muss.
Zusätzlich kennt Vald Replikation auf Ebene der Vektoren: Jeder Vektor wird auf mehreren Agents gespeichert. Fällt ein Agent aus, sind die Daten weiterhin auf anderen verfügbar, und Kubernetes startet den ausgefallenen Pod neu. Prüf- und Korrekturläufe des Index Managers helfen, Abweichungen zwischen Replikaten zu erkennen und zu beheben.
Vald skaliert horizontal: Reicht der Arbeitsspeicher nicht mehr, kommen weitere Agent-Pods hinzu; steigt die Anfragelast, werden Gateways vervielfacht. Weil Kubernetes diese Pods auf verschiedene Knoten verteilt, lässt sich die Kapazität schrittweise ausbauen. Zu beachten ist, dass zusätzliche Agents nicht automatisch alle bestehenden Daten umverteilen – das Verhalten bei Erweiterung und Verkleinerung des Clusters sollte in der Dokumentation nachgelesen und in einer Testumgebung erprobt werden, bevor man sich im Produktivbetrieb darauf verlässt.
Die Schnittstelle von Vald ist gRPC mit klar definierten Protokollpuffer-Schemata. Typische Operationen sind Einfügen, Aktualisieren, Einfügen-oder-Aktualisieren, Entfernen, Suchen per Vektor, Suchen anhand einer gespeicherten Kennung, Abrufen eines gespeicherten Vektors und Existenzprüfungen. Viele dieser Operationen gibt es zusätzlich als Mehrfach- und Streaming-Variante, was bei großen Datenmengen erheblich effizienter ist als Einzelaufrufe. gRPC bringt Typsicherheit und hohe Effizienz, verlangt aber von Teams, die bisher nur mit REST gearbeitet haben, etwas Einarbeitung – insbesondere bei Debugging, Lastverteilung und Proxy-Konfiguration.
In jeder Vektorsuche ist die Qualität der Treffer zuerst eine Frage des Embedding-Modells. Vald selbst speichert und durchsucht nur Zahlenreihen. Es gibt zwei typische Muster, sie zu erzeugen. Im ersten Muster vektorisiert die Anwendung die Inhalte selbst – über ein lokal betriebenes Open-Source-Modell oder einen externen Dienst – und schickt fertige Vektoren an Vald. Das ist das einfachste und transparenteste Vorgehen: Modellwahl, Versionierung und Datenschutz liegen vollständig in der eigenen Pipeline.
Im zweiten Muster übernimmt Vald über sein Ingress-Filter-Konzept die Vektorisierung: Die Anwendung sendet Rohdaten, etwa einen Text oder ein Bild, an das Filter Gateway. Dieses ruft eine eigene Filter-Komponente auf, die über ein Modell den Vektor berechnet und ihn erst dann an das Gateway weitergibt. Das Projekt stellt dafür Beispiele und Schnittstellen bereit; die eigentliche Modellanbindung ist aber Aufgabe des Betreibers. Der Vorteil: Clients müssen kein Modell kennen, und die Vektorisierung ist zentral gekapselt. Der Nachteil: Ein weiterer Dienst mit eigenem Ressourcenbedarf, oft mit GPU, muss betrieben, überwacht und skaliert werden.
Unabhängig vom Muster gilt eine wichtige Regel: Ein Index, ein Modell. Vektoren unterschiedlicher Modelle oder Modellversionen sind nicht vergleichbar. Wechselt man das Embedding-Modell, müssen alle Inhalte neu vektorisiert und in einen neuen Bestand geschrieben werden. In Vald bedeutet das in der Praxis meist ein paralleles zweites Deployment oder einen zweiten Namensraum, in den neu geschrieben wird, bevor man umschaltet.
Das Filter-Konzept ist das wichtigste Erweiterungsinstrument von Vald. Ingress-Filter greifen vor dem Speichern oder vor der Suche ein, etwa um Rohdaten zu vektorisieren, Vektoren zu normalisieren oder ungültige Eingaben abzuweisen. Egress-Filter greifen nach der Suche ein und können Treffer umsortieren, anreichern oder aussortieren – zum Beispiel, wenn ein Treffer zu einem Dokument gehört, für das der anfragende Nutzer keine Berechtigung hat, oder wenn er inhaltlich nicht zur Anfrage passt.
Damit lassen sich Funktionen nachbilden, die andere Systeme nativ mitbringen. Allerdings ist das kein Ersatz für eine eingebaute, indexintegrierte Metadatenfilterung. Ein Egress-Filter sieht nur, was die Suche bereits geliefert hat. Ist der Filter sehr restriktiv, bleiben eventuell zu wenige Treffer übrig, weil passende Einträge schon vor dem Filter nicht unter den besten Kandidaten waren. In der Praxis fragt man daher deutlich mehr Treffer ab als benötigt oder trennt grobe Kategorien wie Mandanten über separate Deployments. Wer feingranulare Berechtigungen auf Dokumentebene benötigt, sollte diese Einschränkung früh in die Architekturentscheidung einbeziehen.
In einem RAG-System beantwortet ein Sprachmodell Fragen auf Basis von Dokumenten, die zuvor per Vektorsuche gefunden wurden. Vald kann diese Retrieval-Schicht übernehmen: Dokumente werden in Abschnitte zerlegt, vektorisiert und mit einer Kennung in Vald abgelegt. Die Texte selbst und ihre Metadaten liegen in einem anderen System, etwa einer relationalen Datenbank oder einem Objektspeicher. Bei einer Frage wird diese vektorisiert, Vald liefert die Kennungen der ähnlichsten Abschnitte, die Anwendung lädt deren Text, prüft Berechtigungen, ordnet optional mit einem Reranker neu und übergibt die besten Abschnitte an das Sprachmodell.
Für Vald spricht in diesem Szenario die Fähigkeit, sehr große Bestände mit niedriger Latenz und hoher Parallelität zu durchsuchen. Gegen Vald spricht, dass viele Bausteine moderner RAG-Systeme nicht eingebaut sind: Hybrid-Suche aus Volltext und Vektoren, reichhaltige Metadatenfilter, native Mandantenfähigkeit und eine direkte Integration in verbreitete RAG-Frameworks. Je nach Framework-Version existieren Community-Anbindungen; deren Pflegestatus sollte man prüfen, bevor man sich darauf verlässt. Wer Vald für RAG einsetzt, sollte daher bewusst eine schlanke eigene Retrieval-Schicht bauen, die Vald, Metadatenspeicher, Volltextsuche und Reranking zusammenführt.
Die Standardinstallation von Vald erfolgt über Helm-Charts. Ein zentrales Werte-File beschreibt, welche Komponenten aktiviert werden, wie viele Agents laufen, welche Ressourcen sie erhalten, welche Indexparameter gelten und wie Persistenz und Backup konfiguriert sind. Das ermöglicht reproduzierbare Installationen, die sich in Git versionieren und über GitOps-Werkzeuge ausrollen lassen. Ergänzend stellt das Projekt einen Operator bereit, mit dem sich Vald-Installationen als eigene Kubernetes-Ressourcen beschreiben und vom Cluster verwalten lassen. Welche Variante man wählt, hängt von der bestehenden Plattformpraxis ab; für die meisten Teams ist ein sauber versioniertes Helm-Deployment der pragmatischste Einstieg.
Weil Vald konsequent auf Kubernetes-Mechanismen setzt, profitiert es von deren gesamter Werkzeugkette: Ressourcenlimits, Pod-Verteilungsregeln über Knoten und Zonen, Ausfallbudgets für geplante Wartungen, Netzwerkrichtlinien zur Abschottung und Secrets für Zugangsdaten. Gleichzeitig erbt es die Komplexität dieser Plattform. Fehler entstehen selten in Vald selbst, sondern im Zusammenspiel mit Speicherklassen, Netzwerk, Ingress-Controllern oder knapp bemessenen Ressourcen.
Für die Anbindung von Anwendungen stellt das Projekt Client-Bibliotheken für mehrere Sprachen bereit, darunter Go, Python, Java und Node.js; weitere Anbindungen kommen aus der Community. Da alle Clients auf denselben gRPC-Schemata beruhen, lassen sich auch für andere Sprachen Clients aus den veröffentlichten Schnittstellendefinitionen generieren. Vald selbst ist überwiegend in Go geschrieben, was sich in einer schlanken, gut containerisierbaren Laufzeit niederschlägt.
Für Teams, die gewohnt sind, Vektordatenbanken über REST oder über fertige Integrationen in RAG-Frameworks anzusprechen, ist ein kleiner Zwischenschritt nötig. Wir empfehlen in Projekten eine dünne interne Abstraktionsschicht – eine kleine Bibliothek oder einen internen Dienst –, die Einfügen, Suchen und Löschen kapselt. Sie übernimmt die gRPC-Details, vereinheitlicht Fehlerbehandlung und Zeitlimits und hält die Option offen, Vald später gegen ein anderes System zu tauschen oder parallel zu betreiben.
Ein verteiltes System ist nur so gut betreibbar wie seine Beobachtbarkeit. Vald stellt dafür Metriken im Prometheus-Format und Tracing über offene Standards wie OpenTelemetry bereit; je nach Version lassen sich Traces an gängige Backends weiterleiten. Das Projekt bietet zudem Beispiel-Dashboards für Grafana an, die zeigen, wie viele Vektoren je Agent gespeichert sind, wie lange Indexläufe dauern, wie sich Latenzen der Suche verteilen und wie hoch Speicher- und CPU-Last sind.
In der Praxis empfehlen wir, mindestens folgende Signale dauerhaft zu überwachen: Arbeitsspeicherbelegung der Agents im Verhältnis zum Limit, Dauer und Erfolg der Indexläufe, Verzögerung zwischen Schreiben und Auffindbarkeit, Latenz-Perzentile der Suche, Fehlerraten im Gateway sowie Alter und Erfolg der letzten Sicherung. Ergänzend gehört eine fachliche Qualitätsmessung dazu – die beste Infrastruktur nützt wenig, wenn die gefundenen Abschnitte inhaltlich nicht passen.
Milvus ist der naheliegendste Vergleich, weil auch Milvus für verteilten Betrieb in großem Maßstab entworfen wurde. Milvus versteht sich jedoch ausdrücklich als Datenbank: Es kennt Sammlungen mit Schemata, skalare Felder, Filterausdrücke, mehrere Indextypen und eine breite Integration in RAG-Frameworks. Zudem bietet es einen leichtgewichtigen Einzelmodus für den Einstieg und kommerzielle Managed-Angebote. Vald ist schlanker und stärker auf die reine Vektorsuche fokussiert, dafür aber weniger komfortabel bei Metadaten und Integrationen. Wer viel Struktur in den Daten hat, findet in Milvus meist mehr Bordmittel; wer eine minimalistische, Kubernetes-native Suchschicht sucht, kann Vald als konsequentere Lösung empfinden.
Qdrant und Weaviate setzen andere Schwerpunkte. Qdrant überzeugt durch eine sehr ausgereifte Filterung über sogenannte Payloads, eine einfache Installation als einzelner Dienst und eine gut dokumentierte REST- und gRPC-API; ein Cluster-Modus steht für größere Lasten bereit. Weaviate bringt Hybrid-Suche aus Volltext und Vektoren, Module zur automatischen Vektorisierung und ausgeprägte Mandantenfähigkeit mit. Beide sind für typische RAG-Projekte im Mittelstand die pragmatischere Wahl, weil sie mit weniger Infrastruktur auskommen und viele Anforderungen ohne Eigenentwicklung abdecken. Vald spielt seine Stärken erst aus, wenn Skalierung und automatisierter Betrieb auf Kubernetes wichtiger sind als Filter- und Komfortfunktionen.
FAISS ist eine Bibliothek, keine Datenbank und kein Dienst. Sie bietet eine enorme Bandbreite an Indextypen, Kompressionsverfahren und GPU-Beschleunigung, überlässt aber Persistenz, Verteilung, Schnittstelle und Ausfallsicherheit vollständig der Anwendung. In gewisser Weise ist Vald genau das, was man um eine solche Bibliothek herum bauen müsste, um sie verteilt und hochverfügbar zu betreiben – nur eben auf Basis von NGT. Wer bereits erfolgreich mit FAISS arbeitet und an die Grenzen eines Rechners stößt, findet in Vald ein durchdachtes Architekturvorbild oder eine Alternative.
pgvector steht am anderen Ende des Spektrums. Die Erweiterung macht PostgreSQL zur Vektorsuche und verbindet Embeddings mit allem, was relationale Datenbanken auszeichnet: SQL, Transaktionen, Fremdschlüssel, Berechtigungen, bewährte Sicherungsverfahren und vorhandenes Know-how im Team. Für sehr viele mittelständische RAG-Projekte ist pgvector die wirtschaftlichste Wahl, weil keine neue Infrastruktur entsteht. Die Grenze liegt in der Skalierung: Wächst der Bestand weit über das hinaus, was eine gut ausgestattete Datenbankinstanz bewältigt, werden Partitionierung und Lastverteilung aufwendig. Genau dort beginnt das Terrain, für das Vald entworfen wurde.
Weil Agents ihre Vektoren und Indexstrukturen im Arbeitsspeicher halten, bestimmt dieser die Kapazität eines Vald-Clusters. Der Bedarf ergibt sich vereinfacht aus Zahl der Vektoren, Dimension, Datentyp, dem Overhead des Graphindex und dem Replikationsfaktor. Ein Replikationsfaktor von drei verdreifacht den Speicherbedarf – ein Preis für Ausfallsicherheit, den man bewusst bezahlen sollte. Hinzu kommen Reserven, damit Indexläufe und Lastspitzen nicht zu Speicherengpässen führen. Konkrete Werte lassen sich nicht pauschal angeben; sie sollten im Proof of Concept gemessen und mit großzügiger Reserve hochgerechnet werden.
CPU-Last entsteht vor allem bei Suchanfragen und beim Indexaufbau, Netzwerklast beim Auffächern der Anfragen auf viele Agents. Die übrigen Komponenten wie Discoverer und Index Manager sind vergleichsweise genügsam. Wer eigene Filter-Komponenten zur Vektorisierung betreibt, muss deren Bedarf separat planen, häufig inklusive GPU-Ressourcen. Ein kleiner Cluster für Entwicklung und Test kommt mit wenigen Knoten aus; ein hochverfügbarer Produktivbetrieb verlangt Knoten in mehreren Ausfallbereichen und genügend Reserve, um den Ausfall eines Knotens abzufangen.
Der größte Fehler bei der Einführung verteilter Systeme ist, den laufenden Aufwand zu unterschätzen. Vald nimmt durch Auto-Indexing, Replikation und Kubernetes-Integration viele Routineaufgaben ab, ersetzt aber kein Betriebsteam. Updates müssen geplant und getestet werden, weil sich Konfigurationsformate und Schnittstellen zwischen Versionen ändern können. Backups sind nur so viel wert wie die zuletzt erfolgreich geübte Wiederherstellung. Kapazitätsplanung, Sicherheitsupdates des Clusters, Zertifikate, Netzwerkrichtlinien und Bereitschaftsdienst gehören zum Alltag.
Hinzu kommt die Wissensfrage: Vald ist ein Nischenwerkzeug mit kleinerer Community. Bei Problemen findet man weniger Antworten in Foren, und externe Dienstleister mit Vald-Erfahrung sind rar. Wir raten deshalb dazu, das Wissen über Architektur, Konfiguration und Notfallverfahren intern zu dokumentieren und mindestens zwei Personen damit vertraut zu machen. Ein Betrieb, der an einer einzigen Person hängt, ist bei einem verteilten System ein erhebliches Risiko.
Ein typisches Mittelstandsprojekt im Bereich RAG umfasst Handbücher, Richtlinien, Angebote, Servicetickets und Produktdaten – häufig einige Zehntausend bis wenige Millionen Textabschnitte. Diese Größenordnung bewältigen pgvector, Qdrant oder Weaviate auf einem einzelnen, gut ausgestatteten Server oder in einem kleinen Cluster problemlos. Der Aufbau eines verteilten Vald-Clusters auf Kubernetes würde hier vor allem zusätzlichen Betriebsaufwand erzeugen, ohne messbaren Mehrwert für die Antwortqualität. Ganz anders sieht es aus, wenn ein Unternehmen große Bild- oder Produktkataloge, Sensordaten oder Nutzerverhalten in Echtzeit durchsucht, bereits eine Kubernetes-Plattform betreibt und Wachstum in eine Größenordnung erwartet, in der Ein-Server-Lösungen an Grenzen stoßen.
Vald ist im Mittelstand in der Regel nicht die richtige erste Wahl, wenn eine oder mehrere der folgenden Bedingungen zutreffen: Es gibt kein produktiv betriebenes Kubernetes-Cluster und kein Team, das es verantwortet. Der Datenbestand bleibt absehbar im Rahmen dessen, was ein einzelner Server bewältigt. Feingranulare Berechtigungen auf Dokumentebene, Hybrid-Suche oder komplexe Metadatenfilter stehen im Vordergrund. Das Projekt soll schnell einen sichtbaren Nutzen zeigen, etwa als interner Wissensassistent für einige Abteilungen. Oder die IT-Abteilung ist klein und bereits mit dem Tagesgeschäft ausgelastet.
In diesen Fällen empfehlen wir, mit pgvector in einer bestehenden PostgreSQL-Umgebung oder mit einer einfach zu betreibenden Vektordatenbank wie Qdrant oder Weaviate zu beginnen. Diese Systeme bringen Filter, Löschfunktionen und Integrationen mit, die in RAG-Projekten den Unterschied machen. Wer die eigene Retrieval-Schicht sauber abstrahiert, kann später auf ein verteiltes System wie Vald oder Milvus umsteigen, sollte das Wachstum es tatsächlich erfordern – ohne die Anwendung neu zu schreiben.
Für eine erste Einordnung helfen drei Fragen. Erstens: Passt der Index absehbar auf einen Server? Wenn ja, ist ein verteiltes System selten nötig. Zweitens: Betreiben wir Kubernetes heute schon professionell? Wenn nein, kommt zum Vektorprojekt ein Plattformprojekt hinzu, das Aufwand und Risiko vervielfacht. Drittens: Sind Filter und Berechtigungen wichtiger als rohe Skalierung? Wenn ja, sind Systeme mit integrierter Metadatenfilterung meist besser geeignet. Erst wenn die erste Frage mit nein und die zweite mit ja beantwortet wird, lohnt eine ernsthafte Evaluierung von Vald.
Eine häufige Frage lautet, ob der Ursprung von Vald bei einem japanischen Konzern datenschutzrechtlich relevant ist. Für den typischen Einsatz lautet die Antwort aus technischer Sicht: Vald ist Software, kein Dienst. Wer Vald aus dem öffentlichen Quellcode oder den veröffentlichten Container-Images in einem eigenen Kubernetes-Cluster betreibt – etwa im eigenen Rechenzentrum oder bei einem deutschen oder europäischen Hoster –, überträgt durch Vald selbst keine Daten an LY Corporation oder an Server in Japan. Es entsteht kein Auftragsverarbeitungsverhältnis mit dem Projektträger, weil dieser keine Daten verarbeitet. Damit unterscheidet sich Vald grundlegend von gemanagten Cloud-Diensten, bei denen Speicherort und Rechtsraum des Anbieters bewertet werden müssen.
Zu prüfen ist dennoch, ob die verwendeten Container-Images, Helm-Charts und Abhängigkeiten ungewollt externe Verbindungen aufbauen – etwa für Telemetrie, Updates oder das Nachladen von Ressourcen. Gute Praxis ist, Images in eine eigene Registry zu spiegeln, auf Schwachstellen zu scannen und ausgehenden Netzwerkverkehr des Clusters über Netzwerkrichtlinien zu beschränken. So lässt sich gegenüber Datenschutzbeauftragten und Auditoren nachvollziehbar belegen, dass die Vektorsuche vollständig in der eigenen Infrastruktur verbleibt. Japan verfügt zudem über einen Angemessenheitsbeschluss der EU-Kommission; für den selbst betriebenen Einsatz von Vald spielt das aber keine Rolle, weil gar keine Übermittlung stattfindet.
Die Datenhoheit von Vald endet an den Grenzen von Vald. In einer vollständigen Pipeline durchlaufen Daten mehrere Stationen: Export aus den Quellsystemen, Vektorisierung durch ein Embedding-Modell, Speicherung in Vald und im Metadatenspeicher, Suche durch die Anwendung und bei RAG die Antwortgenerierung durch ein Sprachmodell. Wird für Vektorisierung oder Antwort ein externer Cloud-Dienst genutzt, verlassen Klartexte die eigene Infrastruktur – unabhängig davon, wie souverän die Vektorsuche betrieben wird. Für sensible Szenarien empfehlen wir selbst betriebene Open-Source-Modelle oder europäische Anbieter mit klarer Auftragsverarbeitung. Zudem gilt: Vektoren sind nicht automatisch anonym. Aus Embeddings lassen sich unter Umständen Rückschlüsse auf Ursprungsinhalte ziehen, sodass Vektorbestände mit personenbezogenem Bezug wie die Ursprungsdaten zu schützen sind.
Bei Löschpflichten ist Vald gegenüber statischen Bibliotheken im Vorteil: Einzelne Vektoren lassen sich über die API gezielt entfernen, und das Auto-Indexing übernimmt die Löschung nach kurzer Zeit in den Index. Zu dokumentieren ist dennoch, wie lange ein gelöschter Vektor technisch noch in Indizes, Replikaten und vor allem in Sicherungen im Objektspeicher enthalten sein kann. Backups mit personenbezogenem Bezug gehören in das Löschkonzept, mit klaren Aufbewahrungsfristen und Verschlüsselung. Ebenso wichtig ist ein sauberes Mapping zwischen Vektorkennung und Ursprungsdatensatz, damit eine Löschanfrage zuverlässig alle zugehörigen Vektoren erreicht.
Vald wird nach unserem Kenntnisstand unter der Apache-2.0-Lizenz bereitgestellt; den aktuellen Lizenztext und die Lizenzen der Abhängigkeiten sollte man im Repository prüfen. Lizenzgebühren fallen nicht an, die Lizenz erlaubt auch kommerzielle Nutzung und eigene Anpassungen. Die tatsächlichen Kosten entstehen an drei anderen Stellen. Erstens die Infrastruktur: Kubernetes-Knoten mit viel Arbeitsspeicher, Speicher für persistente Volumes und Backups, gegebenenfalls GPU-Ressourcen für die Vektorisierung sowie Netzwerk und Monitoring. Zweitens der Betrieb: Plattformteam, Bereitschaft, Updates, Sicherheitsprüfungen und Notfallübungen. Drittens die Entwicklung: Abstraktionsschicht, Filter-Komponenten, Metadatenspeicher, Integration in Anwendungen und Qualitätsmessung.
Eine ehrliche Wirtschaftlichkeitsbetrachtung vergleicht deshalb nicht Lizenzkosten, sondern die Gesamtkosten über die geplante Lebensdauer. Bei sehr großen Beständen und hoher Last kann ein selbst betriebenes Vald auf vorhandener Kubernetes-Infrastruktur wirtschaftlich attraktiv sein, weil keine nutzungsabhängigen Gebühren eines Managed Service anfallen und die Hardware gezielt dimensioniert werden kann. Bei kleineren Beständen überwiegt dagegen meist der Betriebsaufwand, und eine einfachere Lösung ist günstiger. Konkrete Infrastrukturpreise hängen vom Hoster und vom Ausbau ab und sollten im Rahmen der Planung beim jeweiligen Anbieter eingeholt werden.