Wissensdatenbank · Vektordatenbanken · Verteilte Vektorsuche

Vald – verteilte Vektorsuche, gebaut für Kubernetes.

Vald ist eine Open-Source-Vektorsuchmaschine, die bei Yahoo! JAPAN entstanden ist und heute von LY Corporation getragen wird. Sie verteilt Vektoren automatisch über viele Kubernetes-Pods, baut ihre ANN-Indizes auf Basis von NGT selbstständig im Hintergrund, sichert sie und skaliert horizontal. Dieser Fachartikel erklärt Architektur, Funktionsumfang, Ökosystem, Betriebsaufwand, die Abgrenzung zu Milvus, Qdrant, Weaviate, FAISS und pgvector sowie Kosten und Datenschutz – herstellerneutral und aus der Perspektive des DACH-Mittelstands.

Dieser Artikel wurde mithilfe künstlicher Intelligenz erstellt und redaktionell geprüft.

30 Min. Lesezeit
Aktualisiert · Oktober 2026
Fachartikel · Expertenbeitrag
Vald
LY Corporation (ehem. Yahoo! JAPAN) · Open Source
Typ
Verteilte Vektorsuchmaschine
Index
NGT (graphbasiert)
Plattform
Kubernetes-nativ
Schnittstelle
gRPC, SDKs
Lizenz
Apache 2.0, im Repo prüfen
Betrieb
Self-Hosting, eigenes Cluster
INAGRO Eignung souveränes RAG im Mittelstand
★★★★★
Kapitel 01 · Überblick

Was ist Vald – und für welche Größenordnung wurde es gebaut?

Vald ist eine Open-Source-Suchmaschine für Vektoren, die von Anfang an als verteiltes System auf Kubernetes entworfen wurde. Sie nimmt Vektoren über eine gRPC-Schnittstelle entgegen, verteilt sie automatisch auf viele kleine Index-Einheiten, baut dort im Hintergrund approximative Nächste-Nachbarn-Indizes auf und beantwortet Ähnlichkeitsanfragen, indem sie alle beteiligten Einheiten parallel befragt und die Ergebnisse zusammenführt. Ihr Anspruch ist nicht maximale Einfachheit, sondern stabile Skalierung bei sehr großen Datenmengen und hoher Last.

Um Vald einzuordnen, hilft ein Blick auf das Grundproblem, das alle Vektorsysteme lösen. Moderne KI-Anwendungen übersetzen Texte, Bilder, Produkte oder Nutzerverhalten mit einem Embedding-Modell in Zahlenreihen mit Hunderten von Dimensionen. Inhaltlich Ähnliches liegt in diesem Vektorraum nahe beieinander. Wer zu einer Frage passende Dokumentabschnitte, zu einem Bild ähnliche Bilder oder zu einem Produkt vergleichbare Artikel finden will, sucht also die nächsten Nachbarn eines Vektors. Bei wenigen Tausend Einträgen reicht ein exakter Vergleich mit jedem Vektor. Bei vielen Millionen oder gar Milliarden Einträgen braucht man approximative Verfahren, die auf die Garantie absoluter Exaktheit verzichten und dafür um Größenordnungen schneller antworten.
Viele Werkzeuge lösen dieses Problem auf einem einzelnen Rechner – Bibliotheken wie FAISS oder Annoy etwa, oder eine Vektorerweiterung in der bestehenden Datenbank. Vald setzt eine Ebene höher an: Es beantwortet die Frage, wie man eine Vektorsuche betreibt, wenn der Index nicht mehr in den Arbeitsspeicher einer Maschine passt, wenn Tausende Anfragen pro Sekunde eintreffen und wenn einzelne Server ausfallen dürfen, ohne dass die Suche stillsteht. Die Antwort lautet bei Vald: Zerlege den Datenbestand in viele Teile, gib jedem Teil einen eigenen kleinen Suchprozess, lass Kubernetes diese Prozesse verwalten und koordiniere alles über schlanke Vermittlungsdienste.

Herkunft: aus der Praxis eines großen Internetportals

Vald entstand bei Yahoo! JAPAN, einem der größten Internetportale Japans, und wird heute von der LY Corporation getragen, in der Yahoo! JAPAN und LINE zusammengeführt wurden. Der Index-Kern NGT – kurz für Neighborhood Graph and Tree – stammt ebenfalls aus dem Forschungs- und Entwicklungsumfeld dieses Unternehmens. Vald wurde für Szenarien wie Bildsuche, Empfehlungen und Inhaltsähnlichkeit in einem Portal mit sehr hoher Nutzerzahl entworfen. Diese Herkunft prägt bis heute das Design: Es geht um Durchsatz, Ausfallsicherheit und automatisierten Betrieb, nicht um eine besonders bequeme Einstiegserfahrung.
Das Projekt ist öffentlich auf GitHub verfügbar und wird unter einer freizügigen Open-Source-Lizenz bereitgestellt. Es ist in der Cloud-native-Landschaft sichtbar, hat aber eine deutlich kleinere Nutzer- und Beitragsgemeinschaft als Milvus, Qdrant oder Weaviate. Die Projektseite, die Dokumentation und das Repository sind auf Englisch gehalten; Aktivität, Releasefrequenz und aktuelle Roadmap sollte man vor einer Entscheidung direkt im Repository prüfen, statt sich auf ältere Vergleiche zu verlassen.

Das Grundprinzip: viele kleine Indizes statt eines großen

Der Kern von Vald ist die Idee, einen großen Vektorbestand auf viele Agents zu verteilen. Ein Agent ist ein Pod im Kubernetes-Cluster, der einen Teil der Vektoren im Arbeitsspeicher hält und darauf einen NGT-Index betreibt. Kommt ein neuer Vektor hinzu, entscheidet ein vorgeschalteter Gateway-Dienst anhand aktueller Ressourcendaten, auf welchen Agents er abgelegt wird – in der Regel mehrfach, damit der Ausfall eines Pods keinen Datenverlust bedeutet. Bei einer Suchanfrage fragt das Gateway alle relevanten Agents parallel, sammelt deren beste Treffer ein und liefert die insgesamt besten zurück.
Damit verschiebt Vald die Komplexität: Jeder einzelne Agent ist vergleichsweise einfach und arbeitet nur mit einem überschaubaren Teil der Daten. Die eigentliche Intelligenz liegt in der Verteilung, der Koordination und im automatisierten Lebenszyklus der Indizes. Kubernetes übernimmt dabei Aufgaben, die man in anderen Systemen selbst lösen müsste: Neustart ausgefallener Pods, Skalierung, Rollouts und Ressourcenverwaltung.
INAGRO-Einschätzung

Vald ist aus unserer Sicht ein ernstzunehmendes Werkzeug für sehr große, lastintensive Vektorsuche auf Kubernetes – technisch durchdacht, vollständig selbst betreibbar und damit attraktiv für Datenhoheit. Für die typischen RAG-Projekte im Mittelstand mit einigen Tausend bis wenigen Millionen Dokumentabschnitten ist Vald jedoch meist überdimensioniert. Dort bringen pgvector, Qdrant oder Weaviate mit weniger Betriebsaufwand und reicherer Filterlogik schneller verlässliche Ergebnisse. Interessant wird Vald, wenn bereits eine professionell betriebene Kubernetes-Plattform existiert und Datenmengen oder Anfragelast absehbar über das hinauswachsen, was ein einzelner Server sinnvoll bewältigt.

Kapitel 02 · Projekt, Komponenten & Positionierung

Ein Baukasten aus Microservices: die Komponenten von Vald

Vald ist kein einzelnes Programm, sondern eine Sammlung spezialisierter Dienste, die gemeinsam im Kubernetes-Cluster laufen. Wer die Rollen dieser Bausteine versteht, versteht auch die Stärken und den Betriebsaufwand des Systems. Die genauen Namen, Konfigurationsoptionen und der Funktionsstand einzelner Komponenten ändern sich mit den Releases und sollten in der aktuellen Projektdokumentation geprüft werden.

Agent (NGT)
Kern

Hält einen Teil der Vektoren im Arbeitsspeicher und betreibt darauf den NGT-Index. Beantwortet Suchanfragen für seinen Datenanteil. Je nach Projektstand existieren auch Agent-Varianten mit anderen Index-Bibliotheken.

RolleSpeicher + Index
Skalierungviele Pods
RessourceRAM-intensiv
Discoverer
Koordination

Beobachtet über die Kubernetes-API, welche Agents existieren und wie stark Knoten und Pods ausgelastet sind. Liefert diese Informationen an die Gateways, damit Daten und Anfragen sinnvoll verteilt werden.

RolleService Discovery
QuelleKubernetes-API
Ressourcegering
LB Gateway
Einstieg

Der zentrale Eingangspunkt für Clients. Verteilt neue Vektoren auf geeignete Agents, repliziert sie und fächert Suchanfragen auf alle Agents auf, um die Ergebnisse anschließend zu einer gemeinsamen Trefferliste zu verdichten.

RolleRouting, Fan-out
ProtokollgRPC
Skalierunghorizontal
Index Manager
Lebenszyklus

Steuert den Lebenszyklus der Indizes über alle Agents hinweg: Anstoßen des Indexaufbaus, Speichern der Indizes und Prüf- oder Korrekturläufe, damit Replikate konsistent bleiben. Teilweise in mehrere Jobs aufgeteilt.

RolleIndexpflege
Ablaufzeitgesteuert
DetailsDoku prüfen
Filter Gateway
Erweiterung

Optionaler Dienst, der Ein- und Ausgaben über eigene Filter-Komponenten schleust – etwa, um Rohdaten vor dem Speichern in Vektoren umzuwandeln oder Suchergebnisse nachträglich zu prüfen und auszusortieren.

RolleIngress/Egress
Logikeigene Plugins
Pflichtnein
Mirror Gateway
Erweiterung

Spiegelt Schreiboperationen zwischen mehreren Vald-Clustern, etwa über Rechenzentren hinweg. Gedacht für Hochverfügbarkeit und Notfallszenarien, nicht für den Einstieg. Reifegrad beim Projekt prüfen.

RolleMulti-Cluster
ZielVerfügbarkeit
Pflichtnein

Wie die Bausteine zusammenspielen

Ein typischer Schreibvorgang läuft so ab: Eine Anwendung sendet über ein Client-SDK einen Vektor mit einer eindeutigen Kennung an das Gateway. Das Gateway fragt beim Discoverer nach, welche Agents verfügbar sind und wie viel Arbeitsspeicher sie gerade belegen, und wählt daraufhin eine konfigurierte Zahl von Agents als Ziel. Diese übernehmen den Vektor zunächst in einen Zwischenbereich. Der eigentliche NGT-Index wird nicht bei jedem einzelnen Vektor neu berechnet, sondern gesammelt im Hintergrund aktualisiert – entweder nach einer festgelegten Zeitspanne oder sobald genug neue Vektoren angefallen sind. Der Index Manager koordiniert diese Abläufe clusterweit und sorgt dafür, dass Indizes regelmäßig gespeichert werden.
Ein Suchvorgang ist ebenso aufgeteilt: Das Gateway nimmt den Anfragevektor entgegen, leitet ihn parallel an die Agents weiter, wartet auf deren Teilergebnisse innerhalb eines Zeitbudgets und führt sie zu einer Rangliste zusammen. Optional schaltet sich davor oder danach ein Filter Gateway ein, das beispielsweise Rohtext erst in einen Vektor umwandelt oder bestimmte Treffer ausblendet. Für standortübergreifende Szenarien kann ein Mirror Gateway Änderungen zwischen Clustern abgleichen.

Positionierung: Suchmaschine für Plattform-Teams

Vald positioniert sich bewusst als Infrastrukturkomponente. Es gibt keine kommerzielle Edition mit Lizenzstufen und nach unserem Kenntnisstand keinen etablierten, vom Projekt selbst angebotenen Managed Service, wie ihn mehrere andere Vektordatenbanken bereitstellen. Zielgruppe sind Teams, die Kubernetes bereits souverän betreiben und eine Vektorsuche als weiteren Dienst in ihre Plattform aufnehmen wollen. Wer dagegen eine schlüsselfertige Wissensdatenbank mit grafischer Oberfläche, Benutzerverwaltung und eingebauter Hybrid-Suche sucht, wird bei Vald nicht fündig – und muss diese Ebenen selbst ergänzen oder ein anderes System wählen.
Diese Positionierung ist keine Schwäche, sondern eine Designentscheidung. Vald konzentriert sich auf eine Aufgabe: Vektoren verteilt, ausfallsicher und schnell durchsuchbar zu halten. Funktionen wie Metadatenabfragen, Volltextsuche oder Dokumentenverwaltung überlässt es anderen Systemen. In einer modernen Plattformarchitektur, in der jedes System eine klar abgegrenzte Rolle hat, kann das genau richtig sein. Für ein kleines Team, das ein einziges System für alles sucht, ist es eher hinderlich.
Kapitel 03 · Funktionsumfang & Kernfähigkeiten

ANN-Suche, Auto-Indexing, Backup: was Vald im Kern leistet

Der Funktionsumfang von Vald ist fokussiert, aber in der Tiefe durchdacht. Im Mittelpunkt stehen eine schnelle approximative Suche auf Basis von NGT, ein automatisierter Index-Lebenszyklus, Persistenz und Wiederherstellung, horizontale Skalierung und eine typisierte gRPC-Schnittstelle. Konkrete Parameter, Grenzwerte und Standardeinstellungen variieren je nach Version und gehören in die eigene Messung.

Approximative Suche mit NGT

NGT ist eine Bibliothek für approximative Nächste-Nachbarn-Suche, die auf einem Nachbarschaftsgraphen beruht, ergänzt um baumbasierte Einstiegspunkte. Vereinfacht gesagt verbindet NGT jeden Vektor mit einer Auswahl ähnlicher Vektoren. Bei einer Suche startet der Algorithmus an geeigneten Einstiegspunkten und hangelt sich entlang dieser Verbindungen immer näher an den Anfragevektor heran. Das Prinzip ähnelt anderen graphbasierten Verfahren wie HNSW, unterscheidet sich aber in Details des Graphaufbaus und der Optimierung. In öffentlichen Vergleichen schneiden graphbasierte Verfahren bei Treffergenauigkeit und Geschwindigkeit generell gut ab; wie sich NGT im eigenen Szenario schlägt, lässt sich nur mit eigenen Daten seriös beurteilen.
Vald stellt über die Konfiguration die üblichen Stellschrauben bereit: das Distanzmaß – etwa euklidischer Abstand, Kosinus oder Winkel –, die Dimension der Vektoren, den Datentyp und Parameter, mit denen sich der Kompromiss zwischen Genauigkeit und Geschwindigkeit steuern lässt. Bei Suchanfragen lassen sich unter anderem die gewünschte Trefferzahl, ein Radius oder Schwellenwert, ein Genauigkeitsfaktor und ein Zeitlimit angeben. Neben der approximativen Suche bietet die API je nach Version auch eine lineare, also exakte Suche an, die sich gut als Referenz für Qualitätsmessungen eignet.

Auto-Indexing, Persistenz und Backup

Eine der praktischsten Eigenschaften von Vald ist das automatische Indexieren. In vielen ANN-Bibliotheken muss die Anwendung selbst entscheiden, wann ein Index neu gebaut wird – mit allen Risiken für Konsistenz und Verfügbarkeit. Vald übernimmt diese Aufgabe: Neue, geänderte und gelöschte Vektoren werden gesammelt und in konfigurierbaren Intervallen oder ab einer bestimmten Menge in den Index übernommen. Für Anwendungen bedeutet das: Schreiben und Suchen funktionieren jederzeit, neue Einträge werden nach kurzer Verzögerung auffindbar. Wie lange diese Verzögerung im eigenen Setup ist, sollte gemessen und mit den fachlichen Anforderungen abgeglichen werden.
Da Agents ihre Daten im Arbeitsspeicher halten, ist die Persistenz ein zentrales Thema. Vald kann Indizes regelmäßig auf persistente Volumes im Cluster schreiben und nach einem Neustart von dort laden. Darüber hinaus gibt es Mechanismen, Indizes über einen Begleitprozess in einen Objektspeicher zu sichern und von dort wiederherzustellen – je nach Version und Konfiguration etwa in S3-kompatible Speicher, die sich auch bei europäischen Anbietern oder im eigenen Rechenzentrum betreiben lassen. Diese Sicherungen sind der Schlüssel dafür, dass ein Cluster nach einem Totalausfall nicht alle Vektoren neu berechnen muss.
Zusätzlich kennt Vald Replikation auf Ebene der Vektoren: Jeder Vektor wird auf mehreren Agents gespeichert. Fällt ein Agent aus, sind die Daten weiterhin auf anderen verfügbar, und Kubernetes startet den ausgefallenen Pod neu. Prüf- und Korrekturläufe des Index Managers helfen, Abweichungen zwischen Replikaten zu erkennen und zu beheben.

Skalierung und gRPC-API

Vald skaliert horizontal: Reicht der Arbeitsspeicher nicht mehr, kommen weitere Agent-Pods hinzu; steigt die Anfragelast, werden Gateways vervielfacht. Weil Kubernetes diese Pods auf verschiedene Knoten verteilt, lässt sich die Kapazität schrittweise ausbauen. Zu beachten ist, dass zusätzliche Agents nicht automatisch alle bestehenden Daten umverteilen – das Verhalten bei Erweiterung und Verkleinerung des Clusters sollte in der Dokumentation nachgelesen und in einer Testumgebung erprobt werden, bevor man sich im Produktivbetrieb darauf verlässt.
Die Schnittstelle von Vald ist gRPC mit klar definierten Protokollpuffer-Schemata. Typische Operationen sind Einfügen, Aktualisieren, Einfügen-oder-Aktualisieren, Entfernen, Suchen per Vektor, Suchen anhand einer gespeicherten Kennung, Abrufen eines gespeicherten Vektors und Existenzprüfungen. Viele dieser Operationen gibt es zusätzlich als Mehrfach- und Streaming-Variante, was bei großen Datenmengen erheblich effizienter ist als Einzelaufrufe. gRPC bringt Typsicherheit und hohe Effizienz, verlangt aber von Teams, die bisher nur mit REST gearbeitet haben, etwas Einarbeitung – insbesondere bei Debugging, Lastverteilung und Proxy-Konfiguration.
Fähigkeit Umsetzung in Vald Hinweis für die Praxis
ANN-Suche NGT-Graph, mehrere Distanzmaße Parameter mit eigenen Daten kalibrieren
Exakte Suche Lineare Suche als Option Ideal als Referenz für Recall-Messung
Auto-Indexing Zeit- oder mengengesteuert Verzögerung bis zur Auffindbarkeit messen
Persistenz & Backup Volumes, Objektspeicher Wiederherstellung regelmäßig testen
Replikation Mehrfachablage pro Vektor RAM-Bedarf vervielfacht sich
Metadatenfilter Über Filter-Komponenten, nicht nativ reichhaltig Für feine Berechtigungen Alternativen prüfen
Volltext / Hybrid Nicht eingebaut Mit Suchmaschine kombinieren
Schnittstelle gRPC, Streaming, SDKs REST nur über Zusatzlösungen
Kapitel 04 · KI- & Automatisierungsfunktionen

Embedding-Pipelines, Filter-Plugins und RAG: Vald im KI-Stack

Vald enthält kein eigenes Sprachmodell und kein eigenes Embedding-Modell. Es ist die Such-Schicht in einer KI-Architektur. Über sein Filter-Konzept lässt es sich jedoch eng mit Vektorisierungsdiensten verzahnen, und in Retrieval-Augmented-Generation-Systemen kann es die Rolle des Retrievers übernehmen – vorausgesetzt, die übrigen Bausteine werden sauber ergänzt.

Embedding-Pipelines: wer erzeugt die Vektoren?

In jeder Vektorsuche ist die Qualität der Treffer zuerst eine Frage des Embedding-Modells. Vald selbst speichert und durchsucht nur Zahlenreihen. Es gibt zwei typische Muster, sie zu erzeugen. Im ersten Muster vektorisiert die Anwendung die Inhalte selbst – über ein lokal betriebenes Open-Source-Modell oder einen externen Dienst – und schickt fertige Vektoren an Vald. Das ist das einfachste und transparenteste Vorgehen: Modellwahl, Versionierung und Datenschutz liegen vollständig in der eigenen Pipeline.
Im zweiten Muster übernimmt Vald über sein Ingress-Filter-Konzept die Vektorisierung: Die Anwendung sendet Rohdaten, etwa einen Text oder ein Bild, an das Filter Gateway. Dieses ruft eine eigene Filter-Komponente auf, die über ein Modell den Vektor berechnet und ihn erst dann an das Gateway weitergibt. Das Projekt stellt dafür Beispiele und Schnittstellen bereit; die eigentliche Modellanbindung ist aber Aufgabe des Betreibers. Der Vorteil: Clients müssen kein Modell kennen, und die Vektorisierung ist zentral gekapselt. Der Nachteil: Ein weiterer Dienst mit eigenem Ressourcenbedarf, oft mit GPU, muss betrieben, überwacht und skaliert werden.
Unabhängig vom Muster gilt eine wichtige Regel: Ein Index, ein Modell. Vektoren unterschiedlicher Modelle oder Modellversionen sind nicht vergleichbar. Wechselt man das Embedding-Modell, müssen alle Inhalte neu vektorisiert und in einen neuen Bestand geschrieben werden. In Vald bedeutet das in der Praxis meist ein paralleles zweites Deployment oder einen zweiten Namensraum, in den neu geschrieben wird, bevor man umschaltet.

Filter-Plugins: Ein- und Ausgaben kontrollieren

Das Filter-Konzept ist das wichtigste Erweiterungsinstrument von Vald. Ingress-Filter greifen vor dem Speichern oder vor der Suche ein, etwa um Rohdaten zu vektorisieren, Vektoren zu normalisieren oder ungültige Eingaben abzuweisen. Egress-Filter greifen nach der Suche ein und können Treffer umsortieren, anreichern oder aussortieren – zum Beispiel, wenn ein Treffer zu einem Dokument gehört, für das der anfragende Nutzer keine Berechtigung hat, oder wenn er inhaltlich nicht zur Anfrage passt.
Damit lassen sich Funktionen nachbilden, die andere Systeme nativ mitbringen. Allerdings ist das kein Ersatz für eine eingebaute, indexintegrierte Metadatenfilterung. Ein Egress-Filter sieht nur, was die Suche bereits geliefert hat. Ist der Filter sehr restriktiv, bleiben eventuell zu wenige Treffer übrig, weil passende Einträge schon vor dem Filter nicht unter den besten Kandidaten waren. In der Praxis fragt man daher deutlich mehr Treffer ab als benötigt oder trennt grobe Kategorien wie Mandanten über separate Deployments. Wer feingranulare Berechtigungen auf Dokumentebene benötigt, sollte diese Einschränkung früh in die Architekturentscheidung einbeziehen.

Vald als Retriever in RAG-Architekturen

In einem RAG-System beantwortet ein Sprachmodell Fragen auf Basis von Dokumenten, die zuvor per Vektorsuche gefunden wurden. Vald kann diese Retrieval-Schicht übernehmen: Dokumente werden in Abschnitte zerlegt, vektorisiert und mit einer Kennung in Vald abgelegt. Die Texte selbst und ihre Metadaten liegen in einem anderen System, etwa einer relationalen Datenbank oder einem Objektspeicher. Bei einer Frage wird diese vektorisiert, Vald liefert die Kennungen der ähnlichsten Abschnitte, die Anwendung lädt deren Text, prüft Berechtigungen, ordnet optional mit einem Reranker neu und übergibt die besten Abschnitte an das Sprachmodell.
Für Vald spricht in diesem Szenario die Fähigkeit, sehr große Bestände mit niedriger Latenz und hoher Parallelität zu durchsuchen. Gegen Vald spricht, dass viele Bausteine moderner RAG-Systeme nicht eingebaut sind: Hybrid-Suche aus Volltext und Vektoren, reichhaltige Metadatenfilter, native Mandantenfähigkeit und eine direkte Integration in verbreitete RAG-Frameworks. Je nach Framework-Version existieren Community-Anbindungen; deren Pflegestatus sollte man prüfen, bevor man sich darauf verlässt. Wer Vald für RAG einsetzt, sollte daher bewusst eine schlanke eigene Retrieval-Schicht bauen, die Vald, Metadatenspeicher, Volltextsuche und Reranking zusammenführt.
Wissensassistent auf großem Bestand

Sehr umfangreiche Dokumentarchive, etwa technische Dokumentation über viele Produktgenerationen, werden in Abschnitten vektorisiert und über Vald durchsucht; Texte und Rechte liegen in separaten Systemen.

Skalierbares Retrieval
Bild- und Produktähnlichkeit

Produkt- oder Teilebilder werden über ein Bildmodell vektorisiert. Zu einem neuen Foto liefert Vald visuell ähnliche Artikel, Ersatzteile oder Referenzfälle – auch unter hoher Last.

Visuelle Suche
Empfehlungen in Echtzeit

Nutzer- und Artikelvektoren werden laufend aktualisiert; Vald liefert passende Empfehlungen mit niedriger Latenz, ohne dass Indizes manuell neu gebaut werden müssen.

Laufende Aktualisierung
Kapitel 05 · Integrationen & Ökosystem

Helm, Operator, SDKs und Observability: das Umfeld von Vald

Vald fühlt sich in der Kubernetes-Welt zu Hause. Installation, Konfiguration und Betrieb folgen den Konventionen dieser Plattform, die Client-Anbindung erfolgt über generierte gRPC-Clients in mehreren Sprachen, und für Metriken und Tracing setzt das Projekt auf verbreitete offene Standards. Wer diese Werkzeuge bereits kennt, findet sich schnell zurecht – wer nicht, steht vor einer steilen Lernkurve.

Kubernetes, Helm und Operator

Die Standardinstallation von Vald erfolgt über Helm-Charts. Ein zentrales Werte-File beschreibt, welche Komponenten aktiviert werden, wie viele Agents laufen, welche Ressourcen sie erhalten, welche Indexparameter gelten und wie Persistenz und Backup konfiguriert sind. Das ermöglicht reproduzierbare Installationen, die sich in Git versionieren und über GitOps-Werkzeuge ausrollen lassen. Ergänzend stellt das Projekt einen Operator bereit, mit dem sich Vald-Installationen als eigene Kubernetes-Ressourcen beschreiben und vom Cluster verwalten lassen. Welche Variante man wählt, hängt von der bestehenden Plattformpraxis ab; für die meisten Teams ist ein sauber versioniertes Helm-Deployment der pragmatischste Einstieg.
Weil Vald konsequent auf Kubernetes-Mechanismen setzt, profitiert es von deren gesamter Werkzeugkette: Ressourcenlimits, Pod-Verteilungsregeln über Knoten und Zonen, Ausfallbudgets für geplante Wartungen, Netzwerkrichtlinien zur Abschottung und Secrets für Zugangsdaten. Gleichzeitig erbt es die Komplexität dieser Plattform. Fehler entstehen selten in Vald selbst, sondern im Zusammenspiel mit Speicherklassen, Netzwerk, Ingress-Controllern oder knapp bemessenen Ressourcen.

Client-SDKs und Anbindung

Für die Anbindung von Anwendungen stellt das Projekt Client-Bibliotheken für mehrere Sprachen bereit, darunter Go, Python, Java und Node.js; weitere Anbindungen kommen aus der Community. Da alle Clients auf denselben gRPC-Schemata beruhen, lassen sich auch für andere Sprachen Clients aus den veröffentlichten Schnittstellendefinitionen generieren. Vald selbst ist überwiegend in Go geschrieben, was sich in einer schlanken, gut containerisierbaren Laufzeit niederschlägt.
Für Teams, die gewohnt sind, Vektordatenbanken über REST oder über fertige Integrationen in RAG-Frameworks anzusprechen, ist ein kleiner Zwischenschritt nötig. Wir empfehlen in Projekten eine dünne interne Abstraktionsschicht – eine kleine Bibliothek oder einen internen Dienst –, die Einfügen, Suchen und Löschen kapselt. Sie übernimmt die gRPC-Details, vereinheitlicht Fehlerbehandlung und Zeitlimits und hält die Option offen, Vald später gegen ein anderes System zu tauschen oder parallel zu betreiben.

Observability: Metriken, Tracing, Dashboards

Ein verteiltes System ist nur so gut betreibbar wie seine Beobachtbarkeit. Vald stellt dafür Metriken im Prometheus-Format und Tracing über offene Standards wie OpenTelemetry bereit; je nach Version lassen sich Traces an gängige Backends weiterleiten. Das Projekt bietet zudem Beispiel-Dashboards für Grafana an, die zeigen, wie viele Vektoren je Agent gespeichert sind, wie lange Indexläufe dauern, wie sich Latenzen der Suche verteilen und wie hoch Speicher- und CPU-Last sind.
In der Praxis empfehlen wir, mindestens folgende Signale dauerhaft zu überwachen: Arbeitsspeicherbelegung der Agents im Verhältnis zum Limit, Dauer und Erfolg der Indexläufe, Verzögerung zwischen Schreiben und Auffindbarkeit, Latenz-Perzentile der Suche, Fehlerraten im Gateway sowie Alter und Erfolg der letzten Sicherung. Ergänzend gehört eine fachliche Qualitätsmessung dazu – die beste Infrastruktur nützt wenig, wenn die gefundenen Abschnitte inhaltlich nicht passen.
Stärken
  • Konsequent Kubernetes-nativ, GitOps-tauglich
  • Helm-Charts und Operator für reproduzierbare Installationen
  • Offizielle Clients für Go, Python, Java und Node.js
  • Prometheus-Metriken und OpenTelemetry-Tracing
  • Typsichere gRPC-Schnittstellen mit Streaming
Einschränkungen
  • Ohne Kubernetes-Erfahrung kaum betreibbar
  • Kleinere Community, weniger Tutorials und Beispiele
  • Weniger fertige Integrationen in RAG-Frameworks
  • Keine eingebaute grafische Verwaltungsoberfläche
  • gRPC verlangt Know-how bei Proxys und Debugging
Kapitel 06 · Abgrenzung

Vald im Vergleich zu Milvus, Qdrant, Weaviate, FAISS und pgvector

Die Wahl einer Vektorsuche ist weniger eine Frage der schnellsten Benchmark-Zahl als der passenden Betriebsform. Vald, Milvus, Qdrant, Weaviate, FAISS und pgvector lösen ähnliche Probleme auf sehr unterschiedliche Weise. Die folgende Einordnung ist qualitativ; konkrete Leistungswerte hängen von Daten, Hardware und Konfiguration ab und sollten im eigenen Umfeld gemessen werden.

System Grundform Stärken Typische Grenzen
Vald Verteilte Vektorsuchmaschine auf Kubernetes Horizontale Skalierung, Auto-Indexing, Replikation, Backup Hoher Betriebsaufwand, schwache native Filter, kleine Community
Milvus Verteilte Vektordatenbank, auch als Einzelinstanz Viele Indextypen, Skalierung, große Community, Managed-Optionen Verteilter Modus mit vielen Abhängigkeiten
Qdrant Vektordatenbank als einzelner Dienst oder Cluster Starke Payload-Filter, einfache Installation, REST und gRPC Sehr große Cluster erfordern Planung
Weaviate Vektordatenbank mit Schema und Modulen Hybrid-Suche, Vektorisierungs-Module, Mandantenfähigkeit Ressourcenbedarf, Modulvielfalt erfordert Disziplin
FAISS Bibliothek für Ähnlichkeitssuche Viele Indextypen, Kompression, GPU-Unterstützung Keine Datenbank, Betrieb selbst bauen
pgvector Erweiterung für PostgreSQL SQL, Transaktionen, Filter, vorhandenes Know-how Skalierung über eine Instanz hinaus aufwendig

Vald gegenüber Milvus, Qdrant und Weaviate

Milvus ist der naheliegendste Vergleich, weil auch Milvus für verteilten Betrieb in großem Maßstab entworfen wurde. Milvus versteht sich jedoch ausdrücklich als Datenbank: Es kennt Sammlungen mit Schemata, skalare Felder, Filterausdrücke, mehrere Indextypen und eine breite Integration in RAG-Frameworks. Zudem bietet es einen leichtgewichtigen Einzelmodus für den Einstieg und kommerzielle Managed-Angebote. Vald ist schlanker und stärker auf die reine Vektorsuche fokussiert, dafür aber weniger komfortabel bei Metadaten und Integrationen. Wer viel Struktur in den Daten hat, findet in Milvus meist mehr Bordmittel; wer eine minimalistische, Kubernetes-native Suchschicht sucht, kann Vald als konsequentere Lösung empfinden.
Qdrant und Weaviate setzen andere Schwerpunkte. Qdrant überzeugt durch eine sehr ausgereifte Filterung über sogenannte Payloads, eine einfache Installation als einzelner Dienst und eine gut dokumentierte REST- und gRPC-API; ein Cluster-Modus steht für größere Lasten bereit. Weaviate bringt Hybrid-Suche aus Volltext und Vektoren, Module zur automatischen Vektorisierung und ausgeprägte Mandantenfähigkeit mit. Beide sind für typische RAG-Projekte im Mittelstand die pragmatischere Wahl, weil sie mit weniger Infrastruktur auskommen und viele Anforderungen ohne Eigenentwicklung abdecken. Vald spielt seine Stärken erst aus, wenn Skalierung und automatisierter Betrieb auf Kubernetes wichtiger sind als Filter- und Komfortfunktionen.

Vald gegenüber FAISS und pgvector

FAISS ist eine Bibliothek, keine Datenbank und kein Dienst. Sie bietet eine enorme Bandbreite an Indextypen, Kompressionsverfahren und GPU-Beschleunigung, überlässt aber Persistenz, Verteilung, Schnittstelle und Ausfallsicherheit vollständig der Anwendung. In gewisser Weise ist Vald genau das, was man um eine solche Bibliothek herum bauen müsste, um sie verteilt und hochverfügbar zu betreiben – nur eben auf Basis von NGT. Wer bereits erfolgreich mit FAISS arbeitet und an die Grenzen eines Rechners stößt, findet in Vald ein durchdachtes Architekturvorbild oder eine Alternative.
pgvector steht am anderen Ende des Spektrums. Die Erweiterung macht PostgreSQL zur Vektorsuche und verbindet Embeddings mit allem, was relationale Datenbanken auszeichnet: SQL, Transaktionen, Fremdschlüssel, Berechtigungen, bewährte Sicherungsverfahren und vorhandenes Know-how im Team. Für sehr viele mittelständische RAG-Projekte ist pgvector die wirtschaftlichste Wahl, weil keine neue Infrastruktur entsteht. Die Grenze liegt in der Skalierung: Wächst der Bestand weit über das hinaus, was eine gut ausgestattete Datenbankinstanz bewältigt, werden Partitionierung und Lastverteilung aufwendig. Genau dort beginnt das Terrain, für das Vald entworfen wurde.
Faustregel aus der Projektpraxis

Beginnen Sie mit der einfachsten Lösung, die Ihre Anforderungen an Filter, Berechtigungen und Datenmenge erfüllt – häufig pgvector, Qdrant oder Weaviate. Halten Sie über eine Abstraktionsschicht die Tür zu einem verteilten System offen. Vald gehört auf die Shortlist, wenn eine Kubernetes-Plattform bereits produktiv läuft und Datenmenge oder Last den Rahmen eines einzelnen Servers absehbar sprengen.

Kapitel 07 · Einführung & Betrieb

Self-Hosting auf Kubernetes: Vald verantwortungsvoll betreiben

Ein Test-Deployment von Vald ist auf einem lokalen Kubernetes-Cluster schnell aufgesetzt. Ein Produktivbetrieb, der Ausfälle übersteht, Daten zuverlässig sichert und mit dem Bestand mitwächst, verlangt dagegen solide Plattformkompetenz. Die folgenden Schritte haben sich in Projekten mit verteilten Vektorsystemen bewährt.

01
Anforderungen und Größenordnung klären
Erwartete Zahl der Vektoren heute und in drei Jahren, Dimension, Änderungsrate, Anfragelast, Latenzziele, Filter- und Berechtigungsbedarf sowie Aktualitätsanforderungen festhalten. Erst diese Zahlen zeigen, ob ein verteiltes System überhaupt notwendig ist.
02
Plattform prüfen
Ein produktionsreifes Kubernetes-Cluster mit Monitoring, Logging, Speicherklassen, Objektspeicher für Backups, Netzwerkrichtlinien und einem Team, das Bereitschaft und Updates übernimmt, ist Voraussetzung – nicht Nebenprodukt des Projekts.
03
Proof of Concept mit Messung
Repräsentative Daten vektorisieren, Vald per Helm installieren, Indexparameter variieren und gegen eine exakte Referenzsuche messen: Treffergenauigkeit, Latenz unter Last, Speicherbedarf, Indexdauer und Verzögerung bis zur Auffindbarkeit.
04
Produktivarchitektur festlegen
Anzahl und Ressourcen der Agents, Replikationsfaktor, Verteilung über Knoten oder Zonen, Backup-Ziel, Filter-Komponenten, Abstraktionsschicht für Clients und Metadatenspeicher definieren und als Code versionieren.
05
Betrieb, Updates, Notfallübungen
Dashboards und Alarme einrichten, Wiederherstellung aus Backups regelmäßig üben, Updates zuerst in einer Staging-Umgebung testen und Kapazitätsgrenzen im Blick behalten, bevor sie zum Störfall werden.

Ressourcenbedarf: Arbeitsspeicher ist die zentrale Größe

Weil Agents ihre Vektoren und Indexstrukturen im Arbeitsspeicher halten, bestimmt dieser die Kapazität eines Vald-Clusters. Der Bedarf ergibt sich vereinfacht aus Zahl der Vektoren, Dimension, Datentyp, dem Overhead des Graphindex und dem Replikationsfaktor. Ein Replikationsfaktor von drei verdreifacht den Speicherbedarf – ein Preis für Ausfallsicherheit, den man bewusst bezahlen sollte. Hinzu kommen Reserven, damit Indexläufe und Lastspitzen nicht zu Speicherengpässen führen. Konkrete Werte lassen sich nicht pauschal angeben; sie sollten im Proof of Concept gemessen und mit großzügiger Reserve hochgerechnet werden.
CPU-Last entsteht vor allem bei Suchanfragen und beim Indexaufbau, Netzwerklast beim Auffächern der Anfragen auf viele Agents. Die übrigen Komponenten wie Discoverer und Index Manager sind vergleichsweise genügsam. Wer eigene Filter-Komponenten zur Vektorisierung betreibt, muss deren Bedarf separat planen, häufig inklusive GPU-Ressourcen. Ein kleiner Cluster für Entwicklung und Test kommt mit wenigen Knoten aus; ein hochverfügbarer Produktivbetrieb verlangt Knoten in mehreren Ausfallbereichen und genügend Reserve, um den Ausfall eines Knotens abzufangen.

Betriebsaufwand realistisch einschätzen

Der größte Fehler bei der Einführung verteilter Systeme ist, den laufenden Aufwand zu unterschätzen. Vald nimmt durch Auto-Indexing, Replikation und Kubernetes-Integration viele Routineaufgaben ab, ersetzt aber kein Betriebsteam. Updates müssen geplant und getestet werden, weil sich Konfigurationsformate und Schnittstellen zwischen Versionen ändern können. Backups sind nur so viel wert wie die zuletzt erfolgreich geübte Wiederherstellung. Kapazitätsplanung, Sicherheitsupdates des Clusters, Zertifikate, Netzwerkrichtlinien und Bereitschaftsdienst gehören zum Alltag.
Hinzu kommt die Wissensfrage: Vald ist ein Nischenwerkzeug mit kleinerer Community. Bei Problemen findet man weniger Antworten in Foren, und externe Dienstleister mit Vald-Erfahrung sind rar. Wir raten deshalb dazu, das Wissen über Architektur, Konfiguration und Notfallverfahren intern zu dokumentieren und mindestens zwei Personen damit vertraut zu machen. Ein Betrieb, der an einer einzigen Person hängt, ist bei einem verteilten System ein erhebliches Risiko.
Stärken
  • Automatischer Indexaufbau ohne manuelle Neubauten
  • Replikation und Selbstheilung über Kubernetes
  • Sicherung in eigenen Objektspeicher möglich
  • Schrittweiser Ausbau durch zusätzliche Agents
  • Konfiguration vollständig als Code versionierbar
Einschränkungen
  • Produktionsreifes Kubernetes ist Voraussetzung
  • Arbeitsspeicher als Kostentreiber, verstärkt durch Replikation
  • Updates zwischen Versionen sorgfältig testen
  • Wenige externe Spezialisten am Markt
  • Metadaten und Texte in separaten Systemen pflegen
Kapitel 08 · Einsatz im Mittelstand

Wann Vald im Mittelstand sinnvoll ist – und wann es Overkill ist

Im Mittelstand entscheidet selten die maximale Skalierbarkeit, sondern das Verhältnis von Nutzen und dauerhaftem Aufwand. Vald ist ein leistungsfähiges Werkzeug für einen klar umrissenen Bedarf. Für die meisten ersten KI-Projekte ist es zu groß, für einige wenige genau richtig.

Ein typisches Mittelstandsprojekt im Bereich RAG umfasst Handbücher, Richtlinien, Angebote, Servicetickets und Produktdaten – häufig einige Zehntausend bis wenige Millionen Textabschnitte. Diese Größenordnung bewältigen pgvector, Qdrant oder Weaviate auf einem einzelnen, gut ausgestatteten Server oder in einem kleinen Cluster problemlos. Der Aufbau eines verteilten Vald-Clusters auf Kubernetes würde hier vor allem zusätzlichen Betriebsaufwand erzeugen, ohne messbaren Mehrwert für die Antwortqualität. Ganz anders sieht es aus, wenn ein Unternehmen große Bild- oder Produktkataloge, Sensordaten oder Nutzerverhalten in Echtzeit durchsucht, bereits eine Kubernetes-Plattform betreibt und Wachstum in eine Größenordnung erwartet, in der Ein-Server-Lösungen an Grenzen stoßen.

Typische Szenarien, in denen Vald passen kann

Großer Online-Handel

Ein Händler mit sehr großem Sortiment und hohem Traffic liefert visuelle Suche und Empfehlungen direkt aus der eigenen Kubernetes-Plattform, ohne Daten an Drittanbieter zu übertragen.

Hohe Last, volle Kontrolle
Industrielle Bild- und Sensordaten

Ein Hersteller vektorisiert Prüfbilder oder Signalverläufe aus vielen Linien und sucht laufend nach ähnlichen Mustern, um Fehlerbilder schnell bekannten Ursachen zuzuordnen.

Schnelle Zuordnung
Software- und Plattformanbieter

Ein Softwarehaus integriert semantische Suche in sein eigenes Produkt und betreibt sie für viele Kunden auf einer souveränen Kubernetes-Plattform in einem deutschen Rechenzentrum.

Skalierbares Produktfeature
Konzernnahe Plattformteams

Größere Mittelständler mit eigenem Plattformteam bieten Vektorsuche als internen Dienst für mehrere Fachbereiche an und standardisieren Betrieb, Backup und Monitoring zentral.

Wiederverwendbare Infrastruktur

Wann Vald überdimensioniert ist

Vald ist im Mittelstand in der Regel nicht die richtige erste Wahl, wenn eine oder mehrere der folgenden Bedingungen zutreffen: Es gibt kein produktiv betriebenes Kubernetes-Cluster und kein Team, das es verantwortet. Der Datenbestand bleibt absehbar im Rahmen dessen, was ein einzelner Server bewältigt. Feingranulare Berechtigungen auf Dokumentebene, Hybrid-Suche oder komplexe Metadatenfilter stehen im Vordergrund. Das Projekt soll schnell einen sichtbaren Nutzen zeigen, etwa als interner Wissensassistent für einige Abteilungen. Oder die IT-Abteilung ist klein und bereits mit dem Tagesgeschäft ausgelastet.
In diesen Fällen empfehlen wir, mit pgvector in einer bestehenden PostgreSQL-Umgebung oder mit einer einfach zu betreibenden Vektordatenbank wie Qdrant oder Weaviate zu beginnen. Diese Systeme bringen Filter, Löschfunktionen und Integrationen mit, die in RAG-Projekten den Unterschied machen. Wer die eigene Retrieval-Schicht sauber abstrahiert, kann später auf ein verteiltes System wie Vald oder Milvus umsteigen, sollte das Wachstum es tatsächlich erfordern – ohne die Anwendung neu zu schreiben.

Entscheidungshilfe in drei Fragen

Für eine erste Einordnung helfen drei Fragen. Erstens: Passt der Index absehbar auf einen Server? Wenn ja, ist ein verteiltes System selten nötig. Zweitens: Betreiben wir Kubernetes heute schon professionell? Wenn nein, kommt zum Vektorprojekt ein Plattformprojekt hinzu, das Aufwand und Risiko vervielfacht. Drittens: Sind Filter und Berechtigungen wichtiger als rohe Skalierung? Wenn ja, sind Systeme mit integrierter Metadatenfilterung meist besser geeignet. Erst wenn die erste Frage mit nein und die zweite mit ja beantwortet wird, lohnt eine ernsthafte Evaluierung von Vald.
Konkrete Preise nennen wir bewusst nicht

Der Aufwand für ein Projekt mit Vald oder einer alternativen Vektorsuche hängt stark von Datenmenge, Anfragelast, bestehender Plattform, Berechtigungsmodell und Betriebsanforderungen ab. Pauschale Festpreise wären irreführend. Was wir verlässlich anbieten: einen kompakten Discovery-Workshop, in dem wir Ihre Ausgangslage analysieren, die passende Architektur herstellerneutral bewerten und einen transparenten Umsetzungsweg schätzen.

Kapitel 09 · Kosten & DSGVO

Lizenzfrei und selbst betrieben – Datenhoheit als Stärke

Aus Sicht von Datenschutz und digitaler Souveränität hat Vald eine sehr günstige Ausgangslage: Es ist Open Source, wird vollständig in der eigenen Infrastruktur betrieben und benötigt keinen Cloud-Dienst des ursprünglichen Entwicklers. Die eigentlichen Fragen liegen bei den verarbeiteten Daten, beim Embedding- und Sprachmodell, bei Sicherungen und bei der sauberen Umsetzung von Löschpflichten.

Keine Rechtsberatung

Die folgenden Ausführungen sind eine praxisorientierte Einordnung aus IT- und Projektsicht – keine Rechtsberatung. Für die rechtssichere Bewertung Ihres konkreten Einsatzes, für Auftragsverarbeitungsverträge, Datenschutz-Folgenabschätzungen, Lizenzfragen und die Bewertung von Drittlandtransfers ziehen Sie bitte Ihre Datenschutzbeauftragten oder eine spezialisierte Kanzlei hinzu.

Japanischer Ursprung, europäischer Betrieb

Eine häufige Frage lautet, ob der Ursprung von Vald bei einem japanischen Konzern datenschutzrechtlich relevant ist. Für den typischen Einsatz lautet die Antwort aus technischer Sicht: Vald ist Software, kein Dienst. Wer Vald aus dem öffentlichen Quellcode oder den veröffentlichten Container-Images in einem eigenen Kubernetes-Cluster betreibt – etwa im eigenen Rechenzentrum oder bei einem deutschen oder europäischen Hoster –, überträgt durch Vald selbst keine Daten an LY Corporation oder an Server in Japan. Es entsteht kein Auftragsverarbeitungsverhältnis mit dem Projektträger, weil dieser keine Daten verarbeitet. Damit unterscheidet sich Vald grundlegend von gemanagten Cloud-Diensten, bei denen Speicherort und Rechtsraum des Anbieters bewertet werden müssen.
Zu prüfen ist dennoch, ob die verwendeten Container-Images, Helm-Charts und Abhängigkeiten ungewollt externe Verbindungen aufbauen – etwa für Telemetrie, Updates oder das Nachladen von Ressourcen. Gute Praxis ist, Images in eine eigene Registry zu spiegeln, auf Schwachstellen zu scannen und ausgehenden Netzwerkverkehr des Clusters über Netzwerkrichtlinien zu beschränken. So lässt sich gegenüber Datenschutzbeauftragten und Auditoren nachvollziehbar belegen, dass die Vektorsuche vollständig in der eigenen Infrastruktur verbleibt. Japan verfügt zudem über einen Angemessenheitsbeschluss der EU-Kommission; für den selbst betriebenen Einsatz von Vald spielt das aber keine Rolle, weil gar keine Übermittlung stattfindet.

Embeddings, Löschpflichten und Sicherungen

Die Datenhoheit von Vald endet an den Grenzen von Vald. In einer vollständigen Pipeline durchlaufen Daten mehrere Stationen: Export aus den Quellsystemen, Vektorisierung durch ein Embedding-Modell, Speicherung in Vald und im Metadatenspeicher, Suche durch die Anwendung und bei RAG die Antwortgenerierung durch ein Sprachmodell. Wird für Vektorisierung oder Antwort ein externer Cloud-Dienst genutzt, verlassen Klartexte die eigene Infrastruktur – unabhängig davon, wie souverän die Vektorsuche betrieben wird. Für sensible Szenarien empfehlen wir selbst betriebene Open-Source-Modelle oder europäische Anbieter mit klarer Auftragsverarbeitung. Zudem gilt: Vektoren sind nicht automatisch anonym. Aus Embeddings lassen sich unter Umständen Rückschlüsse auf Ursprungsinhalte ziehen, sodass Vektorbestände mit personenbezogenem Bezug wie die Ursprungsdaten zu schützen sind.
Bei Löschpflichten ist Vald gegenüber statischen Bibliotheken im Vorteil: Einzelne Vektoren lassen sich über die API gezielt entfernen, und das Auto-Indexing übernimmt die Löschung nach kurzer Zeit in den Index. Zu dokumentieren ist dennoch, wie lange ein gelöschter Vektor technisch noch in Indizes, Replikaten und vor allem in Sicherungen im Objektspeicher enthalten sein kann. Backups mit personenbezogenem Bezug gehören in das Löschkonzept, mit klaren Aufbewahrungsfristen und Verschlüsselung. Ebenso wichtig ist ein sauberes Mapping zwischen Vektorkennung und Ursprungsdatensatz, damit eine Löschanfrage zuverlässig alle zugehörigen Vektoren erreicht.
Empfehlung: selbst betreiben, gesamte Pipeline souverän gestalten

Vald bietet volle Datenhoheit, wenn es in einem eigenen oder europäischen Rechenzentrum läuft und Embedding-Modell, Metadatenspeicher, Sprachmodell und Backups ebenfalls unter eigener Kontrolle bleiben. Löschungen sind gezielt möglich, müssen aber bis in Replikate und Sicherungen dokumentiert nachverfolgt werden.

Betrieb
Self-Hosting, keine Übermittlung an den Projektträger
Standort
Eigenes oder EU-Rechenzentrum
Embeddings
Lokales Modell oder EU-Anbieter
Löschung
Per API, Backups ins Löschkonzept
Netzwerk
Ausgehenden Verkehr beschränken
Lizenz
Apache 2.0, aktuellen Stand prüfen

Kosten: keine Lizenzgebühren, aber Infrastruktur und Personal

Vald wird nach unserem Kenntnisstand unter der Apache-2.0-Lizenz bereitgestellt; den aktuellen Lizenztext und die Lizenzen der Abhängigkeiten sollte man im Repository prüfen. Lizenzgebühren fallen nicht an, die Lizenz erlaubt auch kommerzielle Nutzung und eigene Anpassungen. Die tatsächlichen Kosten entstehen an drei anderen Stellen. Erstens die Infrastruktur: Kubernetes-Knoten mit viel Arbeitsspeicher, Speicher für persistente Volumes und Backups, gegebenenfalls GPU-Ressourcen für die Vektorisierung sowie Netzwerk und Monitoring. Zweitens der Betrieb: Plattformteam, Bereitschaft, Updates, Sicherheitsprüfungen und Notfallübungen. Drittens die Entwicklung: Abstraktionsschicht, Filter-Komponenten, Metadatenspeicher, Integration in Anwendungen und Qualitätsmessung.
Eine ehrliche Wirtschaftlichkeitsbetrachtung vergleicht deshalb nicht Lizenzkosten, sondern die Gesamtkosten über die geplante Lebensdauer. Bei sehr großen Beständen und hoher Last kann ein selbst betriebenes Vald auf vorhandener Kubernetes-Infrastruktur wirtschaftlich attraktiv sein, weil keine nutzungsabhängigen Gebühren eines Managed Service anfallen und die Hardware gezielt dimensioniert werden kann. Bei kleineren Beständen überwiegt dagegen meist der Betriebsaufwand, und eine einfachere Lösung ist günstiger. Konkrete Infrastrukturpreise hängen vom Hoster und vom Ausbau ab und sollten im Rahmen der Planung beim jeweiligen Anbieter eingeholt werden.
Kapitel 10 · Häufige Fragen

Häufig gestellte Fragen zu Vald

Diese Fragen tauchen in unseren Beratungsgesprächen rund um Vald, verteilte Vektorsuche und die Wahl der passenden Architektur am häufigsten auf – kurz und sachlich beantwortet.

Ist Vald eine Vektordatenbank?
Vald versteht sich als verteilte Vektorsuchmaschine. Es speichert Vektoren mit Kennungen, verteilt sie über viele Agent-Pods, baut automatisch ANN-Indizes und beantwortet Suchanfragen über eine gRPC-API. Funktionen klassischer Datenbanken wie reichhaltige Metadatenabfragen, Transaktionen oder eine eingebaute Volltextsuche stehen dagegen nicht im Mittelpunkt und werden meist von anderen Systemen übernommen.
Braucht man für Vald zwingend Kubernetes?
Für den vorgesehenen Produktivbetrieb ja. Vald ist als Kubernetes-native Anwendung konzipiert und wird über Helm-Charts oder einen Operator installiert. Für Tests genügt ein lokales Entwicklungscluster, für den Produktivbetrieb braucht es eine professionell betriebene Plattform. Ohne Kubernetes-Erfahrung im Team ist der Betrieb nur schwer verantwortbar.
Was ist NGT und warum nutzt Vald diesen Index?
NGT ist eine Bibliothek für approximative Nächste-Nachbarn-Suche, die auf einem Nachbarschaftsgraphen mit baumbasierten Einstiegspunkten beruht. Sie stammt aus demselben Unternehmensumfeld wie Vald und ist auf schnelle, genaue Suche in hochdimensionalen Räumen ausgelegt. Wie gut NGT im eigenen Szenario abschneidet, sollte mit eigenen Daten gegen eine exakte Referenzsuche gemessen werden.
Wie schnell sind neue Vektoren in Vald auffindbar?
Neue Vektoren werden zunächst gesammelt und dann im Hintergrund in den Index übernommen – zeit- oder mengengesteuert. Die Verzögerung hängt von der Konfiguration und der Last ab. Für Anwendungen, die eine sofortige Auffindbarkeit erwarten, sollte diese Zeitspanne im Proof of Concept gemessen und fachlich bewertet werden.
Kann Vald nach Metadaten oder Berechtigungen filtern?
Nicht in der Tiefe, wie es Qdrant, Weaviate oder pgvector nativ ermöglichen. Vald bietet ein Filter-Konzept mit Ingress- und Egress-Komponenten, über das sich Treffer nachträglich prüfen und aussortieren lassen. Für feingranulare Berechtigungen auf Dokumentebene ist das oft aufwendiger und fehleranfälliger als eine indexintegrierte Filterung.
Ist Vald für ein RAG-Projekt im Mittelstand geeignet?
Technisch ja, wirtschaftlich meist nicht als erste Wahl. Für typische Bestände von einigen Tausend bis wenigen Millionen Abschnitten sind pgvector, Qdrant oder Weaviate einfacher zu betreiben und bringen Filter, Hybrid-Suche und Framework-Integrationen mit. Vald lohnt sich, wenn bereits eine Kubernetes-Plattform läuft und Datenmenge oder Last den Rahmen eines Servers absehbar sprengen.
Fließen beim Einsatz von Vald Daten nach Japan?
Nicht durch Vald selbst. Vald ist Open-Source-Software, die vollständig im eigenen Cluster läuft – etwa in einem deutschen oder europäischen Rechenzentrum. Es gibt keinen Cloud-Dienst des Projektträgers, an den Daten übertragen würden. Zu prüfen sind ausgehende Verbindungen von Images und Abhängigkeiten sowie alle übrigen Pipeline-Bausteine. Dies ist keine Rechtsberatung.
Was kostet Vald?
Vald selbst ist lizenzfrei unter Apache 2.0 nutzbar; den aktuellen Lizenzstand im Repository prüfen. Kosten entstehen für die Kubernetes-Infrastruktur mit viel Arbeitsspeicher, für Speicher und Backups, für den Betrieb durch ein Plattformteam sowie für Entwicklung und Integration. Konkrete Beträge hängen stark von Datenmenge, Last und vorhandener Plattform ab.

Souveräne KI-Suche aufbauen

Bereit für eine Vektorsuche, die mit Ihnen wächst?

Von der herstellerneutralen Entscheidung zwischen pgvector, einer dedizierten Vektordatenbank und einer verteilten Suchmaschine wie Vald über den souveränen Betrieb auf Kubernetes in einem deutschen Rechenzentrum bis zum DSGVO-konformen RAG-System – INAGRO begleitet Sie auf jedem Schritt. Mit Retrieval-Expertise, Datenschutz-Fokus und tiefem Verständnis für den Mittelstand. Pragmatisch, herstellerneutral und mit messbarem Ergebnis.

Seit 2006 am Markt

Erfahrung aus über 100 Digitalprojekten

DSGVO & Souveränität

Datenschutz von Anfang an mitgedacht

Rückmeldung in 24 h

Schnell, direkt, unverbindlich