Um Vespa einzuordnen, lohnt ein Blick auf die Grundlagen moderner KI-Suche. Ein Embedding-Modell übersetzt Texte, Bilder oder Produktbeschreibungen in Vektoren, also lange Zahlenreihen. Inhaltlich ähnliche Inhalte liegen im Vektorraum nah beieinander. Eine Vektordatenbank findet zu einem Anfragevektor die nächsten Nachbarn und liefert so die semantisch passenden Dokumente. Für viele RAG-Prototypen ist das bereits ausreichend. In der Praxis zeigt sich aber schnell, dass gute Suche mehr braucht: exakte Treffer bei Artikelnummern und Fachbegriffen, Filter nach Verfügbarkeit, Region oder Berechtigung, Facetten für die Navigation, Personalisierung, Aktualität, Geschäftsregeln und vor allem ein Ranking, das all diese Signale sinnvoll zu einer Reihenfolge verdichtet.
Genau hier setzt Vespa an. Statt die Vektorsuche als isolierte Funktion zu betrachten, behandelt Vespa sie als eines von vielen Signalen innerhalb eines Ranking-Prozesses. Dokumente werden in einem verteilten Cluster gespeichert, Abfragen werden parallel auf allen Knoten ausgeführt, und jede Kandidatenmenge durchläuft mehrere Ranking-Phasen – von einer schnellen, groben Vorauswahl bis zu teuren Modellen, die nur noch die besten Kandidaten bewerten. Diese Berechnung findet dort statt, wo die Daten liegen, und nicht in einer nachgelagerten Anwendung. Das ist der zentrale architektonische Unterschied zu den meisten Vektordatenbanken und auch zu vielen klassischen Suchplattformen.
Die Geschichte von Vespa reicht weit zurück. Ihre technischen Wurzeln liegen in der norwegischen Suchtechnologie rund um Trondheim, die nach Übernahmen in den Besitz von Yahoo gelangte. Dort wurde die Engine über viele Jahre weiterentwickelt und für Anwendungen eingesetzt, bei denen sehr große Datenmengen mit sehr vielen gleichzeitigen Anfragen und strengen Latenzvorgaben verarbeitet werden müssen: Nachrichten-Personalisierung, Suche, Empfehlungen und Werbeausspielung. Ein Großteil der Entwicklung blieb dabei in Trondheim verankert.
Yahoo hat Vespa später unter der Apache-2.0-Lizenz als Open Source veröffentlicht. Einige Jahre danach wurde das Vespa-Team als eigenständiges Unternehmen ausgegründet: Vespa.ai entwickelt die Engine seitdem weiter, betreibt den gemanagten Dienst Vespa Cloud und bietet Unterstützung für Unternehmenskunden. Das Unternehmen hat seinen Ursprung und einen Entwicklungsschwerpunkt in Norwegen; Details zu Firmensitz, Gesellschaftsstruktur und Standorten sollten für vertragliche und datenschutzrechtliche Bewertungen stets aktuell beim Anbieter geprüft werden. Für die Einordnung genügt: Vespa ist kein junges Start-up-Produkt, sondern eine über lange Zeit im Großeinsatz gereifte Technologie mit europäischem Entwicklungszentrum.
Vespa wird für drei große Anwendungsklassen eingesetzt, die sich in der Praxis oft überschneiden. Die erste ist die Suche im engeren Sinn: Produktsuche im E-Commerce, Dokumentsuche in Wissensportalen, Suche in Medienarchiven. Die zweite sind Empfehlungen und Personalisierung: Zu einem Nutzerprofil oder einem gerade angesehenen Artikel werden passende Inhalte ermittelt und nach Relevanz, Aktualität und Geschäftszielen sortiert. Die dritte und jüngste Klasse ist Retrieval für generative KI: Vespa liefert einem Sprachmodell die relevantesten Textabschnitte, auf deren Basis es Antworten formuliert. Gerade bei RAG zeigt sich, dass die Qualität der Antworten maßgeblich von der Qualität des Retrievals abhängt – und damit von genau den Ranking-Fähigkeiten, auf die Vespa spezialisiert ist.
In einer RAG-Architektur übernimmt Vespa typischerweise die gesamte Retrieval-Schicht: Speicherung der Dokumentabschnitte samt Metadaten, Berechnung der Embeddings direkt beim Einspielen, Hybrid-Suche aus Text- und Vektorsignalen, Filterung nach Berechtigungen und schließlich ein mehrstufiges Reranking. Was in anderen Architekturen auf mehrere Dienste verteilt ist – Vektordatenbank, Suchmaschine, Embedding-Service, Reranking-Service –, kann in Vespa in einem System zusammenlaufen. Das reduziert Netzwerkwege und Latenz, erhöht aber auch die Anforderungen an das Verständnis der Plattform.
Eine Besonderheit von Vespa im Vergleich zu manchen anderen Anbietern ist, dass die Open-Source-Variante die vollständige Engine umfasst. Verteilung über viele Knoten, automatische Datenumverteilung beim Hinzufügen oder Entfernen von Knoten, Replikation, Echtzeit-Updates, Hybrid-Suche, Multi-Phase-Ranking, Embedder und ONNX-Inferenz sind nicht hinter einer kommerziellen Lizenz versteckt. Wer die Engine selbst betreibt, bekommt technisch dasselbe System, das auch in der Cloud läuft. Das ist für die Frage der Datenhoheit und für die langfristige Planung ein gewichtiges Argument: Ein späterer Wechsel zwischen Cloud und Eigenbetrieb ist grundsätzlich möglich, weil die Anwendung in beiden Fällen über dasselbe Application Package beschrieben wird.
Der Preis des Selbstbetriebs liegt im Betriebsaufwand. Vespa ist ein verteiltes System mit mehreren Rollen: Config-Server, die die Konfiguration des Clusters verwalten, Container-Knoten, die Abfragen und Schreibzugriffe entgegennehmen und Embeddings berechnen, sowie Content-Knoten, die Daten speichern, indexieren und das Ranking ausführen. Diese Rollen müssen dimensioniert, überwacht, aktualisiert und gesichert werden. Für kleine Installationen kann alles auf wenigen Knoten laufen; für hochverfügbare Produktionssysteme braucht es ein durchdachtes Setup und Erfahrung mit verteilten Systemen.
Vespa Cloud nimmt Teams genau diesen Aufwand ab. Entwickler beschreiben ihre Anwendung in einem Application Package mit Schemas, Rank-Profilen und Diensten, und die Plattform übernimmt Bereitstellung, Skalierung, Upgrades ohne Ausfallzeit, Überwachung und Sicherheitsupdates. Hinzu kommen Komfortfunktionen wie getrennte Entwicklungs- und Produktionsumgebungen, automatisierte Deployment-Pipelines mit Tests und eine integrierte Konsole. Die Infrastruktur läuft auf großen Hyperscalern; welche Cloud-Anbieter und Regionen zur Verfügung stehen, insbesondere Regionen innerhalb der Europäischen Union, ist beim Anbieter zu prüfen.
Positioniert ist Vespa insgesamt nicht als Einsteigerwerkzeug für den schnellen Vektorspeicher, sondern als Plattform für anspruchsvolle Such- und Ranking-Anwendungen im Produktionsmaßstab. Der Anbieter adressiert explizit Unternehmen, für die Relevanz, Latenz und Skalierbarkeit geschäftskritisch sind, und zunehmend auch Anwendungen der generativen KI, bei denen hochwertiges Retrieval den Unterschied macht. Für den Mittelstand bedeutet das: Vespa spielt seine Stärken dort aus, wo Suche ein Kernbestandteil des Geschäftsmodells oder eines zentralen Prozesses ist.
Eine Vespa-Anwendung wird in einem Application Package beschrieben. Es enthält eine Dienstebeschreibung, die festlegt, welche Cluster es gibt und wie viele Knoten sie haben, sowie ein oder mehrere Schemas. Ein Schema definiert die Dokumenttypen mit ihren Feldern – Text, Zahlen, Datumswerte, Listen, Strukturen, Referenzen auf andere Dokumente und Tensoren. Für jedes Feld wird festgelegt, ob es indexiert, als Attribut im Arbeitsspeicher gehalten oder nur gespeichert und zurückgegeben wird. Textfelder werden mit linguistischer Verarbeitung indexiert, Attributfelder eignen sich für schnelle Filter, Sortierung und Gruppierung.
Das zentrale Konzept für Vektoren und Machine Learning ist der Tensor. Ein Tensor ist eine verallgemeinerte Zahlenstruktur: ein Skalar, ein Vektor, eine Matrix oder ein höherdimensionales Gebilde. Vespa unterscheidet dabei zwischen indizierten Dimensionen mit fester Größe – etwa ein Embedding mit einer bestimmten Dimension – und zugeordneten Dimensionen mit benannten Einträgen, etwa eine Liste von Vektoren für jeden Absatz eines Dokuments oder eine Gewichtung je Kategorie. Mit gemischten Tensoren lassen sich so mehrere Embeddings pro Dokument abbilden, ohne das Dokument künstlich in viele Einzeldokumente zu zerlegen. Für Vektoren stehen neben Gleitkommaformaten auch kompaktere Typen bis hin zu binären Repräsentationen zur Verfügung, die den Speicherbedarf erheblich senken.
Ein weiterer Baustein sind Echtzeit-Updates. Vespa nimmt Schreibzugriffe kontinuierlich entgegen und macht neue oder geänderte Dokumente sehr schnell durchsuchbar, ohne dass Indizes in Batches neu aufgebaut werden müssen. Besonders wichtig sind partielle Updates: Ein einzelnes Feld – etwa Preis, Lagerbestand oder ein Popularitätszähler – kann geändert werden, ohne das ganze Dokument neu zu schreiben. Für E-Commerce-Szenarien mit häufig wechselnden Preisen und Beständen ist das ein entscheidender Vorteil gegenüber Systemen, die bei jeder Änderung ein vollständiges Neuschreiben erfordern.
Für die Vektorsuche nutzt Vespa einen Nearest-Neighbor-Operator, der entweder exakt oder näherungsweise über einen HNSW-Index arbeitet. HNSW ist ein graphbasiertes Verfahren, das ein sehr gutes Verhältnis aus Geschwindigkeit und Trefferqualität bietet und laufende Einfügungen gut verkraftet. Bemerkenswert ist die Kombination mit Filtern: Vespa kann Vektorsuche und strukturierte Bedingungen in einer Abfrage verbinden und wählt je nach Filterstärke automatisch eine geeignete Strategie, um auch bei sehr restriktiven Filtern noch vollständige Ergebnislisten zu liefern. Unterstützt werden gängige Distanzmetriken wie Kosinus, Skalarprodukt, euklidische Distanz und für binäre Vektoren die Hamming-Distanz.
Für die Volltextsuche bringt Vespa eine vollwertige Suchmaschine mit: Tokenisierung, Normalisierung, Stemming über linguistische Module, Phrasensuche, Nähe-Operatoren und Relevanzmaße wie BM25 sowie eigene Text-Matching-Signale, die Position und Nähe von Begriffen berücksichtigen. Für effizientes Retrieval über große Textmengen stehen Operatoren wie WAND und weakAnd zur Verfügung, die nicht jedes passende Dokument vollständig bewerten, sondern früh die aussichtsreichsten Kandidaten bestimmen. Die Abfragesprache ist YQL, eine an SQL angelehnte Syntax, in der sich Text-, Vektor- und Filterbedingungen frei kombinieren lassen.
Hinzu kommen Gruppierung und Aggregation, mit denen sich Facetten für die Navigation erzeugen lassen – etwa Anzahl der Treffer je Marke, Preisspanne oder Kategorie –, sowie ein Streaming-Modus, der für Daten gedacht ist, die stets nur innerhalb eines Benutzers oder Mandanten durchsucht werden, zum Beispiel persönliche E-Mails oder Dokumente. Der Streaming-Modus verzichtet auf globale Indizes und kann dadurch bei vielen kleinen, getrennten Datenbeständen deutlich wirtschaftlicher sein.
Das Herzstück von Vespa ist das Ranking. In Rank-Profilen definiert man, wie Dokumente bewertet werden. Dazu stehen Hunderte eingebaute Ranking-Merkmale zur Verfügung – Textrelevanz, Vektornähe, Attributwerte, Aktualität, geografische Nähe –, die mit mathematischen Ausdrücken und Tensor-Operationen frei kombiniert werden können. Entscheidend ist das Konzept der Ranking-Phasen: Eine erste, günstige Phase bewertet alle Treffer auf jedem Content-Knoten. Eine zweite Phase wendet ein aufwendigeres Modell nur auf die besten Kandidaten je Knoten an. Eine globale Phase kann schließlich über alle Knoten hinweg die Spitzenkandidaten mit besonders teuren Modellen neu bewerten, etwa mit einem Cross-Encoder. So bleibt die Latenz kontrollierbar, obwohl anspruchsvolle Modelle zum Einsatz kommen.
Bei der Skalierung folgt Vespa einem klaren Prinzip: Daten werden automatisch auf die Content-Knoten verteilt und repliziert, Abfragen werden parallel an alle relevanten Knoten gesendet, und die Ergebnisse werden zusammengeführt. Kommen Knoten hinzu oder fallen weg, verteilt Vespa die Daten selbstständig neu, ohne dass der Betrieb unterbrochen werden muss. Für mehr Abfragedurchsatz lassen sich Gruppen von Content-Knoten bilden, die jeweils eine vollständige Kopie der Daten halten. Diese Architektur ist auf Datenbestände in Größenordnungen ausgelegt, die weit über das hinausgehen, was ein typisches Mittelstandsprojekt benötigt – ein Sicherheitspolster, das aber auch Komplexität mitbringt.
Vespa erlaubt es, Embedding-Modelle als Komponenten in den Container-Knoten zu konfigurieren. Wird ein Dokument eingespielt, berechnet Vespa die Embeddings für die definierten Felder automatisch; wird eine Anfrage gestellt, wird auch der Anfragetext in der Engine vektorisiert. Unterstützt werden unter anderem gängige Modelle aus dem Hugging-Face-Umfeld im ONNX-Format, Modelle für Sparse-Repräsentationen nach dem SPLADE-Ansatz sowie ColBERT-Modelle für Multi-Vektor-Repräsentationen. Welche Embedder-Typen und Modelle konkret unterstützt und vorkonfiguriert sind, sollte in der aktuellen Dokumentation geprüft werden.
Für die Praxis hat das mehrere Vorteile. Die Architektur wird schlanker, weil kein separater Embedding-Service betrieben, skaliert und abgesichert werden muss. Die Gefahr, dass Dokumente und Anfragen versehentlich mit unterschiedlichen Modellversionen vektorisiert werden, sinkt, weil das Modell Teil des Application Packages ist. Und aus Datenschutzsicht ist besonders wichtig: Wenn Vespa selbst betrieben wird und das Embedding-Modell lokal in der Engine läuft, verlassen weder Dokumentinhalte noch Anfragen die eigene Infrastruktur. Wer lieber externe Embedding-Dienste nutzt, kann Vektoren aber selbstverständlich auch von außen anliefern. Für rechenintensive Modelle lassen sich Container-Knoten mit GPUs ausstatten; ob und wie das im gewählten Betriebsmodell möglich ist, ist im Einzelfall zu prüfen.
Klassische Embeddings verdichten einen ganzen Textabschnitt zu einem einzigen Vektor. Dabei gehen Details verloren. ColBERT und verwandte Late-Interaction-Ansätze erzeugen stattdessen einen Vektor pro Token und vergleichen Anfrage und Dokument auf Token-Ebene. Das liefert oft deutlich präzisere Ergebnisse, insbesondere bei längeren, fachlichen Texten, kostet aber viel Speicher und Rechenzeit. Vespa ist eine der wenigen Engines, die solche Multi-Vektor-Repräsentationen nativ über Tensoren abbilden und effizient im Ranking auswerten kann – zum Beispiel, indem in der ersten Phase günstige Einzelvektoren oder BM25 die Kandidaten bestimmen und erst in der zweiten Phase die ColBERT-Bewertung greift. Komprimierte und binarisierte Varianten senken dabei den Speicherbedarf. Derselbe Mechanismus eignet sich für visuelle Dokumentsuche, bei der Seitenbilder von PDFs mit Multi-Vektor-Modellen eingebettet werden.
Darüber hinaus bietet Vespa Komponenten, um aus den Suchergebnissen direkt eine Anfrage an ein Sprachmodell zu formulieren und die generierte Antwort auszuliefern, entweder über externe Modell-APIs oder über lokal betriebene Modelle. Ob man diese Funktion nutzt oder die Generierung bewusst in einer separaten Anwendungsschicht mit einem Framework orchestriert, ist eine Architekturentscheidung. In den meisten Projekten empfehlen wir, Vespa für das Retrieval und Ranking zu nutzen und die Generierung, Prompt-Logik und Agentensteuerung in einer eigenen Schicht zu halten. Das schafft klare Verantwortlichkeiten und erleichtert den Austausch von Sprachmodellen.
Für Data-Science- und KI-Teams ist pyvespa der wichtigste Einstiegspunkt. Die Python-Bibliothek erlaubt es, Schemas, Felder, Rank-Profile und Embedder direkt in Python zu definieren, daraus ein Application Package zu erzeugen und es lokal in einem Container oder in Vespa Cloud auszurollen. Dokumente lassen sich einspielen, Abfragen absetzen und Ranking-Varianten vergleichen – alles aus einem Notebook heraus. Für Experimente mit Embedding-Modellen, Hybrid-Ranking oder Evaluierung ist das ein sehr produktiver Arbeitsmodus.
Die Vespa CLI ist das Kommandozeilenwerkzeug für Entwickler und Betrieb. Mit ihr werden Application Packages erzeugt, validiert und ausgerollt, Dokumente eingespielt, Abfragen getestet und Logs abgerufen, sowohl gegen lokale Instanzen als auch gegen Vespa Cloud. Unter der Haube kommunizieren alle Werkzeuge über dokumentierte HTTP-Schnittstellen: eine Dokument-API zum Schreiben, Lesen und Aktualisieren, eine Query-API für Abfragen in YQL sowie Schnittstellen für Deployment und Betrieb. Für hohe Schreiblasten gibt es optimierte Feed-Clients. Für Java-Entwickler steht zudem die Möglichkeit offen, eigene Komponenten, sogenannte Searcher und Document Processors, direkt in den Container-Knoten auszuführen und Abfragen oder Dokumente programmatisch zu verändern.
Bei Vespa gilt allerdings noch stärker als bei anderen Systemen: Die Framework-Integrationen bilden meist nur einen kleinen Teil der Möglichkeiten ab. Rank-Profile mit mehreren Phasen, gemischte Tensoren, Gruppierung, partielle Updates oder die Feinsteuerung des Nearest-Neighbor-Operators sind über generische Vektorspeicher-Schnittstellen kaum erreichbar. In produktiven Projekten empfehlen wir deshalb, das Schema und die Rank-Profile bewusst selbst zu entwerfen – etwa mit pyvespa – und Frameworks für Orchestrierung, Prompting und Agentenlogik einzusetzen. Wer Vespa nur als austauschbaren Vektorspeicher hinter einem Framework nutzt, verschenkt den größten Teil seines Nutzens.
Für Machine Learning setzt Vespa auf offene Formate. Über ONNX lassen sich Modelle aus PyTorch, TensorFlow und anderen Bibliotheken exportieren und in Vespa für Embeddings oder Ranking ausführen. Gradient-Boosted-Trees aus verbreiteten Bibliotheken können ebenfalls importiert werden. Damit ist Vespa an das große Modell-Ökosystem rund um Hugging Face angeschlossen, ohne an einen bestimmten Modellanbieter gebunden zu sein. Für die Datenzufuhr gibt es neben den Feed-Clients Anbindungen an Streaming- und Messaging-Systeme sowie die Möglichkeit, Dokumente in der Engine selbst mit eigenen Verarbeitungsschritten anzureichern. Für Monitoring stellt Vespa Metriken bereit, die sich in verbreitete Überwachungssysteme übernehmen lassen.
Pinecone ist ein vollständig gemanagter, proprietärer Vektordienst aus den USA ohne Selbsthosting-Option für den Datenbankkern. Er punktet mit minimalem Betriebsaufwand und einem schnellen Einstieg. Für Unternehmen mit hohem Souveränitätsanspruch ist die fehlende Möglichkeit des Eigenbetriebs jedoch ein strukturelles Hindernis. Vespa bietet hier das Gegenmodell: dieselbe Engine wahlweise in der Cloud oder vollständig im eigenen Rechenzentrum.
Die Kernbotschaft der Abgrenzung: Vespa ist keine Abkürzung zum schnellen Vektorspeicher, sondern eine Plattform für Anwendungen, bei denen Relevanz und Ranking über den Geschäftserfolg mitentscheiden. Je mehr Signale in das Ranking einfließen sollen, je größer und dynamischer der Datenbestand ist und je wichtiger Latenz unter Last wird, desto stärker spielt Vespa seine Vorteile aus. Für einfache Wissensassistenten mit überschaubarem Bestand sind schlankere Systeme meist die pragmatischere Wahl.
Beim Selbstbetrieb wird Vespa als Container oder Paket auf eigenen Servern installiert. Eine Produktionsumgebung besteht typischerweise aus mehreren Config-Servern für die Ausfallsicherheit der Konfiguration, einem oder mehreren Container-Clustern für Abfragen, Feeds und Embeddings sowie einem Content-Cluster mit replizierten Daten. Diese Rollen lassen sich auf virtuellen Maschinen oder in Kubernetes betreiben; für Kubernetes gibt es Beispielkonfigurationen und Erfahrungsberichte, wobei Vespa mit seinen eigenen Konfigurations- und Verteilungsmechanismen nicht in allen Punkten dem typischen Kubernetes-Muster folgt. Wie der Betrieb auf Kubernetes aktuell unterstützt wird, sollte vor der Planung in der Dokumentation geprüft werden. Für Upgrades, Knotenwechsel und Wiederherstellung braucht das Team Erfahrung mit verteilten Systemen.
Vespa Cloud nimmt diese Aufgaben ab. Entwickler rollen ihr Application Package aus, und die Plattform kümmert sich um Knoten, Verteilung, Upgrades und Überwachung. Für Teams ohne eigene Plattform-Kompetenz ist das häufig der wirtschaftlichere Weg, zumal Entwicklungsumgebungen mit geringem Ressourcenbedarf schnelle Experimente ermöglichen. Die Abwägung lautet daher weniger Technik gegen Technik als Datenhoheit und Kontrolle gegen Betriebsaufwand – ein Thema, das wir in Kapitel 09 aus Datenschutzsicht vertiefen. Eine Zwischenlösung ist der Betrieb der Open-Source-Engine durch einen spezialisierten Dienstleister oder europäischen Hoster.
Die Lernkurve ist der am häufigsten genannte Nachteil von Vespa, und sie ist real. Teams müssen Konzepte verstehen, die es in einfachen Vektordatenbanken nicht gibt: Application Packages, die Unterscheidung von Index-, Attribut- und Summary-Feldern, Tensor-Typen und Tensor-Ausdrücke, Rank-Profile mit mehreren Phasen, die Abfragesprache YQL und das Zusammenspiel von Config-, Container- und Content-Knoten. Die Dokumentation ist umfangreich und es gibt viele Beispielanwendungen, aber der Einstieg verlangt Zeit. Wir planen in Projekten bewusst eine Lern- und Experimentierphase ein, in der das Team mit realen Daten und realen Anfragen arbeitet.
Typische Stolpersteine sind ein zu frühes Optimieren der Infrastruktur statt des Rankings, Felder, die versehentlich nicht als Attribut definiert sind und dadurch langsame Filter verursachen, sowie Rank-Profile, die ohne Evaluierung immer komplexer werden. Auch der Speicherbedarf von Multi-Vektor-Repräsentationen und HNSW-Indizes wird häufig unterschätzt; Attributfelder und Indizes liegen größtenteils im Arbeitsspeicher. Vor dem Produktivstart sollte deshalb ein Lasttest mit realistischer Datenmenge und realistischem Abfragemuster stehen.
Der Mehrwert entsteht vor allem dort, wo viele Signale zusammenkommen. Ein Onlineshop mit großem Sortiment möchte Suchbegriffe exakt treffen, Synonyme und Umschreibungen verstehen, nur verfügbare Artikel zeigen, Marge und Saisonalität berücksichtigen und Ergebnisse personalisieren. Ein technischer Großhändler möchte, dass Kunden über Artikelnummern, Normbezeichnungen und Freitext gleichermaßen fündig werden. Ein Industrieunternehmen möchte sein verteiltes Wissen aus Handbüchern, Serviceberichten und Konstruktionsdokumenten so durchsuchbar machen, dass ein Sprachmodell belastbare Antworten mit Quellenangabe formuliert.
Ein typisches Mittelstandsprojekt mit Vespa sieht in unserer Praxis etwa so aus: Produktdaten aus dem PIM- oder ERP-System und Inhalte aus dem CMS werden über eine Ingestion-Pipeline nach Vespa übertragen. Preise und Bestände kommen als partielle Updates in kurzen Abständen hinzu. Ein lokal in der Engine betriebenes Embedding-Modell vektorisiert Produktbeschreibungen beim Einspielen. Das Rank-Profil kombiniert in der ersten Phase BM25 auf Titel und Beschreibung mit der Vektorähnlichkeit, ergänzt Verfügbarkeit und Popularität und bewertet die besten Kandidaten in einer zweiten Phase mit einem stärkeren Modell. Die Shop-Anwendung fragt Vespa über die Query-API ab und nutzt Gruppierung für die Facetten. Für einen ergänzenden Beratungsassistenten liefert dieselbe Vespa-Instanz die Kontexte für ein Sprachmodell, das idealerweise ebenfalls in Europa oder selbst betrieben wird.
Ehrlich betrachtet ist Vespa für viele Mittelstandsprojekte mehr, als nötig ist. Ein interner Wissensassistent über einige tausend Dokumente mit wenigen hundert Anfragen pro Tag lässt sich mit pgvector, Qdrant oder einer vergleichbaren Lösung schneller und mit weniger Spezialwissen umsetzen. Auch wenn kein Team vorhanden ist, das sich mit Ranking und Evaluierung beschäftigen will, verpufft ein großer Teil des Vespa-Nutzens. Vespa lohnt sich typischerweise, wenn mindestens einer der folgenden Punkte zutrifft: Suche ist umsatz- oder prozesskritisch, der Datenbestand ist groß oder ändert sich ständig, viele Signale sollen ins Ranking einfließen, die Lösung soll über Jahre ohne Architekturwechsel wachsen, oder Datenhoheit mit voller Funktionalität im Eigenbetrieb ist Pflicht. Treffen diese Punkte nicht zu, empfehlen wir, mit einer schlankeren Lösung zu starten und Vespa als Option für die nächste Ausbaustufe im Blick zu behalten.
Der Selbstbetrieb der Open-Source-Engine im eigenen Rechenzentrum oder bei einem deutschen beziehungsweise europäischen Hoster ist die souveränste Option. Dokumente, Embeddings, Suchanfragen und Logs verbleiben vollständig im eigenen Verantwortungsbereich. Wird zusätzlich das Embedding-Modell in der Engine und das Sprachmodell lokal oder bei einem europäischen Anbieter betrieben, entsteht eine durchgängig kontrollierbare Verarbeitungskette. Bei einem Hoster ist dieser Auftragsverarbeiter; ein entsprechender Vertrag ist abzuschließen, und dessen Unterauftragnehmer sind zu prüfen.
Bei Vespa Cloud ist zunächst der Anbieter selbst zu betrachten. Vespa.ai hat seinen Ursprung und Entwicklungsschwerpunkt in Norwegen. Norwegen ist zwar kein EU-Mitglied, aber Teil des Europäischen Wirtschaftsraums und wendet die DSGVO an; Datenübermittlungen dorthin gelten datenschutzrechtlich nicht als Drittlandtransfer. Gesellschaftsstruktur, Vertragspartner und Sitz sollten für die Bewertung trotzdem aktuell beim Anbieter geprüft werden. Zu berücksichtigen ist außerdem, dass Vespa Cloud auf der Infrastruktur großer Hyperscaler läuft, die ihren Hauptsitz in den USA haben. Welche Regionen in der Europäischen Union zur Verfügung stehen, welche Unterauftragsverarbeiter eingesetzt werden, wie Supportzugriffe geregelt sind und wie mögliche Zugriffsrechte nach dem US CLOUD Act auf Infrastrukturebene zu bewerten sind, gehört in die Prüfung durch Datenschutzbeauftragte. Varianten, bei denen die Infrastruktur im eigenen Cloud-Konto des Kunden läuft, können die Kontrolle erhöhen; ihr Umfang ist beim Anbieter zu prüfen.
Unabhängig vom Betriebsmodell gilt: Suchindizes enthalten oft genau die Daten, die besonders schützenswert sind – Kundendaten, Vertragsinhalte, interne Dokumente, Suchanfragen von Mitarbeitenden und Kunden. Embeddings sind keine anonymen Daten; aus ihnen lassen sich unter Umständen Rückschlüsse auf die Ursprungstexte ziehen. Wichtig sind deshalb ein Berechtigungskonzept, das Dokumente bereits im Retrieval filtert, ein Löschkonzept für Auskunfts- und Löschersuchen, das Repliken und Backups einschließt, sowie eine Protokollierung, die Suchanfragen nicht länger als nötig speichert. Der Streaming-Modus kann bei streng mandantengetrennten Daten zusätzlich helfen, weil Daten je Benutzer oder Mandant getrennt verarbeitet werden.
Die Kostenstruktur von Vespa wird von drei Faktoren bestimmt. Erstens von den Ressourcen: Arbeitsspeicher für Attribute und HNSW-Indizes, Festplatte für Dokumente und Textindizes, Rechenleistung für Embeddings und Ranking-Modelle. Multi-Vektor-Repräsentationen und große Modelle in der zweiten Ranking-Phase treiben den Bedarf, kompakte Vektorformate und binäre Repräsentationen senken ihn. Zweitens vom Betriebsmodell: Beim Selbstbetrieb fallen keine Lizenzgebühren an, wohl aber Kosten für Server, Replikate, Backups, Monitoring und die Arbeitszeit des Betriebsteams. Vespa Cloud wird ressourcenbasiert abgerechnet, abhängig von den bereitgestellten Knoten und deren Ausstattung; aktuelle Preise und Konditionen sind beim Anbieter zu prüfen.
Drittens – und oft unterschätzt – vom Know-how. Die Lernkurve von Vespa bedeutet, dass Einarbeitung, Ranking-Entwicklung und Evaluierung einen relevanten Anteil am Projektbudget ausmachen. Dem steht gegenüber, dass Vespa mehrere Komponenten ersetzen kann, die sonst separat betrieben werden müssten: Suchmaschine, Vektordatenbank, Embedding-Service und Reranking-Dienst. In der Wirtschaftlichkeitsbetrachtung sollte man deshalb nicht Vespa gegen eine einzelne Vektordatenbank rechnen, sondern Vespa gegen die gesamte Kette, die es ersetzt – und gegen den Geschäftswert einer besseren Suche, etwa höhere Konversion oder kürzere Suchzeiten im Service.