Um Annoy einordnen zu können, lohnt ein Blick auf das Grundproblem. Moderne KI-Anwendungen arbeiten mit Embeddings: Ein Modell übersetzt Texte, Bilder, Produkte, Songs oder Nutzerprofile in Zahlenreihen mit oft mehreren Hundert Dimensionen. Inhaltlich Ähnliches liegt in diesem Vektorraum nah beieinander. Wer zu einer Kundenanfrage die passenden Handbuchabschnitte sucht, zu einem Produkt ähnliche Artikel vorschlagen oder doppelte Lieferantenstammdaten erkennen will, muss also die nächsten Nachbarn eines Vektors finden. Bei wenigen Tausend Einträgen genügt es, jeden Vektor mit der Anfrage zu vergleichen. Bei Millionen Einträgen und vielen Anfragen pro Sekunde wird dieser exakte Vergleich zu langsam – hier setzen Verfahren für die approximative Suche an. Sie verzichten auf die Garantie, immer exakt die besten Treffer zu liefern, und gewinnen dafür eine um Größenordnungen schnellere Antwort.
Annoy ist eines der bekanntesten frühen Werkzeuge dieser Art. Die Bibliothek ist klein, gut verständlich und lässt sich mit wenigen Zeilen Python verwenden: Man legt einen Index mit fester Dimension und Distanzmaß an, fügt Vektoren mit ganzzahligen Kennungen hinzu, baut den Index mit einer gewählten Zahl von Bäumen, speichert ihn und kann ihn danach in jedem Prozess laden und abfragen. Genau diese Schlichtheit hat Annoy über Jahre populär gemacht – in Empfehlungssystemen, in Forschungsprojekten, in Data-Science-Notebooks und als eingebettete Komponente in größeren Anwendungen.
Annoy arbeitet mit sogenannten Random-Projection-Bäumen. Die Idee lässt sich anschaulich erklären: Man wählt aus dem Datenbestand zufällig zwei Punkte aus und legt genau in die Mitte zwischen beiden eine Trennebene. Alle Vektoren auf der einen Seite wandern in den linken Teilbaum, alle auf der anderen Seite in den rechten. Dieser Vorgang wird in jedem Teilbaum wiederholt, bis nur noch wenige Vektoren in einem Blatt übrig sind. Am Ende ist der Vektorraum in viele kleine Regionen zerlegt, und ähnliche Vektoren landen mit hoher Wahrscheinlichkeit in derselben oder einer benachbarten Region.
Ein einzelner solcher Baum ist allerdings unzuverlässig: Zwei sehr ähnliche Vektoren können zufällig auf unterschiedlichen Seiten einer Trennebene landen und werden dann nicht als Nachbarn erkannt. Annoy baut deshalb nicht einen, sondern einen ganzen Wald unabhängiger Bäume mit jeweils anderen Zufallsschnitten. Bei einer Anfrage werden alle Bäume gleichzeitig durchlaufen, die Kandidaten aus den erreichten Blättern gesammelt, anschließend exakt nachgemessen und die besten zurückgegeben. Je mehr Bäume und je mehr untersuchte Kandidaten, desto höher die Trefferqualität – und desto größer Index und Rechenaufwand. Dieses Gleichgewicht steuert man über zwei zentrale Parameter, die wir in Kapitel 03 ausführlich erklären.
Annoy wurde für ein sehr bestimmtes Szenario entworfen: Ein großer, sich nur gelegentlich ändernder Bestand an Vektoren soll von vielen Prozessen parallel mit sehr geringer Latenz abgefragt werden. Typisch ist ein nächtlich oder wöchentlich neu berechnetes Empfehlungsmodell, dessen Ergebnis als Indexdatei auf zahlreiche Server verteilt wird. Dort laden mehrere Arbeitsprozesse dieselbe Datei per Memory-Mapping, ohne dass der Arbeitsspeicher mehrfach belegt wird. Für dieses Muster ist Annoy auch heute noch elegant.
Ebenso klar sind die Grenzen. Annoy kennt keine Aktualisierung einzelner Einträge nach dem Bau, keine Filter nach Metadaten, keine Zugriffskontrolle, keine Replikation und keine Netzwerkschnittstelle. Wer Dokumente laufend hinzufügen, ändern oder löschen möchte, wer nach Mandant, Abteilung oder Gültigkeitsdatum filtern muss oder wer eine zentrale Wissensbasis für viele Anwendungen sucht, braucht eine Vektordatenbank oder muss all diese Funktionen selbst um Annoy herum bauen. Annoy ist ein Baustein, kein Produkt.
Annoy entstand bei Spotify im Umfeld der Musikempfehlungen. Die Aufgabe dort war typisch für frühe Empfehlungssysteme auf Basis latenter Faktoren: Aus Hörverhalten werden Vektoren für Nutzer und Titel berechnet, und für einen Nutzer- oder Titelvektor sollen die ähnlichsten Titel gefunden werden. Bei einem Katalog mit vielen Millionen Einträgen und einer enormen Zahl an Anfragen war der exakte Vergleich keine Option. Gleichzeitig mussten die Indizes auf viele Server verteilt und von zahlreichen Prozessen gelesen werden.
Aus diesen Anforderungen ergeben sich die prägenden Eigenschaften von Annoy: Der Index ist eine einzige, unveränderliche Datei, die sich wie ein Artefakt in einer Datenpipeline verteilen lässt. Sie wird per Memory-Mapping geladen, sodass das Betriebssystem die Seiten nur bei Bedarf einliest und mehrere Prozesse denselben Speicher teilen. Und der Bau ist vom Abfragen getrennt: Ein Batch-Job erzeugt den Index, Produktivdienste lesen ihn nur. Der Hauptautor hat das Projekt als Open Source veröffentlicht, und es wurde schnell auch außerhalb von Spotify genutzt. Im Umfeld des Projekts entstand zudem ein bekanntes, öffentliches Benchmark-Projekt zum Vergleich von ANN-Verfahren, das bis heute als Referenz für die Bewertung solcher Bibliotheken dient.
Im Kategorienraster dieser Wissensdatenbank steht Annoy neben Vektordatenbanken wie Qdrant oder Milvus – technisch spielt es aber in einer anderen Liga. Eine Vektordatenbank ist ein eigenständiger Dienst: Sie nimmt Daten über eine Schnittstelle entgegen, speichert Vektoren zusammen mit Metadaten, erlaubt Änderungen und Löschungen im laufenden Betrieb, filtert Treffer nach Attributen, sichert Daten, repliziert sie und regelt Zugriffsrechte. Eine ANN-Bibliothek wie Annoy liefert nur den Kern dieser Funktionalität – den Suchindex – und überlässt alles andere der Anwendung.
Das ist weder ein Mangel noch ein Vorteil an sich, sondern eine Architekturentscheidung. In Szenarien mit festen Datenständen und einem einzigen Zweck spart der Verzicht auf eine Datenbank Betriebsaufwand: Es gibt keinen Server zu überwachen, keine Ports abzusichern, keine Versionen eines Datenbankclusters zu pflegen. In Szenarien mit veränderlichen Daten, Berechtigungen und mehreren Nutzern verlagert der Verzicht dagegen erhebliche Arbeit in die eigene Software – und mit ihr das Risiko von Fehlern. Viele Vektordatenbanken nutzen intern übrigens selbst ANN-Bibliotheken oder vergleichbare Indexverfahren; Annoy war in der Frühphase mancher Projekte auch eine der unterstützten Indexoptionen.
Das Annoy-Repository ist weiterhin öffentlich zugänglich, und die Bibliothek lässt sich über die üblichen Paketquellen installieren. Die Entwicklungsaktivität ist über die Jahre jedoch deutlich zurückgegangen; größere funktionale Erweiterungen sind nicht zu erwarten. Spotify hat mit Voyager eine neuere Bibliothek auf Basis des graphbasierten HNSW-Verfahrens veröffentlicht und sie als modernen Nachfolger für Anwendungsfälle positioniert, in denen früher Annoy zum Einsatz kam. Wie aktiv beide Projekte aktuell gepflegt werden, wann das letzte Release erschien, wie mit gemeldeten Fehlern und Sicherheitshinweisen umgegangen wird und ob vorgefertigte Pakete für aktuelle Python-Versionen und Betriebssysteme bereitstehen, sollte man vor einer Entscheidung direkt auf GitHub und in den Paketquellen prüfen.
Für bestehende Installationen heißt das nicht, dass Annoy sofort ersetzt werden muss. Die Bibliothek ist klein, ihr Verhalten gut verstanden, und sie hängt kaum von externen Diensten ab. Das Risiko liegt eher in der Umgebung: neue Compiler, neue Python-Versionen oder neue Prozessorarchitekturen, für die irgendwann keine fertigen Pakete mehr bereitstehen. Wer Annoy produktiv nutzt, sollte deshalb die Build-Umgebung festschreiben, Indexdateien versionieren und eine Ablösung mittelfristig einplanen.
Beim Anlegen eines Index legt man zwei Dinge fest: die Dimension der Vektoren und das Distanzmaß. Annoy unterstützt die gängigen Varianten. Die Winkeldistanz entspricht im Kern der Kosinus-Ähnlichkeit und ist für die meisten Text-Embeddings die richtige Wahl, weil dort die Richtung eines Vektors wichtiger ist als seine Länge. Die euklidische Distanz misst den direkten Abstand im Raum und eignet sich für Embeddings, die dafür trainiert wurden, sowie für viele klassische Merkmalsvektoren. Hinzu kommen die Manhattan-Distanz, die Summe der Abstände entlang der Achsen, die Hamming-Distanz für binäre Vektoren und das Skalarprodukt, das vor allem in Empfehlungssystemen mit Matrixfaktorisierung relevant ist. Welche Metrik passt, gibt das Embedding-Modell vor; ein Fehlgriff verschlechtert die Treffer, ohne dass eine Fehlermeldung erscheint.
Das Datenmodell ist bewusst minimal. Jeder Vektor wird unter einer nicht-negativen Ganzzahl als Kennung abgelegt. Weitere Informationen – Dokumenttitel, Textabschnitt, Kategorie, Berechtigung, Datum – speichert Annoy nicht. Die Anwendung muss also selbst eine Zuordnung von Kennung zu Inhalt pflegen, etwa in einer relationalen Datenbank, einer Schlüssel-Wert-Datei oder einem einfachen Dataframe. Wichtig ist eine Eigenheit: Annoy reserviert intern Platz bis zur höchsten vergebenen Kennung. Wer also sehr große, lückenhafte Kennungen verwendet, verschwendet Speicher. Bewährt hat sich eine fortlaufende Nummerierung ab null, die beim Indexbau aus den eigentlichen Primärschlüsseln abgeleitet und als Mapping mitgespeichert wird.
Die beiden wichtigsten Parameter wirken an unterschiedlichen Stellen. Der Parameter n_trees wird beim Bau festgelegt und bestimmt, wie viele Zufallsbäume der Wald enthält. Mehr Bäume erhöhen die Wahrscheinlichkeit, dass echte Nachbarn in mindestens einem Baum gemeinsam mit der Anfrage in einer Region landen. Das verbessert die Trefferqualität, vergrößert aber die Indexdatei und verlängert die Bauzeit ungefähr proportional. Ein einmal gebauter Index lässt sich in diesem Punkt nicht mehr ändern; wer mehr Bäume möchte, baut neu.
Der Parameter search_k wird dagegen bei jeder Abfrage gesetzt und bestimmt, wie viele Knoten beziehungsweise Kandidaten insgesamt untersucht werden, bevor Annoy die besten Treffer exakt nachmisst und zurückgibt. Ein höherer Wert erhöht die Genauigkeit auf Kosten der Antwortzeit; ohne Angabe wählt Annoy einen Standardwert, der sich aus der Zahl der Bäume und der gewünschten Trefferzahl ergibt. Das Zusammenspiel lässt sich qualitativ so zusammenfassen: n_trees bestimmt, wie gut die Landkarte ist, search_k, wie gründlich man sie bei jeder Frage absucht. In der Praxis legt man n_trees so fest, dass der Index noch bequem in Arbeitsspeicher und Verteilungsprozess passt, und justiert search_k anschließend anhand einer Messung, welcher Anteil der exakten Nachbarn bei vertretbarer Latenz gefunden wird.
Ergänzend gibt es einige weitere Stellschrauben: Ein Zufalls-Seed macht Indexbauten reproduzierbar, was für Tests und Vergleiche wichtig ist. Der Bau kann auf mehrere Prozessorkerne verteilt werden. Und eine Option erlaubt es, den Index direkt auf der Festplatte zu bauen, statt ihn vollständig im Arbeitsspeicher aufzubauen – hilfreich, wenn der Bestand größer ist als der verfügbare RAM des Build-Rechners. Abfragen können über eine vorhandene Kennung erfolgen – etwa „finde Titel ähnlich zu Titel 4711“ – oder über einen beliebigen Anfragevektor, optional mit Rückgabe der Distanzen.
Die wichtigste Designentscheidung von Annoy ist die Unveränderlichkeit des Index. Solange er nicht gebaut ist, lassen sich Vektoren hinzufügen. Nach dem Bau ist der Index eingefroren: Neue Einträge, geänderte Vektoren oder Löschungen sind nicht vorgesehen. Jede inhaltliche Änderung bedeutet einen kompletten Neubau. Für Bestände, die sich einmal täglich ändern, ist das unproblematisch; für Bestände, die sich minütlich ändern, ist es ein Ausschlusskriterium.
Im Gegenzug ist der gespeicherte Index eine einfache Datei, die per Memory-Mapping geladen wird. Das Betriebssystem bildet die Datei in den Adressraum des Prozesses ab und lädt Seiten erst, wenn sie gebraucht werden. Das Laden selbst dauert daher nur Augenblicke, auch bei großen Indizes. Noch wichtiger: Laden mehrere Prozesse auf demselben Rechner dieselbe Datei, teilen sie sich die Speicherseiten im Seitencache des Betriebssystems. Ein Webdienst mit vielen Arbeitsprozessen belegt den Index also nicht mehrfach im RAM. Für Python-Anwendungen, die wegen des Global Interpreter Lock häufig auf mehrere Prozesse statt Threads setzen, ist das ein handfester Vorteil. Zu beachten ist, dass die Antwortzeit von der Lage der Seiten abhängt: Liegen die benötigten Teile noch nicht im Seitencache, wird von der Festplatte gelesen, was spürbar langsamer ist als ein Zugriff auf bereits geladene Seiten.
Der klassische Einsatzfall ist das Empfehlungssystem. Ein Modell berechnet für Produkte, Inhalte oder Nutzer Vektoren – etwa aus Kaufhistorien, Klickverhalten, Produktbeschreibungen oder Bildern. Annoy findet dann zu jedem Produkt die ähnlichsten Produkte oder zu einem Nutzervektor die passendsten Artikel. Weil sich Produktkatalog und Modell meist nur in festen Zyklen ändern, passt das statische Indexmodell gut: Nachts wird das Modell neu trainiert, der Index neu gebaut, verteilt und von den Webservern geladen. Tagsüber beantwortet der Index Anfragen in Millisekunden.
Im Mittelstand begegnet uns dieses Muster bei Onlineshops mit großem Sortiment, bei Ersatzteilkatalogen, bei Fachportalen mit vielen Artikeln oder bei B2B-Plattformen, die zu einer Anfrage vergleichbare Produkte vorschlagen sollen. Wichtig ist, die geschäftliche Logik nicht zu vergessen: Annoy liefert ähnliche Vektoren, aber keine Information darüber, ob ein Artikel lieferbar, für einen Kunden freigegeben oder überhaupt noch im Sortiment ist. Diese Prüfung erfolgt anschließend in der Anwendung – mit der Konsequenz, dass man mehr Kandidaten abfragen sollte, als am Ende angezeigt werden, damit nach dem Aussortieren noch genug übrig bleiben.
Für eine semantische Suche werden Dokumente, Produktbeschreibungen oder Tickettexte mit einem Embedding-Modell vektorisiert und in einen Annoy-Index geschrieben. Eine Suchanfrage wird mit demselben Modell vektorisiert, und Annoy liefert die inhaltlich nächsten Einträge. So findet eine Anfrage wie „Gerät schaltet sich nach kurzer Zeit ab“ auch einen Wartungshinweis, in dem von „automatischer Abschaltung durch Überhitzung“ die Rede ist. Für feste Dokumentensammlungen – ein Produkthandbuch, ein archivierter Wissensbestand, ein Normenkatalog – ist das ohne zusätzliche Infrastruktur realisierbar.
Ein oft unterschätzter Anwendungsfall ist die Dubletten- und Ähnlichkeitserkennung in Stammdaten. Kunden-, Lieferanten- oder Materialstammdaten enthalten in vielen Unternehmen Einträge, die dasselbe meinen, aber unterschiedlich geschrieben sind: abgekürzte Firmennamen, vertauschte Wortreihenfolgen, Tippfehler, unterschiedliche Bezeichnungen für dasselbe Bauteil. Werden diese Einträge vektorisiert, findet Annoy für jeden Datensatz die ähnlichsten Kandidaten, die anschließend regelbasiert oder von Fachleuten geprüft werden. Weil solche Prüfungen typischerweise als Batch laufen, ist der statische Index hier kein Nachteil. Gleiches gilt für das Clustern von Support-Tickets, das Erkennen nahezu identischer Bilder oder das Zuordnen von Freitextangaben zu einer bestehenden Taxonomie.
In einer Retrieval-Augmented-Generation-Architektur übernimmt Annoy die Rolle des Retrievers: Dokumente werden in Abschnitte zerlegt, vektorisiert und indexiert; eine Frage wird vektorisiert, Annoy liefert die ähnlichsten Abschnitte, und ein Sprachmodell formuliert daraus eine Antwort mit Quellen. Technisch funktioniert das, und für Prototypen, Demonstratoren oder fest umrissene Wissensbestände ist es eine schlanke Lösung. Einige RAG-Frameworks bieten oder boten Annoy als einen von mehreren Vektorspeichern an; den aktuellen Stand der jeweiligen Integration sollte man in deren Dokumentation prüfen.
Für produktive Unternehmens-RAG stößt Annoy jedoch schnell an Grenzen. Unternehmenswissen ändert sich laufend, Dokumente müssen nach Abteilung, Mandant oder Vertraulichkeit gefiltert werden, und Antworten sollen nur auf Inhalte zugreifen, die der fragenden Person zustehen. All das muss bei Annoy außerhalb des Index gelöst werden. Hinzu kommt, dass moderne Retrieval-Pipelines meist Hybrid-Suche aus Volltext und Vektoren sowie ein nachgelagertes Reranking nutzen. Annoy kann dort als Vektorkomponente mitspielen, die Kombination und Bewertung aber nicht selbst übernehmen. In Architekturen, die wir begleiten, findet Annoy deshalb eher als spezialisierter Index für einen klar abgegrenzten, statischen Teilbestand Verwendung als als zentrale Wissensbasis.
Die offizielle Python-Anbindung ist der mit Abstand häufigste Zugang zu Annoy. Die Schnittstelle ist bewusst klein gehalten: Index anlegen, Vektoren hinzufügen, bauen, speichern, laden, abfragen, entladen. Vektoren werden als Listen oder Arrays übergeben und lassen sich problemlos aus NumPy-Arrays, Pandas-Dataframes oder den Ausgaben gängiger Modellbibliotheken befüllen. Für Teams mit Data-Science-Hintergrund ist Annoy dadurch in kurzer Zeit produktiv nutzbar, und Experimente lassen sich in Notebooks ohne zusätzliche Dienste durchführen.
Neben Python existieren Anbindungen und Portierungen für weitere Sprachen, darunter Implementierungen für die JVM, für R, für Go und für weitere Umgebungen. Diese Projekte werden überwiegend von der Community getragen und sind unterschiedlich aktiv gepflegt. Wer Indizes in Python baut und in einer anderen Sprache lesen will, sollte die Kompatibilität des Dateiformats sorgfältig testen – insbesondere bei unterschiedlichen Versionen, Distanzmaßen und Plattformen. Für C++-Anwendungen lässt sich der Kern direkt einbinden, da er im Wesentlichen aus Header-Dateien besteht.
Annoy erzeugt keine Vektoren. Diese liefert ein Embedding-Modell – je nach Anwendungsfall ein Textmodell, ein Bildmodell, ein multimodales Modell oder ein eigenes, auf Interaktionsdaten trainiertes Empfehlungsmodell. Für Texte sind Open-Source-Modelle aus der Sentence-Transformers-Familie und vergleichbare mehrsprachige Modelle verbreitet, die sich lokal betreiben lassen. Alternativ kommen Embedding-Schnittstellen kommerzieller Anbieter infrage. Für deutschsprachige Inhalte empfiehlt sich ein Modell, das nachweislich gut mit Deutsch und Fachbegriffen umgeht; das sollte man mit eigenen Beispielen testen statt sich auf allgemeine Ranglisten zu verlassen.
Zwei Punkte sind bei der Kombination mit Annoy besonders wichtig. Erstens muss das Distanzmaß zum Modell passen – die meisten Text-Embeddings sind für Kosinus-Ähnlichkeit ausgelegt, was in Annoy der Winkeldistanz entspricht. Zweitens ist der Index an das Modell gebunden: Ein Wechsel des Modells oder auch nur der Modellversion verändert alle Vektoren und erfordert eine vollständige Neuberechnung und einen neuen Index. Das Modell, mit dem ein Index erstellt wurde, sollte daher als Metadatum mit der Indexdatei versioniert werden. Aus Datenschutzsicht entscheidet die Wahl des Embedding-Modells zudem darüber, ob Klartexte die eigene Infrastruktur verlassen.
Weil Annoy-Indizes einmal gebaut und dann verteilt werden, gehört ihr Bau typischerweise in eine Batch-Pipeline. In größeren Umgebungen werden Embeddings mit verteilten Verarbeitungsframeworks wie Apache Spark berechnet, anschließend auf einem Build-Rechner zu einem Index zusammengeführt und als Artefakt in einem Objektspeicher abgelegt. Orchestrierungswerkzeuge wie Airflow, Dagster oder Prefect steuern den Ablauf, prüfen die Qualität des neuen Index und lösen die Verteilung an die Abfragedienste aus. In kleineren Umgebungen genügt ein geplanter Job, der aus einer Datenbanktabelle exportiert, vektorisiert und den Index auf ein Netzlaufwerk schreibt.
Ein bewährtes Muster ist es, den Index nicht als einzelne Datei, sondern als Paket zu behandeln: Indexdatei, Mapping von Kennungen zu Primärschlüsseln, Modellbezeichnung, Distanzmaß, Dimension, Zahl der Bäume, Bauzeitpunkt und eine Prüfsumme. Die Abfragedienste laden nur vollständige, validierte Pakete und wechseln atomar von der alten auf die neue Version. So lassen sich fehlerhafte Builds erkennen, ohne den Produktivbetrieb zu stören, und ältere Versionen bei Bedarf wiederherstellen.
FAISS ist die von Meta entwickelte Bibliothek für Ähnlichkeitssuche und Clustering dichter Vektoren. Sie bietet eine große Auswahl an Indextypen – von exakter Suche über invertierte Listen bis zu Produktquantisierung und graphbasierten Verfahren – und kann auf Grafikprozessoren rechnen. FAISS ist deutlich mächtiger und flexibler als Annoy, aber auch komplexer in der Auswahl und Parametrisierung. Wer große Bestände stark komprimieren oder GPU-Beschleunigung nutzen will, ist bei FAISS besser aufgehoben. Wer lediglich einen kleinen, leicht verständlichen statischen Index braucht, kommt mit Annoy schneller ans Ziel.
hnswlib ist eine schlanke Bibliothek, die das graphbasierte HNSW-Verfahren umsetzt. HNSW hat sich in vielen öffentlichen Vergleichen als sehr gutes Verhältnis aus Trefferqualität und Geschwindigkeit etabliert und ist heute das Standardverfahren zahlreicher Vektordatenbanken. Im Unterschied zu Annoy erlaubt hnswlib das nachträgliche Hinzufügen von Einträgen und das Markieren von Einträgen als gelöscht, liegt aber vollständig im Arbeitsspeicher und nutzt kein Memory-Mapping im Sinne von Annoy. Für neue Projekte mit eingebetteter Suche ist hnswlib oder eine darauf aufbauende Bibliothek häufig die naheliegendere Wahl. ScaNN aus dem Umfeld von Google setzt auf Quantisierungsverfahren, die besonders bei Skalarprodukt-Suche effizient sind. Es eignet sich für große Bestände mit hohen Effizienzanforderungen, ist aber vor allem im Linux- und Python-Umfeld zuhause; Plattformunterstützung und Pflegestand sind beim Anbieter zu prüfen.
Mit Voyager hat Spotify selbst eine Bibliothek veröffentlicht, die als moderner Ersatz für Annoy gedacht ist. Voyager basiert auf HNSW, bietet Anbindungen für Python und Java und unterstützt nach Angaben des Anbieters unter anderem das inkrementelle Hinzufügen von Einträgen und kompaktere Speicherformate für Vektoren. Damit adressiert Voyager genau die Punkte, an denen Annoy in modernen Anwendungen am häufigsten kritisiert wird. Spotify hat in eigenen Veröffentlichungen deutliche Vorteile gegenüber Annoy bei Geschwindigkeit, Genauigkeit und Speicherbedarf beschrieben; konkrete Zahlen sollte man nicht ungeprüft übernehmen, sondern mit eigenen Daten messen.
Für Teams, die Annoy einsetzen und eine Ablösung planen, ist Voyager ein naheliegender Kandidat, weil die Denkweise – eingebettete Bibliothek, Indexdatei, Python und JVM – ähnlich bleibt. Allerdings ist auch Voyager eine Bibliothek und keine Datenbank: Metadatenfilter, Berechtigungen und Replikation bleiben Aufgabe der Anwendung. Wie aktiv Voyager aktuell gepflegt wird und welche Funktionen in der jeweils aktuellen Version verfügbar sind, sollte man beim Anbieter beziehungsweise im Repository prüfen.
pgvector erweitert PostgreSQL um Vektorfelder und Indizes. Vektoren liegen dann direkt neben den Geschäftsdaten, lassen sich transaktional ändern, mit SQL filtern und mit den bekannten Backup- und Berechtigungsmechanismen von PostgreSQL verwalten. Für viele mittelständische RAG-Projekte ist das der pragmatischste Weg, weil keine neue Technologie eingeführt werden muss. Dedizierte Vektordatenbanken wie Qdrant oder Milvus gehen einen Schritt weiter: Sie sind für große Bestände, hohe Last, umfangreiche Filter, Mandantenfähigkeit und verteilten Betrieb ausgelegt und bieten Schnittstellen, über die viele Anwendungen dieselbe Wissensbasis nutzen.
Die Kernbotschaft der Abgrenzung: Annoy ist kein Ersatz für eine Vektordatenbank, sondern ein Werkzeug für einen bestimmten Ausschnitt des Problems. Sobald Daten sich laufend ändern, Filter nach Metadaten oder Berechtigungen benötigt werden oder mehrere Anwendungen auf denselben Bestand zugreifen, sind pgvector oder eine Vektordatenbank in aller Regel die bessere Wahl. Annoy behält seinen Platz dort, wo ein statischer Index als Datei mit minimalem Betriebsaufwand gewünscht ist – und selbst dort sprechen bei Neuprojekten oft gute Gründe für einen aktiver gepflegten Nachfolger.
Da ein Annoy-Index nach dem Bau unveränderlich ist, wird jede Änderung des Datenbestands über einen vollständigen Neubau abgebildet. Die zentrale Betriebsfrage lautet deshalb: Wie aktuell muss der Index sein? Bei Produktempfehlungen genügt oft ein nächtlicher Lauf, bei einer Dublettenprüfung ein wöchentlicher. Bei einem Wissensassistenten, in dem neue Dokumente sofort auffindbar sein sollen, ist das statische Modell dagegen kaum tragfähig. Ein Kompromiss ist ein zweistufiger Ansatz: Ein großer Annoy-Index für den stabilen Bestand wird periodisch neu gebaut, während neue Einträge seit dem letzten Bau in einem kleinen Zusatzindex oder per exakter Suche durchsucht und die Ergebnisse zusammengeführt werden. Das funktioniert, erhöht aber die Komplexität – und ist ein deutliches Signal, dass ein System mit inkrementellen Updates besser passen könnte.
Bei der Planung sind Bauzeit und Ressourcen realistisch einzuschätzen. Bauzeit und Indexgröße wachsen mit der Zahl der Vektoren, ihrer Dimension und der Zahl der Bäume. Für große Bestände lohnt es sich, den Bau auf einen eigenen Rechner mit ausreichend Speicher und mehreren Kernen zu legen oder die Option für den Bau auf der Festplatte zu nutzen. Der Neubau sollte als regulärer, überwachter Job laufen, dessen Dauer im Blick behalten wird – denn ein Build, der mit wachsendem Bestand irgendwann länger dauert als das vorgesehene Zeitfenster, ist ein klassischer schleichender Betriebsfehler.
Annoy kennt keine Filter. Wer Treffer nach Kategorie, Sprache, Mandant, Gültigkeit oder Berechtigung einschränken will, hat drei Möglichkeiten. Erstens die Nachfilterung: Man fragt deutlich mehr Kandidaten ab als benötigt und sortiert anschließend in der Anwendung aus. Das ist einfach, kann aber bei restriktiven Filtern dazu führen, dass zu wenige oder gar keine Treffer übrig bleiben. Zweitens getrennte Indizes je Filterwert, etwa ein Index pro Sprache oder Mandant. Das ist sauber und sicher, vervielfacht aber Bauaufwand und Dateien und eignet sich nur für wenige, grobe Kategorien. Drittens eine Kombination: grobe Trennung über separate Indizes, feine Einschränkungen über Nachfilterung.
Die Metadaten selbst gehören in ein eigenes System – eine relationale Datenbank, einen Schlüssel-Wert-Speicher oder eine Datei, die gemeinsam mit dem Index versioniert wird. Entscheidend ist, dass das Mapping von Annoy-Kennung zu Datensatz exakt zur Indexversion passt. Wird der Index neu gebaut und die Kennungen werden neu vergeben, muss das Mapping im selben Schritt ausgetauscht werden; andernfalls zeigt die Anwendung falsche Inhalte an – ein Fehler, der ohne gezielte Tests lange unbemerkt bleiben kann. Für Berechtigungsfilter gilt besondere Sorgfalt: Wer vertrauliche und öffentliche Inhalte in einem gemeinsamen Index hält und nur nachträglich filtert, verlagert die gesamte Verantwortung für den Datenschutz in diese eine Filterfunktion.
Weil Annoy approximativ arbeitet, gehört eine regelmäßige Qualitätsmessung zum Betrieb. Bewährt hat sich ein fester Satz an Testanfragen, für die einmalig die exakten Nachbarn berechnet werden. Nach jedem Neubau wird gemessen, welcher Anteil dieser Nachbarn gefunden wird. Ergänzend sollten fachliche Bewertungen stattfinden – etwa ob Empfehlungen sinnvoll sind oder ob ein RAG-System die richtigen Abschnitte findet –, denn eine hohe technische Genauigkeit nützt wenig, wenn das Embedding-Modell nicht zum Anwendungsfall passt.
Zum Betrieb gehört außerdem ein bewusstes Abhängigkeitsmanagement. Die Annoy-Version, die Build-Umgebung und die Python-Version sollten festgeschrieben und in Containern reproduzierbar abgebildet werden. Indexdateien sollten nur mit der Version gelesen werden, mit der sie erzeugt wurden, oder nach einem dokumentierten Kompatibilitätstest. Und weil Annoy ein natives Paket mit kompiliertem Code ist, gehört es wie jede andere Abhängigkeit in die regelmäßige Prüfung auf Sicherheitshinweise.
Die Stärken von Annoy kommen dort zur Geltung, wo ein Datenbestand periodisch aus einem führenden System exportiert, verarbeitet und als Ergebnis bereitgestellt wird. Viele mittelständische Unternehmen arbeiten ohnehin mit solchen Mustern: Artikelstammdaten werden nachts aus dem ERP exportiert, Produktdaten aus dem PIM in den Shop übertragen, Berichte im Batch erzeugt. Ein Annoy-Index fügt sich in diese Welt ein, ohne neue Dienste zu erfordern.
Annoy ist im Mittelstand dann eine gute Wahl, wenn mehrere Bedingungen gleichzeitig erfüllt sind: Der Datenbestand ändert sich nur in festen Zyklen, ein Neubau innerhalb des vorgesehenen Zeitfensters ist problemlos möglich, es werden keine oder nur grobe Filter benötigt, der Index wird von einer oder wenigen Anwendungen genutzt, und im Team ist Python-Know-how vorhanden, um die Pipeline zu pflegen. Typisch sind Empfehlungen, Dublettenprüfungen, Clustering-Auswertungen und Offline-Szenarien. Dazu kommen Bestandssysteme, in denen Annoy bereits läuft und zuverlässig arbeitet.
Eine Vektordatenbank oder pgvector ist dagegen die bessere Wahl, wenn Dokumente laufend hinzukommen oder geändert werden, wenn Berechtigungen auf Dokumentebene durchgesetzt werden müssen, wenn mehrere Anwendungen auf dieselbe Wissensbasis zugreifen, wenn Hybrid-Suche aus Volltext und Vektoren benötigt wird oder wenn Löschpflichten zeitnah umgesetzt werden müssen. Genau diese Anforderungen prägen die meisten RAG-Projekte für interne Wissensassistenten, Kundenservice-Chatbots oder Vertriebsunterstützung. In diesen Fällen empfehlen wir Annoy nicht als Grundlage – selbst wenn der erste Prototyp damit schnell gebaut wäre.
Annoy wirkt auf den ersten Blick wie die günstigste Lösung: keine Lizenzkosten, kein Server, ein paar Zeilen Code. Der tatsächliche Aufwand entsteht jedoch in der Umgebung – in der Build-Pipeline, im Metadaten-Mapping, in der Filterlogik, im Monitoring und in der späteren Migration. Wer diese Bausteine für einen dynamischen Anwendungsfall selbst entwickelt, baut im Grunde eine kleine Vektordatenbank nach, ohne von deren Reife zu profitieren. Umgekehrt gilt: Für einen statischen Batch-Anwendungsfall kann eine Vektordatenbank überdimensioniert sein und zusätzlichen Betriebsaufwand erzeugen, der keinen Mehrwert bringt. Die richtige Antwort hängt vom Anwendungsfall ab, nicht von der Technologie.
Annoy ist eine Bibliothek ohne Netzwerkkomponente. Indexbau und Abfragen finden im Prozess der eigenen Anwendung statt, die Indexdatei liegt auf eigenen Datenträgern. Es gibt keinen Anbieter, der als Auftragsverarbeiter Daten verarbeitet, und keinen Cloud-Dienst, dessen Standort oder Rechtsraum bewertet werden müsste. Damit ist Annoy eine der souveränsten Optionen für Vektorsuche überhaupt – vorausgesetzt, die umgebende Infrastruktur ist ebenfalls unter eigener Kontrolle oder bei einem sorgfältig ausgewählten europäischen Hoster.
Diese Datenhoheit gilt allerdings nur für Annoy selbst. In einer typischen Pipeline durchlaufen Daten mehrere Stationen: Export aus dem Quellsystem, Vektorisierung durch ein Embedding-Modell, Speicherung von Index und Metadaten, Abfrage durch die Anwendung und bei RAG zusätzlich die Antwortgenerierung durch ein Sprachmodell. Wird für die Vektorisierung oder die Antwort ein externer Cloud-Dienst genutzt, verlassen Klartexte die eigene Infrastruktur – unabhängig davon, wie lokal der Annoy-Index ist. Für datenschutzsensible Szenarien empfehlen wir deshalb ein selbst betriebenes Open-Source-Embedding-Modell oder einen europäischen Anbieter mit klarer Auftragsverarbeitung. Zudem gilt: Vektoren sind keine anonymen Daten. Aus Embeddings lassen sich unter Umständen Rückschlüsse auf die Ursprungstexte ziehen, sodass Indexdateien mit personenbezogenen Inhalten wie die Ursprungsdaten zu schützen sind – mit Zugriffsrechten auf Dateiebene, Verschlüsselung der Datenträger und kontrollierter Verteilung.
Der kritischste Punkt ist die Umsetzung von Löschpflichten. Die DSGVO kennt das Recht auf Löschung und den Grundsatz der Speicherbegrenzung. Weil ein Annoy-Index nach dem Bau unveränderlich ist, lässt sich ein einzelner Eintrag nicht entfernen. Der Vektor einer gelöschten Person bleibt im Index enthalten, bis dieser neu gebaut wird. Eine Zwischenlösung ist eine Sperrliste: Gelöschte Kennungen werden sofort aus dem Metadaten-Mapping entfernt und bei jeder Abfrage aus den Treffern gefiltert. Das verhindert, dass gelöschte Inhalte angezeigt werden, ändert aber nichts daran, dass der Vektor technisch noch gespeichert ist.
Praktisch bedeutet das: Wer personenbezogene Daten in einem Annoy-Index verarbeitet, sollte einen festen Neubauzyklus definieren, der mit den dokumentierten Löschfristen vereinbar ist, und diesen Zyklus im Verzeichnis der Verarbeitungstätigkeiten und im Löschkonzept festhalten. Ebenso zu berücksichtigen sind ältere Indexversionen, die für einen Rückfall aufbewahrt werden, Kopien auf verteilten Servern und Sicherungen. Wie lange eine Löschung bis zum nächsten Neubau dauern darf und ob die Sperrliste als Übergangsmaßnahme ausreicht, ist eine Frage für die Datenschutzbeauftragten. Für Anwendungsfälle mit häufigen Löschersuchen ist ein System mit echter Löschfunktion – pgvector oder eine Vektordatenbank – in der Regel die einfachere und besser dokumentierbare Lösung.
Annoy ist Open Source und wird nach unserem Kenntnisstand unter einer freizügigen Lizenz bereitgestellt; den aktuellen Lizenztext sollte man im Repository prüfen. Lizenzgebühren fallen nicht an, ebenso wenig Kosten für einen Datenbankserver oder einen Cloud-Dienst. Die Infrastrukturkosten beschränken sich auf Rechenzeit für den Indexbau, Speicherplatz für Indexdateien und Versionen sowie den Arbeitsspeicher der Abfragedienste, der durch das Memory-Mapping effizient geteilt wird.
Der größere Kostenblock ist der Engineering- und Betriebsaufwand: Aufbau und Pflege der Build-Pipeline, Metadaten-Mapping, Filterlogik, Qualitätsmessung, Monitoring, Löschkonzept und die perspektivische Migration auf einen Nachfolger. Bei einem statischen, klar abgegrenzten Anwendungsfall ist dieser Aufwand überschaubar und Annoy wirtschaftlich sehr attraktiv. Bei dynamischen Anwendungsfällen kann er dagegen die Kosten einer gemanagten oder selbst betriebenen Vektordatenbank übersteigen. Eine ehrliche Wirtschaftlichkeitsbetrachtung vergleicht deshalb nicht Lizenzkosten, sondern den Gesamtaufwand über die geplante Lebensdauer – inklusive des Risikos, eine wenig gepflegte Abhängigkeit später unter Zeitdruck ersetzen zu müssen.