Computer sind hervorragend darin, Zeichenketten zu vergleichen, aber schlecht darin, Bedeutung zu erkennen. Eine klassische Volltextsuche findet das Wort „Kündigungsfrist“ zuverlässig, scheitert aber an der Frage „Wie lange vorher muss ich Bescheid geben, wenn ich aufhören will?“. Für einen Menschen ist sofort klar, dass beide Formulierungen dasselbe meinen. Für eine Suchmaschine, die nur Wörter abgleicht, haben sie nichts miteinander zu tun. Embeddings schließen diese Lücke: Sie bilden Sprache in einen mathematischen Raum ab, in dem Nähe für inhaltliche Verwandtschaft steht.
Erzeugt werden Embeddings von sogenannten Embedding-Modellen oder Encodern. Das sind neuronale Netze, die mit sehr großen Mengen an Texten – bei multimodalen Modellen auch Bildern – darauf trainiert wurden, zusammengehörige Inhalte nah beieinander und unzusammenhängende weit voneinander entfernt abzulegen. Das Modell liest einen Abschnitt und gibt einen Vektor mit einer festen Anzahl von Zahlenwerten aus. Diese Zahlen sind für Menschen nicht direkt interpretierbar; keine einzelne Position steht für „Recht“ oder „Technik“. Erst im Zusammenspiel aller Werte entsteht ein Fingerabdruck der Bedeutung, der sich mit anderen Fingerabdrücken vergleichen lässt.
Eine hilfreiche Vorstellung ist eine Landkarte. Stellen Sie sich vor, jeder Satz Ihrer Unternehmensdokumentation wäre ein Punkt auf einer Karte. Alle Sätze zu Urlaubsregelungen liegen in einer Region, die Sätze zu Reisekosten in einer benachbarten, die Wartungshinweise für eine bestimmte Maschine weit entfernt in einem ganz anderen Gebiet. Innerhalb der Regionen gibt es wiederum feinere Nachbarschaften: Sätze über Resturlaub liegen dichter beieinander als Sätze über Sonderurlaub. Wenn nun eine Frage gestellt wird, berechnet das System auch für die Frage einen Punkt auf dieser Karte und schaut, welche Dokumentabschnitte in der Nähe liegen.
Der Unterschied zur echten Landkarte: Ein Embedding-Raum hat nicht zwei, sondern Hunderte bis einige Tausend Dimensionen. Das klingt abstrakt, ist aber genau der Grund, warum Embeddings so leistungsfähig sind. In so vielen Dimensionen lassen sich sehr viele Bedeutungsaspekte gleichzeitig abbilden – Thema, Tonalität, Fachgebiet, Sprache, Detailtiefe –, ohne dass sie sich gegenseitig verdrängen. Für die Anwendung muss man diese Mathematik nicht verstehen; es genügt das Prinzip: Nähe im Vektorraum bedeutet inhaltliche Ähnlichkeit.
Die Idee ist älter als der aktuelle KI-Boom. Frühe Verfahren wie Word2Vec oder GloVe erzeugten bereits vor gut einem Jahrzehnt Vektoren für einzelne Wörter und zeigten, dass sich Bedeutungsbeziehungen als Rechenoperationen ausdrücken lassen. Ihr Nachteil: Ein Wort hatte immer denselben Vektor, unabhängig vom Kontext. „Bank“ als Sitzmöbel und „Bank“ als Kreditinstitut waren nicht zu unterscheiden. Mit der Transformer-Architektur kamen kontextabhängige Embeddings, und spezialisierte Satz-Encoder machten es möglich, ganze Sätze und Absätze als einen einzigen Vektor darzustellen. Das ist die Grundlage heutiger semantischer Suche.
Parallel entstanden Bild- und multimodale Embeddings. Modelle, die Bilder und Texte in denselben Vektorraum abbilden, erlauben es, mit einer Textbeschreibung nach Bildern zu suchen oder zu einem Foto passende Produktbeschreibungen zu finden. Für den Mittelstand eröffnet das Anwendungen wie die Suche in Bildarchiven, die Zuordnung von Schadensfotos zu Fehlerbildern oder die Erschließung technischer Zeichnungen und gescannter Dokumente. Neuere Modelle verarbeiten zudem Dokumentseiten direkt als Bild und umgehen damit Teile der fehleranfälligen Textextraktion.
Die bekanntesten Embedding-APIs stammen von US-amerikanischen Anbietern. OpenAI bietet mehrere Embedding-Modelle in unterschiedlichen Größen an, die in sehr vielen Frameworks als Standard voreingestellt sind und laut Anbieter eine Verkürzung der Vektoren auf weniger Dimensionen erlauben. Cohere positioniert sich stark im Unternehmensumfeld, bietet ausdrücklich mehrsprachige Modelle, unterscheidet beim Einbetten zwischen Suchanfragen und Dokumenten und unterstützt komprimierte Ausgabeformate. Google stellt Embedding-Modelle über seine Gemini- und Vertex-AI-Dienste bereit, ebenfalls mit Fokus auf Mehrsprachigkeit und multimodale Varianten. Voyage AI, mittlerweile Teil von MongoDB, hat sich mit spezialisierten Modellen etwa für Code, Recht oder Finanzen einen Namen gemacht. Daneben bieten die großen Cloud-Plattformen von Amazon und Microsoft eigene sowie fremde Embedding-Modelle an, teils mit wählbarer EU-Region.
Aus europäischer Sicht ist Mistral AI als französischer Anbieter mit eigenem Embedding-Endpunkt interessant, weil Anbieter und Vertragsrahmen dem europäischen Recht unterliegen. Grundsätzlich gilt für alle API-Modelle: Sie sind bequem, skalieren ohne eigenen Aufwand und liefern in der Regel gute Qualität. Der Preis dafür ist, dass jeder Text, der eingebettet werden soll, zum Anbieter übertragen wird – bei der initialen Indexierung also potenziell der gesamte Dokumentenbestand. Welche Modelle, Dimensionen, Kontextlängen und Konditionen aktuell gelten, ändert sich häufig und sollte stets direkt beim Anbieter geprüft werden.
Offene Embedding-Modelle haben in den letzten Jahren enorm aufgeholt und erreichen in vielen Szenarien eine Qualität, die mit kommerziellen APIs mithalten kann. Zu den bekannten Familien gehören BGE der Beijing Academy of Artificial Intelligence, deren mehrsprachige Variante dichte, dünnbesetzte und Multivektor-Repräsentationen in einem Modell vereint, E5 aus der Microsoft-Forschung, die Modelle von Jina AI mit Ursprung in Berlin, die Nomic-Embeddings mit offen dokumentiertem Training sowie die Qwen-Embedding-Modelle von Alibaba, die auf großen Sprachmodellen aufbauen. Hinzu kommt das umfangreiche Ökosystem der Sentence-Transformers-Bibliothek mit zahlreichen kleineren, schnellen Modellen.
Wichtig ist ein genauer Blick auf die Lizenz: Nicht jedes frei herunterladbare Modell darf uneingeschränkt kommerziell genutzt werden. Manche stehen unter permissiven Open-Source-Lizenzen, andere schließen den kommerziellen Einsatz aus oder knüpfen ihn an Bedingungen. Ebenso relevant ist die Herkunft: Modelle chinesischer Anbieter wie BGE oder Qwen können technisch hervorragend sein, sollten aus Gründen der Datenhoheit aber ausschließlich als selbst betriebene Modelle eingesetzt werden, nie über eine API mit Datenverarbeitung beim Herausgeber. Selbst betrieben verlässt kein Text das eigene Haus – das Modell ist dann lediglich eine Datei, die auf der eigenen Hardware rechnet.
Viele Modelle wurden überwiegend mit englischen Texten trainiert. Für deutschsprachige Unternehmensinhalte ist das ein ernstzunehmendes Risiko. Englisch optimierte Modelle verstehen deutsche Komposita, Fachbegriffe, Behördendeutsch und branchentypische Abkürzungen oft schlechter. Mehrsprachige Modelle sind für den DACH-Raum in aller Regel die bessere Wahl, zumal sie einen weiteren Vorteil bieten: Frage und Dokument müssen nicht in derselben Sprache vorliegen. Eine deutsche Frage findet dann auch die passende Stelle im englischen Datenblatt eines Zulieferers. Ob ein konkretes Modell das Deutsche wirklich gut beherrscht, lässt sich allerdings nicht aus dem Marketing ablesen, sondern nur mit eigenen Tests beurteilen – dazu mehr in Kapitel 06.
Die Dimension eines Embeddings ist die Anzahl der Zahlenwerte im Vektor. Gängige Modelle bewegen sich zwischen einigen Hundert und mehreren Tausend Dimensionen. Mehr Dimensionen können feinere Bedeutungsunterschiede abbilden, bedeuten aber auch mehr Speicherbedarf, mehr Rechenaufwand bei der Suche und höhere Kosten in der Vektordatenbank. Mehr ist dabei nicht automatisch besser: Ein gut trainiertes kompaktes Modell schlägt nicht selten ein größeres, schlechter passendes. Wichtig für die Praxis: Alle Vektoren in einem Index müssen dieselbe Dimension haben und vom selben Modell stammen.
Um Nähe zu berechnen, braucht es ein Distanzmaß. Am verbreitetsten ist die Kosinus-Ähnlichkeit, die den Winkel zwischen zwei Vektoren misst und die Länge ignoriert. Daneben gibt es das Skalarprodukt, das Richtung und Länge einbezieht, sowie die euklidische Distanz, den direkten Abstand zweier Punkte. Viele Modelle liefern normalisierte Vektoren mit einheitlicher Länge; in diesem Fall führen Kosinus und Skalarprodukt zum selben Ranking, und das Skalarprodukt ist schneller zu berechnen. Entscheidend ist, dass das in der Vektordatenbank eingestellte Distanzmaß zu dem passt, wofür das Modell trainiert wurde. Ein falsch konfiguriertes Maß führt nicht zu einer Fehlermeldung, sondern still zu schlechteren Ergebnissen.
Dense Embeddings sind der Standard: Jeder Abschnitt wird zu einem einzigen Vektor, in dem fast alle Werte ungleich null sind. Sie sind stark bei Synonymen und Umschreibungen, aber schwächer bei exakten Begriffen wie Artikelnummern, Normbezeichnungen oder seltenen Eigennamen. Sparse Embeddings funktionieren anders: Ihr Vektor ist so lang wie ein Vokabular, und nur wenige Positionen sind belegt – ähnlich wie bei klassischer Stichwortsuche, aber mit gelernten Gewichten. Gelernte Sparse-Verfahren wie SPLADE oder das Sparse-Modell einiger Suchmaschinenhersteller ergänzen fehlende verwandte Begriffe und kombinieren so Präzision mit etwas Semantik.
Multivektor-Verfahren, bekannt durch den Ansatz ColBERT, gehen einen Schritt weiter: Statt eines Vektors pro Abschnitt erzeugen sie einen Vektor pro Token. Beim Vergleich wird für jedes Wort der Anfrage das am besten passende Wort im Dokument gesucht, das sogenannte Late-Interaction-Prinzip. Das liefert oft eine deutlich präzisere Relevanzbewertung, kostet aber ein Vielfaches an Speicher. In der Praxis kommen Multivektor-Modelle deshalb häufig nicht als primärer Index, sondern als zweite Stufe zum Neusortieren zum Einsatz. Neuere Varianten nutzen das Prinzip auch für Dokumentseiten als Bild und machen damit Tabellen, Diagramme und Layouts durchsuchbar.
Benannt nach den russischen Schachtelpuppen, werden Matryoshka-Embeddings so trainiert, dass die wichtigste Information in den ersten Dimensionen steckt. Man kann den Vektor daher nachträglich kürzen und verliert dabei nur moderat an Qualität. Das eröffnet einen flexiblen Kompromiss: Für eine schnelle Vorauswahl genügen verkürzte Vektoren, für die Feinsortierung nutzt man die volle Länge. Mehrere kommerzielle und offene Modelle unterstützen dieses Verfahren; wie stark die Qualität bei welcher Kürzung sinkt, sollte mit eigenen Daten geprüft werden.
Ein oft übersehenes Detail ist die asymmetrische Suche. Eine Suchanfrage ist kurz und als Frage formuliert, ein Dokumentabschnitt lang und beschreibend. Viele Modelle erwarten deshalb, dass Anfragen und Dokumente unterschiedlich gekennzeichnet werden – etwa über ein vorangestelltes Präfix wie „query:“ und „passage:“ oder über einen Parameter für den Eingabetyp. Wer diese Konventionen ignoriert, verschenkt Qualität. Ebenso relevant ist die maximale Kontextlänge: Texte, die länger sind als das, was das Modell verarbeiten kann, werden abgeschnitten. Das Chunking muss also zur Kontextlänge des Modells passen.
Die semantische Suche ist der naheliegendste Einsatz. Dokumente werden einmalig eingebettet und im Index abgelegt, jede Suchanfrage wird zur Laufzeit eingebettet und mit den gespeicherten Vektoren verglichen. Das Ergebnis ist eine nach Bedeutung sortierte Trefferliste. In Intranets, Produktkatalogen, Supportportalen oder Normensammlungen verbessert das die Auffindbarkeit spürbar, gerade bei Nutzerinnen und Nutzern, die das Fachvokabular nicht kennen.
In RAG-Systemen ist die semantische Suche der erste und kritischste Schritt. Die gefundenen Abschnitte werden einem Sprachmodell als Kontext übergeben, das daraus eine Antwort formuliert. Findet das Retrieval die relevante Stelle nicht, kann auch das beste Sprachmodell nicht korrekt antworten – es improvisiert oder verweigert die Antwort. Die Qualität der Embeddings wirkt sich also direkt auf die Antwortqualität aus. In der Praxis wird die Embedding-Suche meist mit einer Stichwortsuche zur hybriden Suche kombiniert und durch einen Reranker ergänzt, der die Kandidaten präziser sortiert.
Für die Klassifikation eignen sich Embeddings hervorragend als Eingangsmerkmale. Ein einfacher Klassifikator, der auf den Vektoren einiger Hundert bereits zugeordneter Beispiele trainiert wird, kann neue E-Mails, Supportanfragen oder Rechnungspositionen erstaunlich zuverlässig einordnen. Noch einfacher ist die Zuordnung über Ähnlichkeit: Für jede Kategorie werden typische Beispiele eingebettet, und ein neues Dokument wird der Kategorie mit den ähnlichsten Beispielen zugeordnet. Gegenüber dem Einsatz eines großen Sprachmodells für jede einzelne Klassifikation ist das deutlich schneller, günstiger und besser reproduzierbar.
Beim Clustering werden Vektoren ohne vorgegebene Kategorien gruppiert. So lassen sich in Tausenden von Kundenfeedbacks, Reklamationen oder Servicetickets wiederkehrende Themen entdecken, die vorher niemand benannt hatte. Kombiniert mit einer Visualisierung, die den hochdimensionalen Raum auf zwei Dimensionen herunterbricht, entsteht eine Landkarte der Themen, die Fachabteilungen intuitiv erkunden können. Ein Sprachmodell kann anschließend jedem Cluster eine verständliche Beschreibung geben.
Die Deduplizierung ist ein klassischer, aber oft unterschätzter Einsatz. In gewachsenen Dateiablagen existieren dieselben Inhalte in zahllosen Varianten: als Word-Datei und PDF, als Entwurf und Endfassung, mit leicht abweichenden Formulierungen. Vor dem Aufbau eines RAG-Index hilft eine Ähnlichkeitsanalyse, Dubletten und Fast-Dubletten zu erkennen und nur die gültige Fassung aufzunehmen. Ähnliches gilt für Stammdaten: Kunden- oder Artikeldatensätze mit leicht unterschiedlichen Schreibweisen lassen sich über Embeddings zusammenführen.
Darüber hinaus dienen Embeddings als Grundlage für Empfehlungen – ähnliche Produkte, verwandte Fachartikel, passende Ersatzteile – und für die Anomalieerkennung: Ein Dokument, eine Transaktion oder eine Meldung, deren Vektor weit entfernt von allen bekannten Mustern liegt, verdient einen zweiten Blick. Diese Einsätze zeigen, dass sich eine einmal aufgebaute Embedding-Infrastruktur mehrfach nutzen lässt.
Für die Speicherung gibt es drei Wege. Spezialisierte Vektordatenbanken wie Qdrant, Weaviate, Milvus oder Chroma sind auf Vektorsuche optimiert und bieten Funktionen wie Metadatenfilter, hybride Suche, Quantisierung und Mandantentrennung. Erweiterungen bestehender Datenbanken wie pgvector für PostgreSQL oder die Vektorfunktionen von MongoDB und Redis erlauben es, Vektoren dort abzulegen, wo die übrigen Daten ohnehin liegen – für kleine bis mittlere Bestände oft die pragmatischste Lösung. Suchmaschinen wie Elasticsearch, OpenSearch oder Vespa kombinieren klassische Volltextsuche mit Vektorsuche und sind stark, wenn hybride Szenarien im Vordergrund stehen. Daneben existieren reine Bibliotheken wie FAISS oder Annoy, die als Baustein in eigene Anwendungen eingebettet werden.
Unabhängig vom Produkt nutzen fast alle Systeme Verfahren der näherungsweisen Nächste-Nachbarn-Suche, etwa graphbasierte Indizes wie HNSW oder partitionierende Verfahren. Sie tauschen ein kleines Maß an Genauigkeit gegen enorme Geschwindigkeit. Die Parameter dieser Indizes beeinflussen das Verhältnis von Trefferqualität, Speicherbedarf und Latenz und sollten bewusst eingestellt statt blind übernommen werden.
Orchestrierungs-Frameworks wie LangChain, LlamaIndex oder Haystack abstrahieren den Aufruf von Embedding-Modellen hinter einheitlichen Schnittstellen. Ein Wechsel von einer API auf ein selbst betriebenes Modell ist damit technisch oft nur eine Konfigurationsänderung – die fachlichen Folgen, insbesondere die Neuindexierung, bleiben allerdings. Einige Vektordatenbanken bieten zudem integrierte Module, die das Einbetten direkt beim Speichern übernehmen. Das ist bequem, bindet die Pipeline aber enger an das jeweilige Produkt.
Für selbst betriebene Modelle haben sich spezialisierte Inferenz-Server etabliert, die Embedding-Modelle effizient auf GPU oder CPU bereitstellen und eine API anbieten, die sich wie ein kommerzieller Dienst ansprechen lässt. Das erleichtert den Austausch zwischen Cloud und Self-Hosting erheblich. Kleinere Modelle laufen für moderate Datenmengen durchaus auch ohne GPU; für große Bestände oder hohe Anfragelast ist eine GPU dagegen sinnvoll.
Ein Vektor allein ist wertlos, wenn man nicht weiß, woher er stammt. Zu jedem Embedding gehören deshalb Metadaten: Quelldokument, Abschnitt, Gültigkeit, Sprache, Berechtigungsgruppe – und unbedingt die Modellbezeichnung samt Version. Filter auf diese Metadaten sorgen dafür, dass nur berechtigte und gültige Inhalte gefunden werden. Zudem muss die Pipeline Änderungen in den Quellsystemen nachverfolgen: Geänderte Dokumente werden neu eingebettet, gelöschte aus dem Index entfernt. Ohne diese Synchronisierung entsteht schleichend ein Index, der nicht mehr zur Realität passt.
Die bekannteste Vergleichsgrundlage ist der Massive Text Embedding Benchmark, kurz MTEB, mit seinen Ranglisten für verschiedene Aufgaben und Sprachen. Er bewertet Modelle unter anderem in den Kategorien Retrieval, Klassifikation, Clustering und semantische Ähnlichkeit und hat inzwischen auch mehrsprachige und europäische Varianten. Für eine erste Vorauswahl ist das hilfreich: Modelle, die in den für Sie relevanten Kategorien weit hinten liegen, können Sie meist aussortieren.
Für die finale Entscheidung taugen Benchmark-Ranglisten aber nur bedingt. Die Datensätze stammen überwiegend aus öffentlichen Quellen wie Wikipedia, wissenschaftlichen Artikeln oder Webforen – nicht aus Wartungshandbüchern, Verfahrensanweisungen oder Kundenkorrespondenz. Zudem liegen die Spitzenplätze oft dicht beieinander, und einige Modelle könnten auf ähnliche Daten hin optimiert worden sein. Ein Gesamtdurchschnitt über alle Aufgaben sagt wenig darüber, wie gut ein Modell genau Ihre Retrieval-Aufgabe auf Deutsch löst. Lesen Sie Benchmarks daher als Shortlist-Werkzeug, nicht als Entscheidung.
Den aussagekräftigsten Vergleich liefert ein eigenes Testset. Dafür sammeln Sie einige Dutzend bis wenige Hundert realistische Fragen, wie sie Mitarbeitende oder Kunden tatsächlich stellen, und legen zu jeder Frage fest, welche Dokumentabschnitte die richtige Antwort enthalten. Anschließend betten Sie denselben Dokumentbestand mit mehreren Kandidatenmodellen ein und messen, wie oft der richtige Abschnitt unter den ersten Treffern landet. Gängige Kennzahlen dafür sind Trefferquoten unter den ersten Ergebnissen und rangbasierte Maße, die belohnen, wenn der richtige Treffer weit oben steht.
Deutsch stellt Embedding-Modelle vor eigene Herausforderungen. Komposita wie „Gewährleistungsrückstellung“ oder „Hydraulikölfilterwechsel“ werden vom Tokenizer englisch geprägter Modelle in viele kleine Bruchstücke zerlegt, was die Bedeutungserfassung erschweren kann. Hinzu kommen Fachsprache und Abkürzungen aus Recht, Technik und Verwaltung, regionale Begriffe aus Österreich und der Schweiz sowie die Mischung aus Deutsch und Englisch, die in vielen technischen Unternehmen Alltag ist. Ein Modell, das in englischen Benchmarks glänzt, kann hier deutlich schwächer abschneiden.
Praktisch bewährt hat sich, zwei bis vier Kandidaten zu vergleichen: mindestens ein mehrsprachiges API-Modell, ein bis zwei offene mehrsprachige Modelle zum Selbstbetrieb und gegebenenfalls ein Modell mit ausgewiesener Stärke im Deutschen. Für sehr spezielle Domänen kann ein Feintuning eines offenen Modells auf eigenen Frage-Dokument-Paaren die Qualität weiter steigern. Das lohnt sich jedoch erst, wenn ein solides Testset existiert und die einfacheren Stellschrauben – Chunking, hybride Suche, Reranking – ausgeschöpft sind.
Die wichtigste Regel im Betrieb lautet: Vektoren verschiedener Modelle sind nicht kompatibel. Jedes Modell spannt seinen eigenen Vektorraum auf; ein Vektor aus Modell A lässt sich nicht sinnvoll mit einem Vektor aus Modell B vergleichen – selbst wenn beide dieselbe Dimension haben. Das gilt auch für neue Versionen desselben Modells. Wer das Modell wechselt, muss deshalb den gesamten Dokumentbestand neu einbetten, das sogenannte Re-Embedding.
Bei kleinen Beständen ist das eine Sache von Minuten bis Stunden, bei großen Archiven mit vielen Millionen Abschnitten ein echtes Projekt mit Rechen- oder API-Kosten. Bewährt hat sich ein paralleler Aufbau: Der neue Index wird im Hintergrund vollständig erzeugt, mit dem Testset geprüft und erst dann per Umschaltung produktiv gesetzt. Der alte Index bleibt für eine Übergangszeit als Rückfalloption erhalten. Voraussetzung dafür ist, dass die Originaltexte der Abschnitte gespeichert bleiben und nicht nur die Vektoren – sonst muss die gesamte Ingestion wiederholt werden.
Jeder Vektor sollte mit der Modellbezeichnung und -version gekennzeichnet sein, mit der er erzeugt wurde. Das klingt banal, verhindert aber einen der häufigsten Fehler: die schleichende Vermischung von Vektoren aus verschiedenen Modellversionen, etwa weil ein Teil des Bestands nach einem Update neu eingebettet wurde und ein anderer nicht. Ebenso sollten Chunking-Parameter, Präfixe und Normalisierung dokumentiert und versioniert werden, denn auch sie beeinflussen die Vektoren.
Bei API-Modellen kommt ein weiteres Risiko hinzu: Anbieter kündigen ältere Modelle ab, oft mit einer Übergangsfrist von einigen Monaten. Danach können keine neuen Anfragen mehr eingebettet werden, und der bestehende Index wird unbrauchbar. Behalten Sie die Ankündigungen Ihres Anbieters im Blick und planen Sie Re-Embedding-Fenster ein. Im laufenden Betrieb empfiehlt sich zudem ein Monitoring der Retrieval-Qualität – etwa durch regelmäßige Läufe des Testsets und die Auswertung von Nutzerfeedback –, damit Verschlechterungen auffallen, bevor sich Anwender beschweren.
Vektoren sind speicherhungrig. Jede Dimension wird standardmäßig als Gleitkommazahl gespeichert; multipliziert mit der Zahl der Abschnitte und den Index-Strukturen ergibt sich schnell ein Speicherbedarf, der den der Originaltexte übersteigt. Da viele Vektordatenbanken für schnelle Suche große Teile des Index im Arbeitsspeicher halten, wird Arbeitsspeicher zum Kostentreiber. Hier setzen Kompressionsverfahren an.
Welche Kombination sinnvoll ist, hängt vom Modell, von der Datenmenge und den Qualitätsanforderungen ab. Manche Modelle sind ausdrücklich auf Quantisierung hin trainiert und verlieren dabei weniger. Die Wirkung sollte immer mit dem eigenen Testset gemessen werden. Häufig erweist sich ein zweistufiges Vorgehen als guter Kompromiss: schnelle Vorauswahl auf komprimierten Vektoren, präzise Nachsortierung auf vollen Vektoren oder mit einem Reranker.
Ein typisches Szenario stammt aus dem Maschinen- und Anlagenbau. Über Jahre haben sich Tausende Servicetickets angesammelt, jedes mit Fehlerbeschreibung, Diagnose und Lösung. Bisher war dieses Wissen praktisch nur über die Erinnerung erfahrener Kolleginnen und Kollegen zugänglich. Werden die Tickets eingebettet, kann ein Techniker ein neues Fehlerbild beschreiben und erhält die ähnlichsten früheren Fälle samt Lösung – auch wenn damals andere Worte verwendet wurden. Kombiniert mit einer exakten Suche nach Fehlercodes und Filtern auf Maschinentyp entsteht ein Werkzeug, das ohne generatives Sprachmodell auskommt und dennoch einen großen Teil des Nutzens liefert.
Im Vertrieb und Kundenservice helfen Embeddings, Anfragen zu klassifizieren, passende Textbausteine oder frühere Antworten vorzuschlagen und Produktinformationen schneller zu finden. Im Onlinehandel verbessert eine semantische Produktsuche die Auffindbarkeit, wenn Kunden Produkte anders beschreiben als der Katalog. Gerade hier zeigt sich aber, wie wichtig die hybride Suche ist: Wer eine Artikelnummer eingibt, erwartet genau diesen Artikel und keine inhaltlich ähnlichen Alternativen.
Für den Einstieg empfehlen wir einen klar abgegrenzten Anwendungsfall mit überschaubarer Datenmenge, gut erreichbaren Quellen und messbarem Nutzen. Oft genügt dafür eine bestehende PostgreSQL-Datenbank mit pgvector oder eine schlanke Vektordatenbank, ein mehrsprachiges Embedding-Modell und eine einfache Pipeline. Bei nicht sensiblen Daten ist eine API der schnellste Weg zum Prototyp; bei vertraulichen Inhalten lohnt es sich, von Beginn an ein offenes Modell selbst zu betreiben oder bei einem europäischen Hoster bereitzustellen. Moderne kleinere Modelle laufen für viele mittelständische Datenmengen ohne Spezialhardware.
Entscheidend ist, das eigene Testset früh aufzubauen und den Nutzen nicht an Demos, sondern an realen Fragen zu messen. Wer so vorgeht, schafft mit dem ersten Projekt zugleich eine wiederverwendbare Grundlage: Dieselbe Embedding-Infrastruktur kann später eine KI-Wissensdatenbank, eine Produktsuche oder eine Ticketklassifikation tragen. Ein ehrlicher Blick gehört dazu: Wo Fragen ausschließlich exakte Werte betreffen, etwa Lagerbestände oder Preise, ist eine Datenbankabfrage besser geeignet als jede Ähnlichkeitssuche.
Die Kosten für Embeddings entstehen an drei Stellen. Erstens beim Erzeugen der Vektoren: Bei APIs wird nach verarbeiteter Textmenge abgerechnet, im Self-Hosting fallen Rechenkosten für CPU oder GPU an. Im Vergleich zu generativen Sprachmodellen ist das Einbetten pro Textmenge meist günstig; bei großen Archiven und wiederholtem Re-Embedding summiert es sich dennoch. Zweitens beim Speichern: Dimension, Datenmenge, Index-Struktur und der Bedarf an Arbeitsspeicher bestimmen die laufenden Kosten der Vektordatenbank. Drittens beim Betrieb: Synchronisierung, Monitoring, Tests und Modellwechsel binden Personal.
Konkrete Preise nennen wir bewusst nicht, weil sie sich häufig ändern und stark von Anbieter, Modell und Volumen abhängen. Aktuelle Konditionen sind stets beim jeweiligen Anbieter zu prüfen. Als Orientierung gilt: Bei kleinen Beständen und sporadischer Nutzung sind APIs meist günstiger im Einstieg; bei großen, sensiblen oder sich häufig ändernden Beständen kann ein selbst betriebenes Modell über die Laufzeit wirtschaftlicher und souveräner sein.
Der zentrale Datenschutzpunkt wird oft übersehen: Wer eine Embedding-API nutzt, überträgt den Rohtext an den Anbieter. Bei der Erstindexierung ist das unter Umständen der gesamte Dokumentenbestand, im laufenden Betrieb zusätzlich jede Suchanfrage. Viele der bekannten Anbieter – darunter OpenAI, Cohere mit Hauptsitz in Kanada und starker US-Präsenz, Google, Voyage AI als Teil von MongoDB sowie die Dienste von Amazon und Microsoft – sind US-amerikanische oder US-geprägte Unternehmen. Auch bei Verarbeitung in europäischen Rechenzentren sind daher Auftragsverarbeitungsverträge, Unterauftragnehmer, Garantien für Drittlandtransfers, mögliche Zugriffsrechte ausländischer Behörden und Zusicherungen zur Nichtverwendung der Daten für Training zu prüfen.
Die DSGVO-konformere Option ist in vielen Fällen der Selbstbetrieb offener Modelle – auf eigener Hardware oder bei einem europäischen Hoster. Dann verlässt kein Text den kontrollierten Verantwortungsbereich, Modellversionen bleiben stabil, und es entsteht keine Abhängigkeit von Abkündigungen. Europäische API-Anbieter sind ein Mittelweg. Für Modelle chinesischer Herkunft wie BGE oder Qwen-Embeddings gilt: Sie können technisch überzeugen, sollten aber ausschließlich selbst betrieben werden, niemals über Dienste, bei denen Daten an den Herausgeber oder in dessen Rechtsraum übertragen werden.
Ein verbreiteter Irrtum lautet, Vektoren seien anonym, weil niemand die Zahlen lesen kann. Forschungsarbeiten zur sogenannten Embedding-Inversion haben jedoch gezeigt, dass sich aus Vektoren unter bestimmten Bedingungen wesentliche Teile des Ausgangstextes rekonstruieren lassen. Hinzu kommt, dass Vektoren in der Praxis fast immer gemeinsam mit Originaltext und Metadaten gespeichert werden. Enthält der Ausgangstext personenbezogene Daten – Namen in Tickets, Kundendaten in E-Mails, Mitarbeiterangaben in Protokollen –, sollten die Embeddings daher als potenziell personenbezogene Daten behandelt werden.
Daraus folgen konkrete Maßnahmen: Personenbezogene Angaben, die für die Suche nicht nötig sind, werden vor dem Einbetten entfernt oder pseudonymisiert. Zugriffsrechte werden über Metadaten abgebildet und bei jeder Abfrage gefiltert. Löschanfragen werden auch im Vektorindex umgesetzt. Und in Datenschutz-Folgenabschätzung und Verarbeitungsverzeichnis wird die Embedding-Verarbeitung ausdrücklich berücksichtigt. Der EU AI Act stuft reine Embedding-Anwendungen in typischen Szenarien nicht als Hochrisiko ein; je nach Einsatzbereich, etwa im Personalwesen, können aber strengere Anforderungen greifen. Die konkrete Bewertung sollte im Einzelfall rechtlich geprüft werden.