Um die Rolle dieser Modelle zu verstehen, hilft ein kurzer Blick auf das Prinzip. Ein Embedding-Modell liest einen Text – einen Satz, einen Absatz oder einen Dokumentabschnitt – und gibt einen Vektor fester Länge zurück. Texte mit ähnlicher Bedeutung erhalten Vektoren, die im hochdimensionalen Raum nah beieinanderliegen. Die Frage „Wie beantrage ich Urlaub?“ landet dadurch in der Nähe des Abschnitts „Abwesenheiten sind über das Personalportal einzureichen“, obwohl kaum ein Wort übereinstimmt. Diese semantische Nähe lässt sich mit einfachen mathematischen Maßen wie der Kosinus-Ähnlichkeit berechnen und ist der Kern jeder modernen KI-Suche.
OpenAI bietet solche Modelle seit einigen Jahren als eigenständige Endpunkte seiner API an. Während die großen Sprachmodelle des Anbieters die öffentliche Wahrnehmung prägen, arbeiten die Embedding-Modelle meist im Hintergrund: Sie indexieren Wissensbestände, beantworten Suchanfragen und entscheiden damit maßgeblich, welche Informationen ein Sprachmodell überhaupt zu sehen bekommt. Ein RAG-System ist nur so gut wie sein Retrieval – und das Retrieval ist nur so gut wie seine Embeddings.
Die Embedding-Angebote von OpenAI haben mehrere Generationen durchlaufen. Frühe Modelle waren noch nach Aufgaben getrennt, etwa für Suche, Ähnlichkeit oder Code. Mit text-embedding-ada-002 führte OpenAI später ein einheitliches Modell für alle Aufgaben ein, das schnell zum Branchenstandard wurde und in zahllosen Tutorials, Frameworks und Produkten als Voreinstellung landete. Viele Bestandssysteme laufen bis heute damit.
Die aktuelle Generation besteht aus text-embedding-3-small und text-embedding-3-large. Sie brachten nach Angaben des Anbieters eine deutlich bessere Qualität, insbesondere bei mehrsprachigen Texten, sowie eine wichtige neue Fähigkeit: Die Länge der Vektoren lässt sich per Parameter verkürzen, ohne das Modell zu wechseln. Damit kann man Speicherbedarf und Kosten der Vektordatenbank gezielt steuern. Welche Modelle aktuell angeboten werden, welche als veraltet markiert sind und welche technischen Grenzen gelten, sollte stets in der offiziellen Dokumentation geprüft werden – die Modellpflege bei OpenAI ist dynamisch.
In einer Retrieval-Augmented-Generation-Architektur kommen Embeddings an zwei Stellen zum Einsatz. Bei der Indexierung werden alle Dokumente in Abschnitte zerlegt und jeder Abschnitt wird vektorisiert; die Vektoren landen zusammen mit Text und Metadaten in einer Vektordatenbank wie pgvector, Qdrant oder Weaviate. Bei der Abfrage wird die Nutzerfrage mit demselben Modell vektorisiert, die Datenbank liefert die ähnlichsten Abschnitte, und ein Sprachmodell formuliert daraus die Antwort mit Quellenangaben.
Daraus folgt eine wichtige Eigenschaft: Das Embedding-Modell ist eine strukturelle Entscheidung. Alle Vektoren im Index müssen vom selben Modell stammen, und jede Suchanfrage muss mit genau diesem Modell vektorisiert werden. Ein Modellwechsel bedeutet, den gesamten Bestand neu zu berechnen. Wer sich für OpenAI Embeddings entscheidet, bindet also nicht nur die Indexierung, sondern auch jede einzelne Suchanfrage dauerhaft an den Dienst – ein Punkt, der für Datenschutz, Verfügbarkeit und Kosten gleichermaßen relevant ist.
Die naheliegende Annahme lautet, dass das größere Modell immer die bessere Wahl ist. In der Praxis ist das nicht so eindeutig. text-embedding-3-large liefert in Benchmarks nach Angaben des Anbieters die höhere Qualität, erzeugt aber längere Vektoren, kostet pro verarbeitetem Text mehr und belegt in der Vektordatenbank mehr Speicher. text-embedding-3-small ist deutlich günstiger und kompakter und erreicht in vielen realen RAG-Szenarien eine Trefferqualität, die für den Anwendungsfall völlig ausreicht – zumal Faktoren wie Chunking, Hybrid-Suche und Reranking die Gesamtqualität oft stärker beeinflussen als der Sprung zwischen zwei Modellgrößen.
Unsere Empfehlung lautet daher: mit dem kleinen Modell beginnen und das große Modell gezielt dagegen testen. Dazu stellt man eine Sammlung realistischer Fragen aus dem Fachbereich zusammen, ordnet jeder Frage die relevanten Dokumentabschnitte zu und misst, welches Modell die relevanten Abschnitte zuverlässiger unter die ersten Treffer bringt. Zeigt sich ein deutlicher Vorteil, rechtfertigt das die höheren Kosten. Zeigt sich kein messbarer Unterschied, ist das kleine Modell die wirtschaftlichere Wahl. Eine interessante Zwischenoption bietet die Verkürzung: Das große Modell mit gekürzten Vektoren kann ein guter Kompromiss zwischen Qualität und Speicherbedarf sein.
Viele Systeme, die in den ersten Jahren des RAG-Booms entstanden sind, nutzen noch text-embedding-ada-002. Das Modell funktioniert, ist aber in der Regel weder günstiger noch besser als die aktuelle Generation. Wer ein solches System betreibt, sollte eine Migration planen – nicht übereilt, aber bewusst. Denn ein Modellwechsel erfordert die Neuberechnung aller Vektoren, und Abkündigungen älterer Modelle kündigt OpenAI zwar mit Vorlauf an, sie lassen sich aber nicht aufhalten. Eine geordnete Migration mit Vergleichstest ist besser als ein erzwungener Umstieg unter Zeitdruck.
Für Unternehmen im DACH-Raum besonders relevant ist der zweite Bezugsweg: Azure OpenAI. Microsoft stellt dieselben Modellfamilien als eigenen Dienst innerhalb der Azure-Cloud bereit. Vertragspartner ist dann Microsoft, die Modelle laufen in einer wählbaren Azure-Region, und der Dienst lässt sich mit privaten Netzwerkendpunkten, Microsoft-Entra-Identitäten und den gewohnten Azure-Richtlinien absichern. Für viele mittelständische Unternehmen mit bestehendem Microsoft-Rahmenvertrag ist das der natürlichere Weg. Zu beachten ist, dass nicht jedes Modell in jeder Region verfügbar ist und dass es verschiedene Bereitstellungsarten gibt, die sich bei der Datenverarbeitung unterscheiden können – etwa regionale gegenüber globalen oder datenzonenbasierten Bereitstellungen. Welche Variante welche Datenflüsse bedeutet, ist vor dem Einsatz in der Microsoft-Dokumentation zu prüfen.
Die Modelle der aktuellen Generation sind auf einer großen, vielsprachigen Datenbasis trainiert und erzielen nach Angaben des Anbieters in gängigen Retrieval-Benchmarks gute Ergebnisse. Für den DACH-Raum ist besonders relevant, dass deutschsprachige Texte solide abgebildet werden und auch sprachübergreifende Suche funktioniert: Eine deutsche Frage findet passende Passagen in englischen Dokumenten und umgekehrt. Für international aufgestellte Mittelständler mit gemischtsprachigen Handbüchern, Datenblättern und Korrespondenz ist das ein echter Mehrwert. Wie gut ein Modell mit Fachsprache, Abkürzungen und unternehmensinternen Begriffen umgeht, lässt sich allerdings nur im eigenen Test beurteilen – öffentliche Benchmarks bilden selten die Besonderheiten eines Maschinenbauers oder einer Steuerkanzlei ab.
Jedes Modell hat eine maximale Eingabelänge, gemessen in Tokens. Texte, die länger sind, müssen vor dem Aufruf gekürzt oder aufgeteilt werden. In RAG-Projekten ist das selten ein Problem, weil Dokumente ohnehin in deutlich kürzere Abschnitte zerlegt werden. Wichtig ist eher die umgekehrte Erkenntnis: Nur weil ein Modell lange Texte annimmt, ist es nicht sinnvoll, ganze Dokumente in einen einzigen Vektor zu pressen. Ein Vektor für zwanzig Seiten verwässert die Bedeutung; präzise Treffer entstehen aus gut geschnittenen Abschnitten. Die genauen Grenzen der Eingabelänge und die Zählweise der Tokens sind der Modelldokumentation zu entnehmen.
Eine der wichtigsten Neuerungen der text-embedding-3-Generation ist der Parameter dimensions. Er erlaubt es, beim API-Aufruf eine kürzere Vektorlänge anzufordern. Möglich wird das durch ein Trainingsverfahren, bei dem die wichtigsten Informationen in den vorderen Komponenten des Vektors konzentriert werden – in der Forschung oft unter dem Stichwort Matryoshka-Repräsentationen diskutiert, angelehnt an die ineinander verschachtelten russischen Puppen. Ein gekürzter Vektor verliert dadurch nur einen Teil seiner Aussagekraft, während Speicherbedarf und Rechenaufwand bei der Suche deutlich sinken.
Für die Praxis bedeutet das: Man kann die Vektorlänge an die Anforderungen der Vektordatenbank, das Budget und die gewünschte Qualität anpassen, ohne das Modell zu wechseln. Bei großen Beständen ist das ein erheblicher Kostenhebel, weil Arbeitsspeicher und Indexgröße der Vektordatenbank direkt von der Vektorlänge abhängen. Wichtig ist, eine einmal gewählte Länge konsistent zu verwenden: Indexierung und Abfrage müssen identisch konfiguriert sein. Die Vektoren der OpenAI-Modelle werden nach Angaben des Anbieters normalisiert ausgeliefert, sodass Kosinus-Ähnlichkeit und Skalarprodukt zu derselben Rangfolge führen; bei manuell gekürzten Vektoren ist eine erneute Normalisierung erforderlich. Welche Längen zulässig sind und wie sich die Qualität bei Verkürzung verhält, sollte man in der Dokumentation nachlesen und im eigenen Test messen.
Ein einzelner API-Aufruf kann mehrere Texte gleichzeitig vektorisieren. Das reduziert den Netzwerk-Overhead und ist bei der Erstindexierung großer Bestände Pflicht. Für sehr große, nicht zeitkritische Indexierungsläufe bietet OpenAI zusätzlich eine Batch-API an, bei der Aufträge gesammelt eingereicht und innerhalb eines definierten Zeitfensters asynchron verarbeitet werden – nach Angaben des Anbieters zu günstigeren Konditionen als bei synchronen Aufrufen. Für die nächtliche Neuindexierung eines Dokumentenarchivs ist das eine attraktive Option.
Gleichzeitig unterliegt jeder Account Ratenbegrenzungen, etwa für Anfragen und Tokens pro Minute. Sie hängen von der Nutzungsstufe des Kontos ab und steigen typischerweise mit wachsendem Umsatz. Wer eine Erstindexierung mit Millionen von Abschnitten plant, sollte diese Grenzen vorab kennen, Wiederholungslogik mit exponentiellem Backoff implementieren und die Verarbeitung so gestalten, dass sie nach Unterbrechungen wieder aufsetzen kann. Bei Azure OpenAI gelten eigene Kontingente je Bereitstellung, die sich in gewissem Rahmen beantragen und anpassen lassen. Konkrete Werte ändern sich regelmäßig und sind beim jeweiligen Anbieter zu prüfen.
Die Qualität eines RAG-Systems beginnt beim Chunking, also der Zerlegung von Dokumenten in sinnvolle Abschnitte. Zu kleine Abschnitte verlieren den Zusammenhang, zu große verwässern die Bedeutung. Bewährt haben sich Abschnitte, die sich an der Dokumentstruktur orientieren – Überschriften, Absätze, Tabellenzeilen – und eine moderate Überlappung aufweisen. Für OpenAI Embeddings gelten hier dieselben Grundsätze wie für jedes andere Modell; die großzügige Eingabelänge verleitet allerdings dazu, zu große Abschnitte zu bilden. Das sollte man bewusst vermeiden und stattdessen mehrere Varianten gegeneinander testen.
Ein wirksamer Hebel ist die Kontextanreicherung: Vor dem Vektorisieren wird jedem Abschnitt eine kurze Einordnung vorangestellt, etwa Dokumenttitel, Kapitelüberschrift, Produktbezeichnung oder Gültigkeitsbereich. Ein Abschnitt, der nur „Der Wert ist monatlich zu prüfen“ enthält, wird erst durch den Zusatz „Wartungsanleitung Kompressor Baureihe K, Kapitel Ölstand“ eindeutig auffindbar. Manche Teams lassen diese Einordnung von einem Sprachmodell erzeugen. Das verbessert die Treffer häufig spürbar, erhöht aber die Kosten der Indexierung und sollte ebenfalls im Vergleichstest bestätigt werden.
Dichte Embeddings verstehen Bedeutung, haben aber eine bekannte Schwäche: exakte Begriffe. Artikelnummern, Fehlercodes, Normbezeichnungen, Paragraphen oder seltene Eigennamen werden von semantischen Vektoren nicht immer zuverlässig erfasst. Das gilt für OpenAI Embeddings ebenso wie für die meisten anderen dichten Modelle. Die bewährte Antwort ist die Hybrid-Suche: Parallel zur Vektorsuche läuft eine klassische Schlüsselwortsuche, etwa mit BM25, und beide Ergebnislisten werden anschließend zusammengeführt, häufig per Reciprocal Rank Fusion. OpenAI selbst bietet über die Embedding-Endpunkte keine Sparse-Vektoren oder Schlüsselwortkomponente an; diese Aufgabe übernimmt die Vektordatenbank oder eine Suchmaschine wie Elasticsearch.
Der zweite Qualitätshebel ist das Reranking. Embeddings sind für die schnelle Vorauswahl optimiert: Frage und Dokument werden unabhängig voneinander vektorisiert und nur über ihre Vektoren verglichen. Ein Reranker betrachtet Frage und Kandidatenabschnitt dagegen gemeinsam und kann deutlich feiner beurteilen, ob ein Abschnitt die Frage tatsächlich beantwortet. In der Praxis holt man mit Embeddings und Schlüsselwortsuche eine größere Kandidatenmenge und lässt einen Reranker die besten Treffer auswählen. OpenAI bietet keinen eigenen Reranking-Endpunkt in der Embedding-Familie an; genutzt werden Reranker anderer Anbieter oder selbst betriebene Open-Source-Modelle. Alternativ kann ein Sprachmodell die Relevanzbewertung übernehmen, was flexibel, aber langsamer und teurer ist.
Embeddings sind ein vielseitiges Werkzeug, das über die Dokumentensuche hinausreicht. Mit denselben Vektoren lassen sich Texte klassifizieren, etwa eingehende E-Mails nach Themen oder Tickets nach Dringlichkeit, indem man sie mit Beispielvektoren bekannter Kategorien vergleicht oder einen einfachen Klassifikator darauf trainiert. Clustering gruppiert große Textmengen nach inhaltlicher Nähe und hilft etwa, wiederkehrende Reklamationsursachen zu erkennen. Duplikaterkennung findet nahezu gleiche Anfragen, Angebote oder Stammdatensätze. Und Empfehlungen schlagen ähnliche Produkte, Artikel oder Projekte vor.
Für Agenten-Systeme dienen Embeddings als Langzeitgedächtnis: Gesprächsverläufe, Zwischenergebnisse und Präferenzen werden vektorisiert gespeichert und bei Bedarf semantisch wieder abgerufen. Auch das Routing von Anfragen an spezialisierte Werkzeuge oder Wissensbestände lässt sich über Vektorähnlichkeit steuern. In all diesen Fällen gilt dieselbe Logik wie im RAG: Jede Verarbeitung erfordert einen API-Aufruf, und jeder Text, der vektorisiert wird, verlässt die eigene Infrastruktur – was bei der Datenschutzbewertung entsprechend berücksichtigt werden muss.
Der Zugriff erfolgt über eine schlichte REST-Schnittstelle: Man übergibt Modellname, einen oder mehrere Texte und optional die gewünschte Vektorlänge und erhält die Vektoren samt Angaben zum Tokenverbrauch zurück. OpenAI stellt offizielle Bibliotheken unter anderem für Python und JavaScript beziehungsweise TypeScript bereit; für weitere Sprachen wie .NET, Java oder Go gibt es offizielle oder weit verbreitete Community-Bibliotheken. Für Azure OpenAI unterscheiden sich Endpunkt, Authentifizierung und die Angabe der Bereitstellung, die Grundlogik bleibt aber gleich, und die gängigen Bibliotheken unterstützen beide Varianten.
Bemerkenswert ist, dass das API-Format von OpenAI zu einer Art Industriestandard geworden ist. Viele andere Anbieter und lokale Inferenz-Server bieten eine OpenAI-kompatible Schnittstelle an. Das hat einen praktischen Vorteil: Eine Anwendung, die gegen die OpenAI-Embedding-Schnittstelle programmiert ist, lässt sich mit vergleichsweise geringem Aufwand auf einen selbst betriebenen Server mit einem Open-Source-Modell umstellen – vorausgesetzt, man berechnet anschließend den gesamten Index neu. Diese Kompatibilität ist ein wichtiges Argument für eine saubere Abstraktion von Anfang an.
In allen relevanten RAG- und Agenten-Frameworks sind OpenAI Embeddings als fertige Komponente integriert. LangChain und LlamaIndex bieten eigene Embedding-Klassen für OpenAI und Azure OpenAI, die sich mit wenigen Zeilen Konfiguration in Indexierungs- und Abfrage-Pipelines einbinden lassen. Haystack stellt passende Embedder-Komponenten für Dokumente und Anfragen bereit. Auch Microsofts Semantic Kernel und Spring AI aus dem Java-Umfeld unterstützen die Modelle direkt. Die Frameworks kümmern sich um Bündelung, Wiederholungen bei Fehlern und teilweise um Zwischenspeicherung bereits berechneter Vektoren.
Ein praktischer Tipp: Viele Frameworks setzen OpenAI-Modelle als Voreinstellung ein, wenn nichts anderes konfiguriert ist. Das ist bequem für Experimente, kann aber unbemerkt dazu führen, dass Testdaten an einen US-Dienst übermittelt werden. In Projekten mit vertraulichen Daten sollte das Embedding-Modell deshalb immer explizit konfiguriert und der Endpunkt dokumentiert sein.
Neben den Frameworks bieten viele Vektordatenbanken eine direkte Anbindung an OpenAI Embeddings. Weaviate etwa kann über Module Texte beim Einfügen automatisch vektorisieren lassen; Pinecone, Qdrant, Milvus, MongoDB und Elasticsearch stellen ebenfalls Integrationen oder dokumentierte Muster bereit. Azure AI Search kann Embedding-Modelle aus Azure OpenAI in seine Indexierungspipelines einbinden und so Vektorisierung, Speicherung und Suche innerhalb der Azure-Umgebung abwickeln. Für PostgreSQL mit pgvector gibt es Erweiterungen und Hilfsdienste, die Embeddings bei Änderungen automatisch aktualisieren.
Solche Integrationen sind komfortabel, verlagern aber Verantwortung: Wenn die Datenbank selbst den Embedding-Dienst aufruft, muss auch deren Konfiguration in die Datenschutzbewertung einbezogen werden, und der API-Schlüssel liegt an einer weiteren Stelle. Bei der Fehlersuche hilft es, wenn klar ist, welche Komponente wann welchen Text an welchen Endpunkt schickt.
Cohere hat sich früh auf Unternehmenssuche spezialisiert und bietet neben Embedding-Modellen mit ausgeprägter Mehrsprachigkeit auch eigene Reranker an. Das ist ein strategischer Unterschied: Wer Cohere nutzt, erhält Vorauswahl und Nachsortierung aus einer Hand. Cohere-Modelle sind zudem über mehrere Hyperscaler-Marktplätze verfügbar, und für bestimmte Unternehmenskunden werden private Bereitstellungen angeboten. Ein Vergleich lohnt sich besonders bei mehrsprachigen Beständen und wenn ein Reranker ohnehin eingeplant ist.
Auch Google bietet über seine Cloud-Plattform eigene Embedding-Modelle an, die sich vor allem für Unternehmen anbieten, die bereits in der Google-Umgebung arbeiten. Spezialisierte Anbieter wie Voyage AI haben sich auf hochwertige Retrieval-Modelle konzentriert, teils mit Varianten für Code, Recht oder Finanzen. Aus Europa kommen Anbieter wie das französische Mistral mit eigenen Embedding-Modellen oder das Berliner Unternehmen Jina AI, dessen Modelle teilweise auch offen verfügbar sind. Für Unternehmen mit Souveränitätsanspruch ist ein europäischer Vertragspartner ein relevantes Argument – die konkreten Bedingungen zu Datenstandort und Unterauftragsverarbeitern sind aber in jedem Fall zu prüfen.
Die größte Veränderung der letzten Jahre ist die Qualität offener Embedding-Modelle. Familien wie BGE, E5, GTE oder die vielen Modelle aus dem Sentence-Transformers-Ökosystem erreichen in öffentlichen Benchmarks Werte, die mit kommerziellen Modellen vergleichbar sind, und es gibt ausdrücklich mehrsprachige Varianten mit guter deutscher Abdeckung. Der entscheidende Vorteil: Diese Modelle lassen sich vollständig selbst betreiben – auf einem Server im eigenen Rechenzentrum, bei einem deutschen Hoster oder sogar auf leistungsfähigen Arbeitsplatzrechnern. Kein Text verlässt die eigene Infrastruktur, es gibt keine Ratenbegrenzungen eines Dritten, keine Abkündigung durch einen Anbieter und keine nutzungsabhängigen Kosten pro Token.
Der Preis dafür ist der Betriebsaufwand. Ein Inferenz-Server will eingerichtet, überwacht und aktualisiert werden, und für hohe Durchsätze ist eine GPU sinnvoll. Für kleine bis mittlere Bestände reicht häufig schon eine CPU-basierte Lösung, weil Embedding-Modelle deutlich kleiner sind als große Sprachmodelle. Viele Inferenz-Server stellen eine OpenAI-kompatible Schnittstelle bereit, sodass der Wechsel auf Anwendungsebene überschaubar bleibt. Hinzu kommt die Lizenzfrage: Nicht jedes offene Modell ist für kommerzielle Nutzung freigegeben; die Lizenz ist vor dem Einsatz zu prüfen.
Die Kernbotschaft der Abgrenzung: OpenAI Embeddings sind nicht konkurrenzlos, aber ein solider Referenzpunkt. Ihre Stärken liegen in Qualität, Einfachheit und Verbreitung. Ihre Schwächen liegen in der fehlenden Selbsthosting-Option, der Abhängigkeit von einem US-Anbieter und dem Fehlen eines eigenen Rerankers. Für viele Projekte ist ein strukturierter Vergleich zwischen OpenAI beziehungsweise Azure OpenAI und einem selbst betriebenen Open-Source-Modell die beste Entscheidungsgrundlage.
Der wichtigste Architekturgrundsatz lautet: Das Embedding-Modell gehört hinter eine Abstraktionsschicht. Die Anwendung sollte nicht direkt und an vielen Stellen die OpenAI-Bibliothek aufrufen, sondern einen eigenen, zentralen Dienst oder eine klar definierte Schnittstelle nutzen. Dort werden Modellname, Endpunkt, Vektorlänge und Authentifizierung konfiguriert. Ein späterer Wechsel – von der OpenAI-API zu Azure OpenAI, zu einem neuen Modell oder zu einem selbst betriebenen Open-Source-Modell – betrifft dann nur diese eine Stelle und die anschließende Neuindexierung.
Ein Zwischenspeicher für bereits berechnete Vektoren spart Kosten und Zeit. Wird ein Dokument erneut verarbeitet, ohne dass sich ein Abschnitt geändert hat, kann der vorhandene Vektor über einen Hashwert des Textes wiederverwendet werden. Bei Suchanfragen lohnt ein kurzer Cache für häufige Fragen. Zur Ausfallsicherheit gehört die Frage, was passiert, wenn der Dienst nicht erreichbar ist: Bei der Indexierung können Aufträge in eine Warteschlange gestellt und später nachgeholt werden; bei der Suche dagegen ist ohne Anfragevektor keine semantische Suche möglich. Eine Rückfallebene über die reine Schlüsselwortsuche hält das System in solchen Situationen zumindest eingeschränkt nutzbar. Zu beachten ist, dass eine zweite Region oder ein zweiter Anbieter nur dann als Ausweichlösung taugt, wenn dort exakt dasselbe Modell mit identischer Konfiguration bereitsteht.
Jedes Embedding-Modell hat eine begrenzte Lebensdauer. Neue Generationen erscheinen, ältere werden abgekündigt. Weil Vektoren unterschiedlicher Modelle nicht kompatibel sind, bedeutet jeder Wechsel eine vollständige Neuberechnung des Index. Bei großen Beständen ist das ein eigenes Projekt mit Kosten, Laufzeit und Testaufwand. Bewährt hat sich ein paralleler Aufbau: Der neue Index wird neben dem alten befüllt, beide werden mit denselben Testfragen verglichen, und erst nach erfolgreicher Prüfung wird die Suche umgeschaltet.
Dafür ist es entscheidend, die Originaltexte der Abschnitte samt Metadaten dauerhaft zu speichern, nicht nur die Vektoren. Ebenso sollte zu jedem Vektor festgehalten werden, mit welchem Modell, welcher Vektorlänge und welcher Chunking-Konfiguration er entstanden ist. Diese Disziplin kostet wenig und macht spätere Migrationen planbar statt riskant.
Besonders gut passen sie dort, wo Unternehmen bereits auf Microsoft Azure setzen und die Modelle über Azure OpenAI in einer EU-Region beziehen können, wo Inhalte überwiegend nicht personenbezogen sind – etwa technische Dokumentation, Produktinformationen oder öffentlich verfügbare Normen – und wo ein schneller Prototyp den Nutzen eines KI-Assistenten belegen soll. Weniger geeignet sind sie für Bestände mit besonders schutzbedürftigen Daten, etwa Gesundheits-, Personal- oder Mandantendaten, sowie für Organisationen, die aus strategischen Gründen keine Abhängigkeit von einem außereuropäischen KI-Anbieter eingehen wollen.
Ein typisches Mittelstandsprojekt mit OpenAI Embeddings sieht in unserer Praxis etwa so aus: Die Modelle werden über Azure OpenAI in einer EU-Region bezogen, abgesichert über einen privaten Netzwerkendpunkt und eine zentrale Identitätsverwaltung. Ein Hintergrunddienst liest Dokumente aus SharePoint, Dateiablagen und Wiki, zerlegt sie strukturorientiert, reichert jeden Abschnitt mit Titel und Kapitel an und lässt sie gebündelt vektorisieren. Vektoren, Originaltexte und Metadaten – einschließlich Berechtigungsgruppen und Modellversion – landen in einer Vektordatenbank, etwa Azure AI Search, PostgreSQL mit pgvector oder einer selbst betriebenen Qdrant-Instanz. Die Suchschicht kombiniert Vektor- und Schlüsselwortsuche, filtert nach Berechtigungen, sortiert die Kandidaten per Reranker nach und übergibt die besten Abschnitte an ein Sprachmodell. Fragen, Treffer und Nutzerfeedback werden protokolliert, um die Qualität fortlaufend zu messen.
Der entscheidende Punkt ist die Austauschbarkeit: Weil das Embedding-Modell hinter einer Abstraktion liegt und alle Originaltexte gespeichert sind, kann das Unternehmen später ohne Umbau der Anwendung auf ein selbst betriebenes Open-Source-Modell wechseln – etwa wenn sensiblere Datenbestände hinzukommen oder sich die strategische Bewertung ändert.
OpenAI Embeddings machen den Einstieg leicht, aber sie lösen nicht die eigentlichen Herausforderungen eines RAG-Projekts. Die größten Hebel liegen in der Datenqualität, im Chunking, in Berechtigungskonzepten, in einer Hybrid-Suche und in einer systematischen Evaluation. Wer diese Arbeit investiert, erzielt mit OpenAI Embeddings ebenso gute Ergebnisse wie mit einem guten Open-Source-Modell. Wer sie auslässt, wird mit keinem Modell zufrieden sein. Für die Modellwahl empfehlen wir deshalb einen nüchternen Vergleichstest statt einer Grundsatzentscheidung.
Bei der direkten Nutzung der OpenAI-API ist OpenAI Vertragspartner und Auftragsverarbeiter. Nach Angaben des Anbieters werden über die API übermittelte Daten standardmäßig nicht zum Training der Modelle verwendet, für einen begrenzten Zeitraum aber zur Missbrauchsüberwachung aufbewahrt; für berechtigte Kunden gibt es Optionen mit reduzierter oder ohne Datenaufbewahrung. OpenAI bietet zudem einen Auftragsverarbeitungsvertrag sowie für bestimmte Kundengruppen inzwischen Optionen zur Datenresidenz in Europa an. Ob und zu welchen Bedingungen diese Optionen für das eigene Konto verfügbar sind, ist beim Anbieter zu prüfen. Unabhängig vom Speicherort bleibt die Verarbeitung durch ein US-Unternehmen, das dem US CLOUD Act unterliegt, und der Datentransfer in ein Drittland ist zu bewerten.
Bei Azure OpenAI in einer EU-Region ist Microsoft Vertragspartner, und die Verarbeitung findet in der gewählten europäischen Azure-Region statt, sofern eine regionale beziehungsweise auf die EU begrenzte Bereitstellungsart gewählt wird. Viele Unternehmen haben mit Microsoft bereits einen Rahmenvertrag mit Auftragsverarbeitungsregelungen, was die Einbindung erleichtert. Hinzu kommen technische Schutzmaßnahmen wie private Endpunkte, Verschlüsselung mit eigenen Schlüsseln und rollenbasierte Zugriffe. Auch hier gilt: Microsoft ist ein US-Unternehmen, und der CLOUD Act ist in die Bewertung einzubeziehen. Für viele Mittelständler ist Azure OpenAI in einer EU-Region dennoch der datenschutzfreundlichere Weg zu den OpenAI-Modellen.
Die konsequenteste Option sind lokal betriebene Open-Source-Embedding-Modelle. Ein Modell aus der BGE-Familie oder dem Sentence-Transformers-Ökosystem läuft auf eigener Hardware oder bei einem deutschen Hoster; kein Text verlässt den eigenen Verantwortungsbereich, und es gibt keinen Drittanbieter, der Daten verarbeitet. Für Bestände mit personenbezogenen, vertraulichen oder geheimhaltungsbedürftigen Daten ist das aus unserer Sicht die erste Wahl. Eine Zwischenlösung bilden europäische Embedding-Anbieter mit Sitz und Rechenzentren in der EU, deren Bedingungen ebenfalls im Einzelfall zu prüfen sind.
Unabhängig vom Modell gilt: Vektoren sind keine anonymen Daten. Aus Embeddings lassen sich unter Umständen Rückschlüsse auf die Ursprungstexte ziehen, und neben dem Vektor liegt in der Vektordatenbank in der Regel ohnehin der Klartext. Löschkonzepte, Zugriffskontrollen und Aufbewahrungsfristen müssen daher auch für Vektoren, Zwischenspeicher und Protokolle umgesetzt werden. Wo möglich, sollten personenbezogene Inhalte vor der Vektorisierung entfernt oder pseudonymisiert werden. Und schließlich gehört die gesamte Pipeline auf den Prüfstand – neben dem Embedding-Modell auch Vektordatenbank, Reranker und Sprachmodell.
OpenAI Embeddings werden nutzungsabhängig nach der Zahl der verarbeiteten Tokens abgerechnet. Im Vergleich zu großen Sprachmodellen sind die Preise pro Token niedrig, und das kleine Modell ist deutlich günstiger als das große. Die Batch-API bietet nach Angaben des Anbieters zusätzliche Ersparnisse für nicht zeitkritische Aufträge. Bei Azure OpenAI gelten eigene Preise und Abrechnungsmodelle, teils auch mit reservierter Kapazität. Aktuelle Preise sind beim jeweiligen Anbieter zu prüfen, da sie sich regelmäßig ändern.
In der Gesamtrechnung sind die reinen Embedding-Kosten oft der kleinere Posten. Stärker ins Gewicht fallen häufig die Vektordatenbank, deren Speicher- und Arbeitsspeicherbedarf direkt von Vektorlänge und Bestandsgröße abhängt, die Sprachmodell-Aufrufe für die Antwortgenerierung sowie die Arbeitszeit für Aufbau, Betrieb und Evaluation. Verkürzte Vektoren sind daher ein wirksamer Hebel für die Datenbankkosten. Nicht zu vergessen sind die Kosten künftiger Modellwechsel: Jedes Re-Embedding des Gesamtbestands verursacht erneut Tokenkosten und Projektaufwand. Selbst betriebene Open-Source-Modelle haben keine Kosten pro Token, dafür Fixkosten für Hardware und Betrieb; ab einem gewissen Volumen und bei vorhandenem Betriebs-Know-how können sie die wirtschaftlichere Wahl sein. Eine belastbare Aussage ergibt sich nur aus einer Rechnung mit den eigenen Mengen.