Wissensdatenbank · Embedding-Modelle · Cloud-API von OpenAI

OpenAI Embeddings – Vektoren aus der API für RAG und semantische Suche.

Die Embedding-Modelle der text-embedding-Familie sind für viele Teams der erste Kontakt mit Vektorsuche: ein API-Aufruf, und aus Text wird ein Vektor, der Bedeutung abbildet. Gute mehrsprachige Qualität, verkürzbare Vektoren und eine enorme Verbreitung in Frameworks machen sie zum De-facto-Standard vieler RAG-Prototypen. Dieser Fachartikel ordnet Modellfamilie, Funktionen, Ökosystem, Wettbewerb, Betrieb sowie Kosten und DSGVO herstellerneutral ein – inklusive der souveränen Alternativen.

Dieser Artikel wurde mithilfe künstlicher Intelligenz erstellt und redaktionell geprüft.

28 Min. Lesezeit
Aktualisiert · Oktober 2026
Fachartikel · Expertenbeitrag
OpenAI Embeddings
OpenAI (USA) · text-embedding-Modellfamilie
Typ
Embedding-Modelle per API
Anbieter
OpenAI, auch via Azure
Lizenz
Proprietär, nutzungsbasiert
Schnittstelle
REST-API & offizielle SDKs
Betrieb
Nur Cloud, kein Self-Hosting
Stärke
Qualität, Einfachheit, Ökosystem
INAGRO Eignung RAG im Mittelstand (mit EU-Region)
★★★★★
Kapitel 01 · Überblick

Was sind OpenAI Embeddings – und warum nutzen so viele RAG-Projekte sie?

OpenAI Embeddings sind Modelle, die über die OpenAI-API Texte in Vektoren übersetzen – lange Zahlenreihen, in denen sich die Bedeutung eines Textes widerspiegelt. Sie bilden die unsichtbare, aber entscheidende Grundlage für semantische Suche, Retrieval-Augmented Generation, Klassifikation und Empfehlungen. Weil sie mit einem einzigen API-Aufruf nutzbar sind und in praktisch jedem KI-Framework als Standard hinterlegt sind, starten unzählige Projekte genau hier.

Um die Rolle dieser Modelle zu verstehen, hilft ein kurzer Blick auf das Prinzip. Ein Embedding-Modell liest einen Text – einen Satz, einen Absatz oder einen Dokumentabschnitt – und gibt einen Vektor fester Länge zurück. Texte mit ähnlicher Bedeutung erhalten Vektoren, die im hochdimensionalen Raum nah beieinanderliegen. Die Frage „Wie beantrage ich Urlaub?“ landet dadurch in der Nähe des Abschnitts „Abwesenheiten sind über das Personalportal einzureichen“, obwohl kaum ein Wort übereinstimmt. Diese semantische Nähe lässt sich mit einfachen mathematischen Maßen wie der Kosinus-Ähnlichkeit berechnen und ist der Kern jeder modernen KI-Suche.
OpenAI bietet solche Modelle seit einigen Jahren als eigenständige Endpunkte seiner API an. Während die großen Sprachmodelle des Anbieters die öffentliche Wahrnehmung prägen, arbeiten die Embedding-Modelle meist im Hintergrund: Sie indexieren Wissensbestände, beantworten Suchanfragen und entscheiden damit maßgeblich, welche Informationen ein Sprachmodell überhaupt zu sehen bekommt. Ein RAG-System ist nur so gut wie sein Retrieval – und das Retrieval ist nur so gut wie seine Embeddings.

Von den ersten Modellen zur text-embedding-3-Generation

Die Embedding-Angebote von OpenAI haben mehrere Generationen durchlaufen. Frühe Modelle waren noch nach Aufgaben getrennt, etwa für Suche, Ähnlichkeit oder Code. Mit text-embedding-ada-002 führte OpenAI später ein einheitliches Modell für alle Aufgaben ein, das schnell zum Branchenstandard wurde und in zahllosen Tutorials, Frameworks und Produkten als Voreinstellung landete. Viele Bestandssysteme laufen bis heute damit.
Die aktuelle Generation besteht aus text-embedding-3-small und text-embedding-3-large. Sie brachten nach Angaben des Anbieters eine deutlich bessere Qualität, insbesondere bei mehrsprachigen Texten, sowie eine wichtige neue Fähigkeit: Die Länge der Vektoren lässt sich per Parameter verkürzen, ohne das Modell zu wechseln. Damit kann man Speicherbedarf und Kosten der Vektordatenbank gezielt steuern. Welche Modelle aktuell angeboten werden, welche als veraltet markiert sind und welche technischen Grenzen gelten, sollte stets in der offiziellen Dokumentation geprüft werden – die Modellpflege bei OpenAI ist dynamisch.

Die Rolle der Embeddings in einer RAG-Architektur

In einer Retrieval-Augmented-Generation-Architektur kommen Embeddings an zwei Stellen zum Einsatz. Bei der Indexierung werden alle Dokumente in Abschnitte zerlegt und jeder Abschnitt wird vektorisiert; die Vektoren landen zusammen mit Text und Metadaten in einer Vektordatenbank wie pgvector, Qdrant oder Weaviate. Bei der Abfrage wird die Nutzerfrage mit demselben Modell vektorisiert, die Datenbank liefert die ähnlichsten Abschnitte, und ein Sprachmodell formuliert daraus die Antwort mit Quellenangaben.
Daraus folgt eine wichtige Eigenschaft: Das Embedding-Modell ist eine strukturelle Entscheidung. Alle Vektoren im Index müssen vom selben Modell stammen, und jede Suchanfrage muss mit genau diesem Modell vektorisiert werden. Ein Modellwechsel bedeutet, den gesamten Bestand neu zu berechnen. Wer sich für OpenAI Embeddings entscheidet, bindet also nicht nur die Indexierung, sondern auch jede einzelne Suchanfrage dauerhaft an den Dienst – ein Punkt, der für Datenschutz, Verfügbarkeit und Kosten gleichermaßen relevant ist.
INAGRO-Einschätzung

OpenAI Embeddings sind aus unserer Sicht ein qualitativ starker und sehr bequemer Baustein für RAG-Projekte – besonders für Prototypen und für Unternehmen, die ohnehin auf Microsoft-Infrastruktur setzen und die Modelle über Azure OpenAI in einer EU-Region beziehen können. Für Projekte mit hohem Souveränitätsanspruch, sensiblen personenbezogenen Daten oder dem Wunsch nach voller Unabhängigkeit prüfen wir parallel immer selbst betriebene Open-Source-Modelle. Die Qualitätslücke ist in vielen deutschsprachigen Szenarien klein geworden; die Unterschiede bei Datenhoheit und Betriebsmodell sind dagegen groß.

Kapitel 02 · Modellfamilie & Positionierung

Small, Large und Legacy: die text-embedding-Familie im Überblick

OpenAI positioniert seine Embedding-Modelle als universelle Werkzeuge für Suche, Clustering, Klassifikation und Empfehlungen. Die Familie ist überschaubar: ein kompaktes, kostengünstiges Modell, ein größeres Modell für maximale Qualität und ein älteres Modell, das vor allem in Bestandssystemen weiterlebt. Hinzu kommt der Bezugsweg über Microsoft Azure. Die Übersicht ist bewusst qualitativ; aktuelle Eigenschaften, Grenzen und Preise sind beim Anbieter zu prüfen.

text-embedding-3-small
Effizient

Das kompakte Modell der aktuellen Generation. Gute Qualität bei niedrigen Kosten und geringer Latenz – für die Mehrzahl der RAG-Projekte der empfohlene Startpunkt.

EinsatzStandard-RAG, Suche
Vektorlängeverkürzbar
Kostenniedrig, beim Anbieter prüfen
text-embedding-3-large
Flaggschiff

Das leistungsstärkste Embedding-Modell der Familie mit längeren Vektoren und der höchsten Trefferqualität, besonders bei anspruchsvollen und mehrsprachigen Beständen.

EinsatzFachtexte, hohe Präzision
Vektorlängelang, verkürzbar
Kostenhöher, beim Anbieter prüfen
text-embedding-ada-002
Legacy

Das langjährige Standardmodell der Vorgängergeneration. In vielen Bestandssystemen noch aktiv, für neue Projekte aber nicht mehr die erste Wahl.

EinsatzBestandssysteme
Vektorlängefest
PerspektiveMigration planen
Azure OpenAI
EU-Region

Dieselben Modellfamilien als Dienst in Microsoft Azure, mit wählbaren Regionen, Unternehmensverträgen, Netzwerkisolation und Anbindung an die Azure-Sicherheitswerkzeuge.

VertragspartnerMicrosoft
DatenstandortEU-Region wählbar
Modelleje Region prüfen

Small oder Large: die Wahl des richtigen Modells

Die naheliegende Annahme lautet, dass das größere Modell immer die bessere Wahl ist. In der Praxis ist das nicht so eindeutig. text-embedding-3-large liefert in Benchmarks nach Angaben des Anbieters die höhere Qualität, erzeugt aber längere Vektoren, kostet pro verarbeitetem Text mehr und belegt in der Vektordatenbank mehr Speicher. text-embedding-3-small ist deutlich günstiger und kompakter und erreicht in vielen realen RAG-Szenarien eine Trefferqualität, die für den Anwendungsfall völlig ausreicht – zumal Faktoren wie Chunking, Hybrid-Suche und Reranking die Gesamtqualität oft stärker beeinflussen als der Sprung zwischen zwei Modellgrößen.
Unsere Empfehlung lautet daher: mit dem kleinen Modell beginnen und das große Modell gezielt dagegen testen. Dazu stellt man eine Sammlung realistischer Fragen aus dem Fachbereich zusammen, ordnet jeder Frage die relevanten Dokumentabschnitte zu und misst, welches Modell die relevanten Abschnitte zuverlässiger unter die ersten Treffer bringt. Zeigt sich ein deutlicher Vorteil, rechtfertigt das die höheren Kosten. Zeigt sich kein messbarer Unterschied, ist das kleine Modell die wirtschaftlichere Wahl. Eine interessante Zwischenoption bietet die Verkürzung: Das große Modell mit gekürzten Vektoren kann ein guter Kompromiss zwischen Qualität und Speicherbedarf sein.

Legacy-Modelle und der Bezug über Azure OpenAI

Viele Systeme, die in den ersten Jahren des RAG-Booms entstanden sind, nutzen noch text-embedding-ada-002. Das Modell funktioniert, ist aber in der Regel weder günstiger noch besser als die aktuelle Generation. Wer ein solches System betreibt, sollte eine Migration planen – nicht übereilt, aber bewusst. Denn ein Modellwechsel erfordert die Neuberechnung aller Vektoren, und Abkündigungen älterer Modelle kündigt OpenAI zwar mit Vorlauf an, sie lassen sich aber nicht aufhalten. Eine geordnete Migration mit Vergleichstest ist besser als ein erzwungener Umstieg unter Zeitdruck.
Für Unternehmen im DACH-Raum besonders relevant ist der zweite Bezugsweg: Azure OpenAI. Microsoft stellt dieselben Modellfamilien als eigenen Dienst innerhalb der Azure-Cloud bereit. Vertragspartner ist dann Microsoft, die Modelle laufen in einer wählbaren Azure-Region, und der Dienst lässt sich mit privaten Netzwerkendpunkten, Microsoft-Entra-Identitäten und den gewohnten Azure-Richtlinien absichern. Für viele mittelständische Unternehmen mit bestehendem Microsoft-Rahmenvertrag ist das der natürlichere Weg. Zu beachten ist, dass nicht jedes Modell in jeder Region verfügbar ist und dass es verschiedene Bereitstellungsarten gibt, die sich bei der Datenverarbeitung unterscheiden können – etwa regionale gegenüber globalen oder datenzonenbasierten Bereitstellungen. Welche Variante welche Datenflüsse bedeutet, ist vor dem Einsatz in der Microsoft-Dokumentation zu prüfen.
Gleiches Modell, anderer Rahmen

Ein Embedding-Modell über die OpenAI-API und dasselbe Modell über Azure OpenAI erzeugen fachlich vergleichbare Vektoren. Unterschiedlich sind Vertragspartner, Datenstandort, Sicherheitsfunktionen, Abrechnung und Verfügbarkeit neuer Modelle. Wer früh festlegt, über welchen Weg produktiv gearbeitet wird, erspart sich spätere Doppelarbeit bei Verträgen und Datenschutzdokumentation.

Kapitel 03 · Funktionsumfang

Mehrsprachigkeit, verkürzbare Vektoren und Batch-Verarbeitung

Der Funktionsumfang eines Embedding-Dienstes wirkt auf den ersten Blick schlicht: Text hinein, Vektor heraus. Die Details entscheiden jedoch über Qualität, Kosten und Betriebsaufwand. Die OpenAI-Modelle bringen einige Eigenschaften mit, die in der Praxis besonders relevant sind.

Qualität, Mehrsprachigkeit und Eingabelänge

Die Modelle der aktuellen Generation sind auf einer großen, vielsprachigen Datenbasis trainiert und erzielen nach Angaben des Anbieters in gängigen Retrieval-Benchmarks gute Ergebnisse. Für den DACH-Raum ist besonders relevant, dass deutschsprachige Texte solide abgebildet werden und auch sprachübergreifende Suche funktioniert: Eine deutsche Frage findet passende Passagen in englischen Dokumenten und umgekehrt. Für international aufgestellte Mittelständler mit gemischtsprachigen Handbüchern, Datenblättern und Korrespondenz ist das ein echter Mehrwert. Wie gut ein Modell mit Fachsprache, Abkürzungen und unternehmensinternen Begriffen umgeht, lässt sich allerdings nur im eigenen Test beurteilen – öffentliche Benchmarks bilden selten die Besonderheiten eines Maschinenbauers oder einer Steuerkanzlei ab.
Jedes Modell hat eine maximale Eingabelänge, gemessen in Tokens. Texte, die länger sind, müssen vor dem Aufruf gekürzt oder aufgeteilt werden. In RAG-Projekten ist das selten ein Problem, weil Dokumente ohnehin in deutlich kürzere Abschnitte zerlegt werden. Wichtig ist eher die umgekehrte Erkenntnis: Nur weil ein Modell lange Texte annimmt, ist es nicht sinnvoll, ganze Dokumente in einen einzigen Vektor zu pressen. Ein Vektor für zwanzig Seiten verwässert die Bedeutung; präzise Treffer entstehen aus gut geschnittenen Abschnitten. Die genauen Grenzen der Eingabelänge und die Zählweise der Tokens sind der Modelldokumentation zu entnehmen.

Verkürzbare Vektoren und Normalisierung

Eine der wichtigsten Neuerungen der text-embedding-3-Generation ist der Parameter dimensions. Er erlaubt es, beim API-Aufruf eine kürzere Vektorlänge anzufordern. Möglich wird das durch ein Trainingsverfahren, bei dem die wichtigsten Informationen in den vorderen Komponenten des Vektors konzentriert werden – in der Forschung oft unter dem Stichwort Matryoshka-Repräsentationen diskutiert, angelehnt an die ineinander verschachtelten russischen Puppen. Ein gekürzter Vektor verliert dadurch nur einen Teil seiner Aussagekraft, während Speicherbedarf und Rechenaufwand bei der Suche deutlich sinken.
Für die Praxis bedeutet das: Man kann die Vektorlänge an die Anforderungen der Vektordatenbank, das Budget und die gewünschte Qualität anpassen, ohne das Modell zu wechseln. Bei großen Beständen ist das ein erheblicher Kostenhebel, weil Arbeitsspeicher und Indexgröße der Vektordatenbank direkt von der Vektorlänge abhängen. Wichtig ist, eine einmal gewählte Länge konsistent zu verwenden: Indexierung und Abfrage müssen identisch konfiguriert sein. Die Vektoren der OpenAI-Modelle werden nach Angaben des Anbieters normalisiert ausgeliefert, sodass Kosinus-Ähnlichkeit und Skalarprodukt zu derselben Rangfolge führen; bei manuell gekürzten Vektoren ist eine erneute Normalisierung erforderlich. Welche Längen zulässig sind und wie sich die Qualität bei Verkürzung verhält, sollte man in der Dokumentation nachlesen und im eigenen Test messen.

Batch-Aufrufe, Batch-API und Durchsatzgrenzen

Ein einzelner API-Aufruf kann mehrere Texte gleichzeitig vektorisieren. Das reduziert den Netzwerk-Overhead und ist bei der Erstindexierung großer Bestände Pflicht. Für sehr große, nicht zeitkritische Indexierungsläufe bietet OpenAI zusätzlich eine Batch-API an, bei der Aufträge gesammelt eingereicht und innerhalb eines definierten Zeitfensters asynchron verarbeitet werden – nach Angaben des Anbieters zu günstigeren Konditionen als bei synchronen Aufrufen. Für die nächtliche Neuindexierung eines Dokumentenarchivs ist das eine attraktive Option.
Gleichzeitig unterliegt jeder Account Ratenbegrenzungen, etwa für Anfragen und Tokens pro Minute. Sie hängen von der Nutzungsstufe des Kontos ab und steigen typischerweise mit wachsendem Umsatz. Wer eine Erstindexierung mit Millionen von Abschnitten plant, sollte diese Grenzen vorab kennen, Wiederholungslogik mit exponentiellem Backoff implementieren und die Verarbeitung so gestalten, dass sie nach Unterbrechungen wieder aufsetzen kann. Bei Azure OpenAI gelten eigene Kontingente je Bereitstellung, die sich in gewissem Rahmen beantragen und anpassen lassen. Konkrete Werte ändern sich regelmäßig und sind beim jeweiligen Anbieter zu prüfen.
Eigenschaft Bedeutung Praxisnutzen im RAG
Mehrsprachigkeit Viele Sprachen in einem Vektorraum Deutsche Fragen finden englische Quellen
Verkürzbare Vektoren Vektorlänge per Parameter wählbar Weniger Speicher, geringere Datenbankkosten
Normalisierte Ausgabe Vektoren mit einheitlicher Länge Kosinus und Skalarprodukt gleichwertig
Mehrere Texte pro Aufruf Gebündelte Verarbeitung Schnellere Indexierung, weniger Overhead
Batch-API Asynchrone Großaufträge Günstigere Massenindexierung
Ratenbegrenzungen Kontingente je Konto oder Bereitstellung Planung von Indexierungsläufen nötig
Kapitel 04 · KI- und RAG-Funktionen

Embeddings im Retrieval: von Chunking bis Reranking

Ein Embedding-Modell allein ist noch kein Suchsystem. Seine Wirkung entfaltet es erst im Zusammenspiel mit sauberem Chunking, einer leistungsfähigen Vektordatenbank, ergänzender Schlüsselwortsuche und einer Nachsortierung der Treffer. Dieses Kapitel zeigt, wie OpenAI Embeddings in einer professionellen Retrieval-Pipeline eingesetzt werden – und wo ihre Grenzen liegen.

Chunking und Kontextanreicherung

Die Qualität eines RAG-Systems beginnt beim Chunking, also der Zerlegung von Dokumenten in sinnvolle Abschnitte. Zu kleine Abschnitte verlieren den Zusammenhang, zu große verwässern die Bedeutung. Bewährt haben sich Abschnitte, die sich an der Dokumentstruktur orientieren – Überschriften, Absätze, Tabellenzeilen – und eine moderate Überlappung aufweisen. Für OpenAI Embeddings gelten hier dieselben Grundsätze wie für jedes andere Modell; die großzügige Eingabelänge verleitet allerdings dazu, zu große Abschnitte zu bilden. Das sollte man bewusst vermeiden und stattdessen mehrere Varianten gegeneinander testen.
Ein wirksamer Hebel ist die Kontextanreicherung: Vor dem Vektorisieren wird jedem Abschnitt eine kurze Einordnung vorangestellt, etwa Dokumenttitel, Kapitelüberschrift, Produktbezeichnung oder Gültigkeitsbereich. Ein Abschnitt, der nur „Der Wert ist monatlich zu prüfen“ enthält, wird erst durch den Zusatz „Wartungsanleitung Kompressor Baureihe K, Kapitel Ölstand“ eindeutig auffindbar. Manche Teams lassen diese Einordnung von einem Sprachmodell erzeugen. Das verbessert die Treffer häufig spürbar, erhöht aber die Kosten der Indexierung und sollte ebenfalls im Vergleichstest bestätigt werden.

Hybrid-Suche und Reranking

Dichte Embeddings verstehen Bedeutung, haben aber eine bekannte Schwäche: exakte Begriffe. Artikelnummern, Fehlercodes, Normbezeichnungen, Paragraphen oder seltene Eigennamen werden von semantischen Vektoren nicht immer zuverlässig erfasst. Das gilt für OpenAI Embeddings ebenso wie für die meisten anderen dichten Modelle. Die bewährte Antwort ist die Hybrid-Suche: Parallel zur Vektorsuche läuft eine klassische Schlüsselwortsuche, etwa mit BM25, und beide Ergebnislisten werden anschließend zusammengeführt, häufig per Reciprocal Rank Fusion. OpenAI selbst bietet über die Embedding-Endpunkte keine Sparse-Vektoren oder Schlüsselwortkomponente an; diese Aufgabe übernimmt die Vektordatenbank oder eine Suchmaschine wie Elasticsearch.
Der zweite Qualitätshebel ist das Reranking. Embeddings sind für die schnelle Vorauswahl optimiert: Frage und Dokument werden unabhängig voneinander vektorisiert und nur über ihre Vektoren verglichen. Ein Reranker betrachtet Frage und Kandidatenabschnitt dagegen gemeinsam und kann deutlich feiner beurteilen, ob ein Abschnitt die Frage tatsächlich beantwortet. In der Praxis holt man mit Embeddings und Schlüsselwortsuche eine größere Kandidatenmenge und lässt einen Reranker die besten Treffer auswählen. OpenAI bietet keinen eigenen Reranking-Endpunkt in der Embedding-Familie an; genutzt werden Reranker anderer Anbieter oder selbst betriebene Open-Source-Modelle. Alternativ kann ein Sprachmodell die Relevanzbewertung übernehmen, was flexibel, aber langsamer und teurer ist.

Weitere Einsatzfelder jenseits von RAG

Embeddings sind ein vielseitiges Werkzeug, das über die Dokumentensuche hinausreicht. Mit denselben Vektoren lassen sich Texte klassifizieren, etwa eingehende E-Mails nach Themen oder Tickets nach Dringlichkeit, indem man sie mit Beispielvektoren bekannter Kategorien vergleicht oder einen einfachen Klassifikator darauf trainiert. Clustering gruppiert große Textmengen nach inhaltlicher Nähe und hilft etwa, wiederkehrende Reklamationsursachen zu erkennen. Duplikaterkennung findet nahezu gleiche Anfragen, Angebote oder Stammdatensätze. Und Empfehlungen schlagen ähnliche Produkte, Artikel oder Projekte vor.
Für Agenten-Systeme dienen Embeddings als Langzeitgedächtnis: Gesprächsverläufe, Zwischenergebnisse und Präferenzen werden vektorisiert gespeichert und bei Bedarf semantisch wieder abgerufen. Auch das Routing von Anfragen an spezialisierte Werkzeuge oder Wissensbestände lässt sich über Vektorähnlichkeit steuern. In all diesen Fällen gilt dieselbe Logik wie im RAG: Jede Verarbeitung erfordert einen API-Aufruf, und jeder Text, der vektorisiert wird, verlässt die eigene Infrastruktur – was bei der Datenschutzbewertung entsprechend berücksichtigt werden muss.
Das Modell ist selten der Engpass

In unseren Projekten entfällt der größte Teil der Qualitätsverbesserungen auf Datenaufbereitung, Chunking, Hybrid-Suche und Reranking – nicht auf den Wechsel zwischen zwei guten Embedding-Modellen. Wer mit OpenAI Embeddings unzufrieden ist, sollte deshalb zuerst die Pipeline prüfen, bevor er das Modell austauscht. Eine systematische Evaluation mit realen Fragen zeigt schnell, wo die eigentlichen Verluste entstehen.

Kapitel 05 · Integrationen & Ökosystem

Wie OpenAI Embeddings sich in Frameworks und Vektordatenbanken einfügen

Kaum ein Embedding-Modell ist so breit integriert wie die OpenAI-Familie. In vielen Frameworks und Datenbanken ist sie die Voreinstellung, in Tutorials das Standardbeispiel. Diese Verbreitung erleichtert den Einstieg enorm – birgt aber das Risiko, dass das Modell aus Gewohnheit gewählt wird statt aus bewusster Abwägung.

SDKs und die Schnittstelle

Der Zugriff erfolgt über eine schlichte REST-Schnittstelle: Man übergibt Modellname, einen oder mehrere Texte und optional die gewünschte Vektorlänge und erhält die Vektoren samt Angaben zum Tokenverbrauch zurück. OpenAI stellt offizielle Bibliotheken unter anderem für Python und JavaScript beziehungsweise TypeScript bereit; für weitere Sprachen wie .NET, Java oder Go gibt es offizielle oder weit verbreitete Community-Bibliotheken. Für Azure OpenAI unterscheiden sich Endpunkt, Authentifizierung und die Angabe der Bereitstellung, die Grundlogik bleibt aber gleich, und die gängigen Bibliotheken unterstützen beide Varianten.
Bemerkenswert ist, dass das API-Format von OpenAI zu einer Art Industriestandard geworden ist. Viele andere Anbieter und lokale Inferenz-Server bieten eine OpenAI-kompatible Schnittstelle an. Das hat einen praktischen Vorteil: Eine Anwendung, die gegen die OpenAI-Embedding-Schnittstelle programmiert ist, lässt sich mit vergleichsweise geringem Aufwand auf einen selbst betriebenen Server mit einem Open-Source-Modell umstellen – vorausgesetzt, man berechnet anschließend den gesamten Index neu. Diese Kompatibilität ist ein wichtiges Argument für eine saubere Abstraktion von Anfang an.

LangChain, LlamaIndex, Haystack und weitere Frameworks

In allen relevanten RAG- und Agenten-Frameworks sind OpenAI Embeddings als fertige Komponente integriert. LangChain und LlamaIndex bieten eigene Embedding-Klassen für OpenAI und Azure OpenAI, die sich mit wenigen Zeilen Konfiguration in Indexierungs- und Abfrage-Pipelines einbinden lassen. Haystack stellt passende Embedder-Komponenten für Dokumente und Anfragen bereit. Auch Microsofts Semantic Kernel und Spring AI aus dem Java-Umfeld unterstützen die Modelle direkt. Die Frameworks kümmern sich um Bündelung, Wiederholungen bei Fehlern und teilweise um Zwischenspeicherung bereits berechneter Vektoren.
Ein praktischer Tipp: Viele Frameworks setzen OpenAI-Modelle als Voreinstellung ein, wenn nichts anderes konfiguriert ist. Das ist bequem für Experimente, kann aber unbemerkt dazu führen, dass Testdaten an einen US-Dienst übermittelt werden. In Projekten mit vertraulichen Daten sollte das Embedding-Modell deshalb immer explizit konfiguriert und der Endpunkt dokumentiert sein.

Vektordatenbanken mit integrierter Vektorisierung

Neben den Frameworks bieten viele Vektordatenbanken eine direkte Anbindung an OpenAI Embeddings. Weaviate etwa kann über Module Texte beim Einfügen automatisch vektorisieren lassen; Pinecone, Qdrant, Milvus, MongoDB und Elasticsearch stellen ebenfalls Integrationen oder dokumentierte Muster bereit. Azure AI Search kann Embedding-Modelle aus Azure OpenAI in seine Indexierungspipelines einbinden und so Vektorisierung, Speicherung und Suche innerhalb der Azure-Umgebung abwickeln. Für PostgreSQL mit pgvector gibt es Erweiterungen und Hilfsdienste, die Embeddings bei Änderungen automatisch aktualisieren.
Solche Integrationen sind komfortabel, verlagern aber Verantwortung: Wenn die Datenbank selbst den Embedding-Dienst aufruft, muss auch deren Konfiguration in die Datenschutzbewertung einbezogen werden, und der API-Schlüssel liegt an einer weiteren Stelle. Bei der Fehlersuche hilft es, wenn klar ist, welche Komponente wann welchen Text an welchen Endpunkt schickt.
Ebene Typische Werkzeuge Bemerkung
SDKs Offizielle Bibliotheken, Azure-SDKs, Community-Clients Python, JS/TS, .NET, Java, Go u. a.
Frameworks LangChain, LlamaIndex, Haystack, Semantic Kernel, Spring AI Oft Voreinstellung, explizit konfigurieren
Vektordatenbanken pgvector, Qdrant, Weaviate, Milvus, Pinecone, MongoDB Teils mit integrierter Vektorisierung
Suchdienste Azure AI Search, Elasticsearch Hybrid-Suche und Pipelines
Datenaufbereitung Dokumentparser, Chunking-Bibliotheken Vor der Vektorisierung entscheidend
Evaluation RAGAS und eigene Testsets Modellvergleich auf echten Fragen
Kapitel 06 · Abgrenzung

OpenAI Embeddings vs. Cohere, Open-Source-Modelle und weitere Anbieter

Der Markt für Embedding-Modelle ist in den vergangenen Jahren stark gewachsen. Neben OpenAI bieten mehrere Cloud-Anbieter spezialisierte Modelle an, und Open-Source-Modelle haben qualitativ erheblich aufgeholt. Die folgende Übersicht ist herstellerneutral und qualitativ – Qualitätsunterschiede sind stets mit den eigenen Daten zu prüfen.

Kriterium OpenAI API Azure OpenAI Cohere Embed Open Source (z. B. BGE)
Bereitstellung Cloud-API Cloud-API in Azure Cloud-API, auch über Hyperscaler Selbst betrieben
Self-Hosting nein nein je nach Angebot ja
EU-Datenstandort Optionen prüfen EU-Region wählbar je nach Angebot frei wählbar
Mehrsprachigkeit gut gut Schwerpunkt modellabhängig
Verkürzbare Vektoren ja ja teilweise modellabhängig
Eigener Reranker nein nein ja ja, separate Modelle
Typisches Profil Schneller Start Microsoft-Umfeld, EU Unternehmenssuche Souveränität, Kontrolle

Cohere, Google, Voyage und europäische Anbieter

Cohere hat sich früh auf Unternehmenssuche spezialisiert und bietet neben Embedding-Modellen mit ausgeprägter Mehrsprachigkeit auch eigene Reranker an. Das ist ein strategischer Unterschied: Wer Cohere nutzt, erhält Vorauswahl und Nachsortierung aus einer Hand. Cohere-Modelle sind zudem über mehrere Hyperscaler-Marktplätze verfügbar, und für bestimmte Unternehmenskunden werden private Bereitstellungen angeboten. Ein Vergleich lohnt sich besonders bei mehrsprachigen Beständen und wenn ein Reranker ohnehin eingeplant ist.
Auch Google bietet über seine Cloud-Plattform eigene Embedding-Modelle an, die sich vor allem für Unternehmen anbieten, die bereits in der Google-Umgebung arbeiten. Spezialisierte Anbieter wie Voyage AI haben sich auf hochwertige Retrieval-Modelle konzentriert, teils mit Varianten für Code, Recht oder Finanzen. Aus Europa kommen Anbieter wie das französische Mistral mit eigenen Embedding-Modellen oder das Berliner Unternehmen Jina AI, dessen Modelle teilweise auch offen verfügbar sind. Für Unternehmen mit Souveränitätsanspruch ist ein europäischer Vertragspartner ein relevantes Argument – die konkreten Bedingungen zu Datenstandort und Unterauftragsverarbeitern sind aber in jedem Fall zu prüfen.

Open-Source-Modelle: BGE, Sentence Transformers und Co.

Die größte Veränderung der letzten Jahre ist die Qualität offener Embedding-Modelle. Familien wie BGE, E5, GTE oder die vielen Modelle aus dem Sentence-Transformers-Ökosystem erreichen in öffentlichen Benchmarks Werte, die mit kommerziellen Modellen vergleichbar sind, und es gibt ausdrücklich mehrsprachige Varianten mit guter deutscher Abdeckung. Der entscheidende Vorteil: Diese Modelle lassen sich vollständig selbst betreiben – auf einem Server im eigenen Rechenzentrum, bei einem deutschen Hoster oder sogar auf leistungsfähigen Arbeitsplatzrechnern. Kein Text verlässt die eigene Infrastruktur, es gibt keine Ratenbegrenzungen eines Dritten, keine Abkündigung durch einen Anbieter und keine nutzungsabhängigen Kosten pro Token.
Der Preis dafür ist der Betriebsaufwand. Ein Inferenz-Server will eingerichtet, überwacht und aktualisiert werden, und für hohe Durchsätze ist eine GPU sinnvoll. Für kleine bis mittlere Bestände reicht häufig schon eine CPU-basierte Lösung, weil Embedding-Modelle deutlich kleiner sind als große Sprachmodelle. Viele Inferenz-Server stellen eine OpenAI-kompatible Schnittstelle bereit, sodass der Wechsel auf Anwendungsebene überschaubar bleibt. Hinzu kommt die Lizenzfrage: Nicht jedes offene Modell ist für kommerzielle Nutzung freigegeben; die Lizenz ist vor dem Einsatz zu prüfen.
Die Kernbotschaft der Abgrenzung: OpenAI Embeddings sind nicht konkurrenzlos, aber ein solider Referenzpunkt. Ihre Stärken liegen in Qualität, Einfachheit und Verbreitung. Ihre Schwächen liegen in der fehlenden Selbsthosting-Option, der Abhängigkeit von einem US-Anbieter und dem Fehlen eines eigenen Rerankers. Für viele Projekte ist ein strukturierter Vergleich zwischen OpenAI beziehungsweise Azure OpenAI und einem selbst betriebenen Open-Source-Modell die beste Entscheidungsgrundlage.
Kapitel 07 · Einführung & Betrieb

Vom ersten API-Aufruf zum stabilen Produktivbetrieb

Ein erster Test mit OpenAI Embeddings ist in wenigen Minuten erledigt. Ein produktives System, das zuverlässig, kostenkontrolliert und datenschutzgerecht läuft, verlangt dagegen eine durchdachte Architektur – insbesondere weil jede Suchanfrage von einem externen Dienst abhängt.

01
Bezugsweg und Verträge klären
Entscheiden, ob die Modelle direkt über OpenAI oder über Azure OpenAI in einer EU-Region bezogen werden. Auftragsverarbeitung, Datenstandort und Aufbewahrungsregeln mit der Datenschutzbeauftragten abstimmen, bevor reale Daten fließen.
02
Prototyp mit Vergleichstest
Einen repräsentativen Dokumentbestand mit dem kleinen und dem großen Modell sowie einem Open-Source-Modell indexieren und mit realen Fragen aus dem Fachbereich messen, welche Variante die beste Trefferqualität liefert.
03
Pipeline robust aufbauen
Chunking, Kontextanreicherung, Bündelung, Wiederholungslogik und Zwischenspeicherung implementieren. Modellname, Version und Vektorlänge zu jedem Vektor speichern, damit spätere Migrationen nachvollziehbar bleiben.
04
Kosten und Kontingente steuern
Tokenverbrauch der Erstindexierung abschätzen, Batch-Verarbeitung für große Läufe nutzen, Budgetgrenzen und Warnungen einrichten und nur geänderte Inhalte neu vektorisieren.
05
Absichern und überwachen
API-Schlüssel im Secret-Store verwalten, Zugriffe über private Endpunkte oder Proxys bündeln, Latenz, Fehlerraten und Verbrauch überwachen und ein Verhalten für Ausfälle des Dienstes definieren.

Architektur: Abstraktion, Zwischenspeicher und Ausfallsicherheit

Der wichtigste Architekturgrundsatz lautet: Das Embedding-Modell gehört hinter eine Abstraktionsschicht. Die Anwendung sollte nicht direkt und an vielen Stellen die OpenAI-Bibliothek aufrufen, sondern einen eigenen, zentralen Dienst oder eine klar definierte Schnittstelle nutzen. Dort werden Modellname, Endpunkt, Vektorlänge und Authentifizierung konfiguriert. Ein späterer Wechsel – von der OpenAI-API zu Azure OpenAI, zu einem neuen Modell oder zu einem selbst betriebenen Open-Source-Modell – betrifft dann nur diese eine Stelle und die anschließende Neuindexierung.
Ein Zwischenspeicher für bereits berechnete Vektoren spart Kosten und Zeit. Wird ein Dokument erneut verarbeitet, ohne dass sich ein Abschnitt geändert hat, kann der vorhandene Vektor über einen Hashwert des Textes wiederverwendet werden. Bei Suchanfragen lohnt ein kurzer Cache für häufige Fragen. Zur Ausfallsicherheit gehört die Frage, was passiert, wenn der Dienst nicht erreichbar ist: Bei der Indexierung können Aufträge in eine Warteschlange gestellt und später nachgeholt werden; bei der Suche dagegen ist ohne Anfragevektor keine semantische Suche möglich. Eine Rückfallebene über die reine Schlüsselwortsuche hält das System in solchen Situationen zumindest eingeschränkt nutzbar. Zu beachten ist, dass eine zweite Region oder ein zweiter Anbieter nur dann als Ausweichlösung taugt, wenn dort exakt dasselbe Modell mit identischer Konfiguration bereitsteht.

Modellwechsel und Re-Embedding planen

Jedes Embedding-Modell hat eine begrenzte Lebensdauer. Neue Generationen erscheinen, ältere werden abgekündigt. Weil Vektoren unterschiedlicher Modelle nicht kompatibel sind, bedeutet jeder Wechsel eine vollständige Neuberechnung des Index. Bei großen Beständen ist das ein eigenes Projekt mit Kosten, Laufzeit und Testaufwand. Bewährt hat sich ein paralleler Aufbau: Der neue Index wird neben dem alten befüllt, beide werden mit denselben Testfragen verglichen, und erst nach erfolgreicher Prüfung wird die Suche umgeschaltet.
Dafür ist es entscheidend, die Originaltexte der Abschnitte samt Metadaten dauerhaft zu speichern, nicht nur die Vektoren. Ebenso sollte zu jedem Vektor festgehalten werden, mit welchem Modell, welcher Vektorlänge und welcher Chunking-Konfiguration er entstanden ist. Diese Disziplin kostet wenig und macht spätere Migrationen planbar statt riskant.
Stärken
  • Kein eigener Inferenz-Server, keine GPU-Verwaltung
  • Gute Qualität ohne Feintuning, auch mehrsprachig
  • Verkürzbare Vektoren senken Kosten der Vektordatenbank
  • Batch-API für günstige Massenindexierung
  • Breite Unterstützung in Frameworks und Datenbanken
Einschränkungen
  • Jede Suchanfrage hängt von einem externen Dienst ab
  • Texte verlassen bei jeder Vektorisierung die eigene Infrastruktur
  • Ratenbegrenzungen erfordern Planung großer Läufe
  • Modellabkündigungen erzwingen Re-Embedding
  • Kein Self-Hosting und kein Feintuning der Modelle
Kapitel 08 · Einsatz im Mittelstand

Wo OpenAI Embeddings im Mittelstand sinnvoll sind

Im Mittelstand entscheidet selten die letzte Nachkommastelle eines Benchmarks, sondern die Frage, wie schnell ein belastbarer Nutzen entsteht und ob das Ergebnis zu Datenschutz, IT-Landschaft und Budget passt. OpenAI Embeddings sind dafür ein starker Kandidat – mit klaren Einsatzgrenzen.

Besonders gut passen sie dort, wo Unternehmen bereits auf Microsoft Azure setzen und die Modelle über Azure OpenAI in einer EU-Region beziehen können, wo Inhalte überwiegend nicht personenbezogen sind – etwa technische Dokumentation, Produktinformationen oder öffentlich verfügbare Normen – und wo ein schneller Prototyp den Nutzen eines KI-Assistenten belegen soll. Weniger geeignet sind sie für Bestände mit besonders schutzbedürftigen Daten, etwa Gesundheits-, Personal- oder Mandantendaten, sowie für Organisationen, die aus strategischen Gründen keine Abhängigkeit von einem außereuropäischen KI-Anbieter eingehen wollen.

Typische Anwendungsfälle

Technischer Dokumentationsassistent

Servicetechniker und Vertrieb stellen Fragen zu Handbüchern, Datenblättern und Wartungsanleitungen – auch sprachübergreifend zwischen deutschen und englischen Dokumenten, mit Quellenangabe.

Schnellere Antworten
Semantische Website- und Shopsuche

Kunden finden Produkte und Inhalte über Beschreibungen statt exakter Begriffe. Weil die Inhalte ohnehin öffentlich sind, ist die Datenschutzbewertung meist überschaubar.

Höhere Conversion
Klassifikation eingehender Anfragen

E-Mails, Formulare und Tickets werden per Vektorähnlichkeit Themen und Zuständigkeiten zugeordnet – personenbezogene Inhalte idealerweise vorher pseudonymisiert.

Weniger Handarbeit
Richtlinien- und Normenrecherche

Qualitätsmanagement, Arbeitssicherheit und Einkauf durchsuchen interne Richtlinien und Normen nach Bedeutung – kombiniert mit Schlüsselwortsuche für exakte Normbezeichnungen.

Weniger Suchzeit
Dubletten- und Ähnlichkeitserkennung

Ähnliche Artikelstammdaten, wiederkehrende Reklamationen oder vergleichbare frühere Angebote werden über inhaltliche Nähe gefunden und zusammengeführt.

Sauberere Daten
Proof of Concept für KI-Wissensmanagement

Ein schneller Prototyp mit nicht sensiblen Testdaten belegt den Nutzen eines Wissensassistenten, bevor über das dauerhafte, souveräne Betriebsmodell entschieden wird.

Schneller Nachweis

Eine realistische Referenzarchitektur

Ein typisches Mittelstandsprojekt mit OpenAI Embeddings sieht in unserer Praxis etwa so aus: Die Modelle werden über Azure OpenAI in einer EU-Region bezogen, abgesichert über einen privaten Netzwerkendpunkt und eine zentrale Identitätsverwaltung. Ein Hintergrunddienst liest Dokumente aus SharePoint, Dateiablagen und Wiki, zerlegt sie strukturorientiert, reichert jeden Abschnitt mit Titel und Kapitel an und lässt sie gebündelt vektorisieren. Vektoren, Originaltexte und Metadaten – einschließlich Berechtigungsgruppen und Modellversion – landen in einer Vektordatenbank, etwa Azure AI Search, PostgreSQL mit pgvector oder einer selbst betriebenen Qdrant-Instanz. Die Suchschicht kombiniert Vektor- und Schlüsselwortsuche, filtert nach Berechtigungen, sortiert die Kandidaten per Reranker nach und übergibt die besten Abschnitte an ein Sprachmodell. Fragen, Treffer und Nutzerfeedback werden protokolliert, um die Qualität fortlaufend zu messen.
Der entscheidende Punkt ist die Austauschbarkeit: Weil das Embedding-Modell hinter einer Abstraktion liegt und alle Originaltexte gespeichert sind, kann das Unternehmen später ohne Umbau der Anwendung auf ein selbst betriebenes Open-Source-Modell wechseln – etwa wenn sensiblere Datenbestände hinzukommen oder sich die strategische Bewertung ändert.

Der ehrliche Blick auf Aufwand und Nutzen

OpenAI Embeddings machen den Einstieg leicht, aber sie lösen nicht die eigentlichen Herausforderungen eines RAG-Projekts. Die größten Hebel liegen in der Datenqualität, im Chunking, in Berechtigungskonzepten, in einer Hybrid-Suche und in einer systematischen Evaluation. Wer diese Arbeit investiert, erzielt mit OpenAI Embeddings ebenso gute Ergebnisse wie mit einem guten Open-Source-Modell. Wer sie auslässt, wird mit keinem Modell zufrieden sein. Für die Modellwahl empfehlen wir deshalb einen nüchternen Vergleichstest statt einer Grundsatzentscheidung.
Konkrete Preise nennen wir bewusst nicht

Der Aufwand für ein RAG-Projekt mit OpenAI Embeddings hängt stark von Datenmenge, Quellsystemen, Berechtigungsmodell und Betriebsanforderungen ab. Pauschale Festpreise wären irreführend. Was wir verlässlich anbieten: einen kompakten Discovery-Workshop, in dem wir Ihre Ausgangslage analysieren, Embedding-Modelle herstellerneutral vergleichen und einen transparenten Umsetzungsweg schätzen.

Kapitel 09 · Kosten & DSGVO

Kosten, Datenhoheit und souveräne Alternativen

Bei Embedding-Modellen ist die Datenschutzfrage besonders relevant, weil jeder Text, der indexiert oder gesucht wird, an den Dienst übermittelt wird – bei der Erstindexierung der gesamte Wissensbestand, im laufenden Betrieb jede einzelne Nutzerfrage. OpenAI ist ein US-Unternehmen. Das verlangt eine sorgfältige Bewertung von Serverstandort, Datentransfer und Souveränität.

Keine Rechtsberatung

Die folgenden Ausführungen sind eine praxisorientierte Einordnung aus IT- und Projektsicht – keine Rechtsberatung. Für die rechtssichere Bewertung Ihres konkreten Einsatzes, für Auftragsverarbeitungsverträge, Datenschutz-Folgenabschätzungen und die Bewertung von Drittlandtransfers ziehen Sie bitte Ihre Datenschutzbeauftragten oder eine spezialisierte Kanzlei hinzu.

OpenAI-API, Azure OpenAI und lokale Modelle im Vergleich

Bei der direkten Nutzung der OpenAI-API ist OpenAI Vertragspartner und Auftragsverarbeiter. Nach Angaben des Anbieters werden über die API übermittelte Daten standardmäßig nicht zum Training der Modelle verwendet, für einen begrenzten Zeitraum aber zur Missbrauchsüberwachung aufbewahrt; für berechtigte Kunden gibt es Optionen mit reduzierter oder ohne Datenaufbewahrung. OpenAI bietet zudem einen Auftragsverarbeitungsvertrag sowie für bestimmte Kundengruppen inzwischen Optionen zur Datenresidenz in Europa an. Ob und zu welchen Bedingungen diese Optionen für das eigene Konto verfügbar sind, ist beim Anbieter zu prüfen. Unabhängig vom Speicherort bleibt die Verarbeitung durch ein US-Unternehmen, das dem US CLOUD Act unterliegt, und der Datentransfer in ein Drittland ist zu bewerten.
Bei Azure OpenAI in einer EU-Region ist Microsoft Vertragspartner, und die Verarbeitung findet in der gewählten europäischen Azure-Region statt, sofern eine regionale beziehungsweise auf die EU begrenzte Bereitstellungsart gewählt wird. Viele Unternehmen haben mit Microsoft bereits einen Rahmenvertrag mit Auftragsverarbeitungsregelungen, was die Einbindung erleichtert. Hinzu kommen technische Schutzmaßnahmen wie private Endpunkte, Verschlüsselung mit eigenen Schlüsseln und rollenbasierte Zugriffe. Auch hier gilt: Microsoft ist ein US-Unternehmen, und der CLOUD Act ist in die Bewertung einzubeziehen. Für viele Mittelständler ist Azure OpenAI in einer EU-Region dennoch der datenschutzfreundlichere Weg zu den OpenAI-Modellen.
Die konsequenteste Option sind lokal betriebene Open-Source-Embedding-Modelle. Ein Modell aus der BGE-Familie oder dem Sentence-Transformers-Ökosystem läuft auf eigener Hardware oder bei einem deutschen Hoster; kein Text verlässt den eigenen Verantwortungsbereich, und es gibt keinen Drittanbieter, der Daten verarbeitet. Für Bestände mit personenbezogenen, vertraulichen oder geheimhaltungsbedürftigen Daten ist das aus unserer Sicht die erste Wahl. Eine Zwischenlösung bilden europäische Embedding-Anbieter mit Sitz und Rechenzentren in der EU, deren Bedingungen ebenfalls im Einzelfall zu prüfen sind.
Unabhängig vom Modell gilt: Vektoren sind keine anonymen Daten. Aus Embeddings lassen sich unter Umständen Rückschlüsse auf die Ursprungstexte ziehen, und neben dem Vektor liegt in der Vektordatenbank in der Regel ohnehin der Klartext. Löschkonzepte, Zugriffskontrollen und Aufbewahrungsfristen müssen daher auch für Vektoren, Zwischenspeicher und Protokolle umgesetzt werden. Wo möglich, sollten personenbezogene Inhalte vor der Vektorisierung entfernt oder pseudonymisiert werden. Und schließlich gehört die gesamte Pipeline auf den Prüfstand – neben dem Embedding-Modell auch Vektordatenbank, Reranker und Sprachmodell.
Empfehlung: Azure OpenAI in der EU-Region oder lokale Open-Source-Modelle

Für produktive Anwendungen mit Unternehmensdaten empfehlen wir, OpenAI-Modelle nicht über die Standard-API, sondern über Azure OpenAI in einer EU-Region mit regionaler Bereitstellung zu beziehen – oder für sensible Bestände direkt ein selbst betriebenes Open-Source-Embedding-Modell einzusetzen. In beiden Fällen gehören Auftragsverarbeitung, Datentransfer, CLOUD Act und Löschkonzept dokumentiert und mit der Datenschutzbeauftragten abgestimmt.

Bezugsweg
Azure OpenAI in EU-Region statt Standard-API
Sensible Daten
Lokales Open-Source-Modell bevorzugen
Transfer
Drittland und CLOUD Act bewerten
Minimierung
Personenbezug vor Vektorisierung entfernen
Löschung
Vektoren, Caches und Logs einbeziehen
Freigabe
Datenschutzbeauftragte früh einbinden

Kosten: Tokenpreise, Vektordatenbank und Re-Embedding

OpenAI Embeddings werden nutzungsabhängig nach der Zahl der verarbeiteten Tokens abgerechnet. Im Vergleich zu großen Sprachmodellen sind die Preise pro Token niedrig, und das kleine Modell ist deutlich günstiger als das große. Die Batch-API bietet nach Angaben des Anbieters zusätzliche Ersparnisse für nicht zeitkritische Aufträge. Bei Azure OpenAI gelten eigene Preise und Abrechnungsmodelle, teils auch mit reservierter Kapazität. Aktuelle Preise sind beim jeweiligen Anbieter zu prüfen, da sie sich regelmäßig ändern.
In der Gesamtrechnung sind die reinen Embedding-Kosten oft der kleinere Posten. Stärker ins Gewicht fallen häufig die Vektordatenbank, deren Speicher- und Arbeitsspeicherbedarf direkt von Vektorlänge und Bestandsgröße abhängt, die Sprachmodell-Aufrufe für die Antwortgenerierung sowie die Arbeitszeit für Aufbau, Betrieb und Evaluation. Verkürzte Vektoren sind daher ein wirksamer Hebel für die Datenbankkosten. Nicht zu vergessen sind die Kosten künftiger Modellwechsel: Jedes Re-Embedding des Gesamtbestands verursacht erneut Tokenkosten und Projektaufwand. Selbst betriebene Open-Source-Modelle haben keine Kosten pro Token, dafür Fixkosten für Hardware und Betrieb; ab einem gewissen Volumen und bei vorhandenem Betriebs-Know-how können sie die wirtschaftlichere Wahl sein. Eine belastbare Aussage ergibt sich nur aus einer Rechnung mit den eigenen Mengen.
Kapitel 10 · Häufige Fragen

Häufig gestellte Fragen zu OpenAI Embeddings

Diese Fragen tauchen in unseren Beratungsgesprächen rund um Embedding-Modelle für RAG und semantische Suche am häufigsten auf – kurz und sachlich beantwortet.

Welches OpenAI-Embedding-Modell sollte ich für RAG verwenden?
Für die meisten Projekte ist text-embedding-3-small ein sehr guter Startpunkt: gute Qualität, niedrige Kosten, kompakte Vektoren. text-embedding-3-large lohnt sich, wenn ein Vergleichstest mit Ihren eigenen Fragen eine spürbar bessere Trefferqualität zeigt. Das ältere ada-002 sollte für neue Projekte nicht mehr gewählt werden.
Sind OpenAI Embeddings DSGVO-konform nutzbar?
Das hängt von Vertragsgestaltung, Datenstandort, Art der Daten und den getroffenen Schutzmaßnahmen ab. OpenAI ist ein US-Unternehmen; Drittlandtransfer und CLOUD Act sind zu bewerten. Datenschutzfreundlichere Optionen sind Azure OpenAI in einer EU-Region oder lokal betriebene Open-Source-Embedding-Modelle. Die rechtliche Bewertung gehört in die Hände Ihrer Datenschutzbeauftragten – dies ist keine Rechtsberatung.
Werden meine Daten zum Training verwendet?
Nach Angaben von OpenAI werden über die API übermittelte Daten standardmäßig nicht zum Training verwendet, aber für einen begrenzten Zeitraum zur Missbrauchsüberwachung aufbewahrt. Für berechtigte Kunden gibt es Optionen mit reduzierter Aufbewahrung. Bei Azure OpenAI gelten die Bedingungen von Microsoft. Die jeweils aktuellen Regelungen sollten Sie vor dem Einsatz beim Anbieter prüfen.
Kann ich OpenAI-Embeddings später gegen ein anderes Modell tauschen?
Ja, aber nur mit vollständiger Neuberechnung aller Vektoren, denn Vektoren verschiedener Modelle sind nicht kompatibel. Wer Originaltexte, Chunks und Metadaten speichert, Modellversion und Vektorlänge dokumentiert und das Modell hinter einer Abstraktion kapselt, kann jederzeit geordnet wechseln – etwa zu einem selbst betriebenen Open-Source-Modell.
Wie stark sollte ich die Vektoren verkürzen?
Das hängt von Datenmenge, Budget und Qualitätsanspruch ab. Kürzere Vektoren sparen Speicher und beschleunigen die Suche, verlieren aber etwas Aussagekraft. Messen Sie mit Ihren eigenen Testfragen mehrere Längen und wählen Sie die kürzeste, bei der die Trefferqualität noch stabil bleibt. Indexierung und Abfrage müssen dieselbe Länge verwenden.
Funktionieren OpenAI Embeddings gut mit deutschen Texten?
Die aktuelle Modellgeneration bildet deutschsprachige Texte solide ab und unterstützt auch sprachübergreifende Suche. Schwächen zeigen sich – wie bei den meisten dichten Modellen – bei exakten Begriffen wie Artikelnummern oder Normbezeichnungen. Eine Hybrid-Suche mit Schlüsselwortkomponente gleicht das aus. Wie gut das Modell mit Ihrer Fachsprache umgeht, zeigt ein Test mit realen Fragen.
Wann ist ein lokales Open-Source-Modell die bessere Wahl?
Wenn personenbezogene oder vertrauliche Daten indexiert werden, wenn volle Unabhängigkeit von einem US-Anbieter gewünscht ist, wenn sehr große Mengen regelmäßig neu vektorisiert werden oder wenn das System auch ohne Internetverbindung funktionieren muss. Modelle aus der BGE-Familie oder dem Sentence-Transformers-Ökosystem erreichen heute eine Qualität, die für viele Anwendungen gleichwertig ist.
Wie starte ich ein erstes Projekt mit OpenAI Embeddings?
Wählen Sie einen klar umrissenen Anwendungsfall mit nicht sensiblen Daten, etwa technische Dokumentation oder öffentliche Produktinformationen. Klären Sie den Bezugsweg – idealerweise Azure OpenAI in einer EU-Region –, indexieren Sie einen repräsentativen Bestand und testen Sie mit realen Fragen gegen ein Open-Source-Modell. Messen Sie die Treffergüte, bevor Sie skalieren, und binden Sie den Datenschutz ein, bevor produktive Daten einfließen.

Souveräne KI-Suche aufbauen

Bereit für Embeddings, die zu Ihnen passen?

Von der herstellerneutralen Wahl zwischen OpenAI, Azure OpenAI und selbst betriebenen Open-Source-Modellen über Chunking, Hybrid-Suche und Reranking bis zum souverän betriebenen, DSGVO-konformen RAG-System – INAGRO begleitet Sie auf jedem Schritt. Mit Retrieval-Expertise, Datenschutz-Fokus und tiefem Verständnis für den Mittelstand. Pragmatisch, herstellerneutral und mit messbarem Ergebnis.

Seit 2006 am Markt

Erfahrung aus über 100 Digitalprojekten

DSGVO & Souveränität

Datenschutz von Anfang an mitgedacht

Rückmeldung in 24 h

Schnell, direkt, unverbindlich