Um die Bedeutung der beiden Bausteine einzuordnen, lohnt ein Blick auf das Grundprinzip moderner KI-Suche. Ein Embedding-Modell übersetzt einen Text in eine lange Reihe von Zahlen, einen Vektor. Texte mit ähnlicher Bedeutung landen im Vektorraum nah beieinander, auch wenn sie völlig unterschiedliche Wörter verwenden. Die Frage „Wie beantrage ich Urlaub?“ findet so den Abschnitt „Abwesenheiten werden über das Personalportal gemeldet“, obwohl kein einziges Wort übereinstimmt. Eine Vektordatenbank speichert diese Vektoren und findet zu jeder Anfrage die nächsten Nachbarn. Das Embedding-Modell entscheidet damit maßgeblich darüber, ob ein RAG-System die richtigen Dokumente findet – und damit, ob das Sprachmodell am Ende eine richtige Antwort formulieren kann.
Lange Zeit war die naheliegende Wahl ein Embedding-Dienst großer US-Anbieter, aufgerufen über eine Cloud-API. Das ist bequem, bedeutet aber, dass jeder Dokumentabschnitt und jede Suchanfrage an einen externen Dienst geschickt wird. Für Unternehmen im DACH-Raum mit sensiblen Verträgen, Personalunterlagen, Konstruktionsdaten oder Kundenkorrespondenz ist das oft ein Hindernis. Offene Modelle wie BGE drehen dieses Verhältnis um: Die Modellgewichte werden heruntergeladen und laufen auf eigener Hardware oder bei einem Hoster der Wahl. Kein Text verlässt das eigene Umfeld, und es fallen keine Gebühren pro Anfrage an.
Die Bibliothek sentence-transformers entstand am UKP Lab der Technischen Universität Darmstadt im Umfeld der Forschung zu Sentence-BERT. Die Grundidee: Klassische Transformer-Modelle wie BERT waren hervorragend darin, Texte zu verstehen, aber ungeeignet, um schnell ähnliche Sätze in großen Sammlungen zu finden – jeder Vergleich erforderte einen vollständigen Modelldurchlauf mit beiden Texten. Sentence-BERT trainierte das Modell so, dass jeder Satz einzeln in einen aussagekräftigen Vektor übersetzt wird. Vergleiche reduzieren sich damit auf einfache Vektorrechnungen, und Millionen von Dokumenten lassen sich in Sekundenbruchteilen durchsuchen.
Aus diesem Forschungsprojekt wurde eine Bibliothek, die heute eine zentrale Rolle im Open-Source-Ökosystem spielt. Sie stellt eine einheitliche Schnittstelle bereit, um Tausende vortrainierter Modelle vom Hugging Face Hub zu laden, Texte stapelweise zu kodieren, Ähnlichkeiten zu berechnen, Cross-Encoder als Reranker zu nutzen und Modelle mit eigenen Daten weiterzutrainieren. Die Pflege der Bibliothek ist inzwischen zu Hugging Face übergegangen; den aktuellen Stand zu Maintainern, Versionen und Roadmap sollten Sie beim Anbieter prüfen. Für die Praxis wichtig: Die Bibliothek ist modellneutral. Sie funktioniert mit BGE ebenso wie mit E5, Nomic, Jina, Qwen-Embeddings oder deutschsprachig feinjustierten Modellen aus der Community.
Die Beijing Academy of Artificial Intelligence (BAAI) ist eine gemeinnützige Forschungseinrichtung in Peking. Unter dem Namen BGE veröffentlicht sie seit einigen Jahren Embedding-Modelle, die in öffentlichen Ranglisten regelmäßig weit oben auftauchen und auf dem Hugging Face Hub zu den am häufigsten heruntergeladenen Modellen ihrer Art zählen. Begleitend stellt BAAI eine eigene Bibliothek namens FlagEmbedding bereit, über die sich spezielle Funktionen der Modelle nutzen lassen. Viele BGE-Modelle sind gleichzeitig direkt mit sentence-transformers kompatibel.
Für den europäischen Markt besonders interessant ist bge-m3: ein mehrsprachiges Modell, das drei Retrieval-Verfahren in einem Modell vereint und mit längeren Dokumentabschnitten umgehen kann. Ergänzt wird es durch die Reranker-Modelle der bge-reranker-Reihe, die Suchtreffer in einem zweiten Schritt präziser sortieren. Zusammen decken sie die beiden wichtigsten Modellbausteine einer RAG-Pipeline ab – ohne eine einzige externe API.
Für das Verständnis der Familie ist eine Unterscheidung zentral. Ein Bi-Encoder kodiert Anfrage und Dokument getrennt voneinander. Jeder Dokumentabschnitt wird einmal beim Einlesen in einen Vektor übersetzt und gespeichert; zur Suchzeit muss nur noch die Anfrage kodiert werden. Das macht Bi-Encoder schnell und skalierbar – sie sind die Grundlage jeder Vektorsuche. bge-m3 und die BGE-Größenstufen gehören in diese Kategorie.
Ein Cross-Encoder dagegen sieht Anfrage und Kandidatentext gleichzeitig und berechnet direkt eine Relevanzbewertung. Weil das Modell beide Texte gemeinsam betrachtet, kann es feine Bezüge erkennen: Verneinungen, Bedingungen, ob ein Abschnitt die Frage wirklich beantwortet oder nur dieselben Begriffe verwendet. Der Nachteil ist der Rechenaufwand: Für jedes Paar aus Anfrage und Kandidat ist ein eigener Modelldurchlauf nötig. Deshalb kommt ein Cross-Encoder nie für die gesamte Sammlung zum Einsatz, sondern nur für eine Vorauswahl. Die bge-reranker-Modelle sind solche Cross-Encoder. In der Praxis arbeiten beide Modellarten zusammen: Der Bi-Encoder holt einige Dutzend Kandidaten, der Reranker wählt daraus die besten wenigen aus.
Neben den Hauptmodellen hat BAAI eine Reihe spezialisierter Varianten veröffentlicht – etwa Modelle, die auf großen Sprachmodellen basieren und mit Beispielen im Kontext gesteuert werden können, Reranker auf Basis größerer Sprachmodelle oder Varianten für die Suche über Text und Bild. Diese Modelle sind teils deutlich ressourcenhungriger und eher für Teams mit GPU-Infrastruktur gedacht. Für deutschsprachige Unternehmensbestände sind in der Regel die mehrsprachigen Modelle die erste Wahl, weil die ein- oder zweisprachigen Größenstufen primär für Englisch und Chinesisch trainiert wurden.
Bei den Lizenzen gilt: Viele BGE-Modelle werden unter freizügigen Open-Source-Lizenzen veröffentlicht, die auch eine kommerzielle Nutzung erlauben. Das ist jedoch keine Garantie für jede Variante. Insbesondere Modelle, die auf anderen Basismodellen aufbauen, können zusätzliche Bedingungen des jeweiligen Basismodells erben. Die verbindliche Information steht in der Modellkarte und der Lizenzdatei auf dem Hub – prüfen Sie diese für jedes Modell und jede Version, die Sie einsetzen, und dokumentieren Sie das Ergebnis.
Das „M3“ im Namen steht für drei Eigenschaften: Mehrsprachigkeit, Mehrfachfunktionalität und Mehrfachgranularität. Für die Praxis entscheidend ist die Mehrfachfunktionalität. bge-m3 liefert:
Der Clou: Alle drei Repräsentationen entstehen in einem einzigen Modelldurchlauf. Eine Hybrid-Suche, die semantische Nähe und Begriffstreffer kombiniert, lässt sich damit ohne separates Stichwortsystem aufbauen. Die Ergebnisse der Verfahren werden anschließend gewichtet zusammengeführt. In der Praxis setzen viele Teams auf Dense plus Sparse und verzichten auf die speicherintensive Multi-Vektor-Variante oder nutzen sie nur für das Reranking einer Vorauswahl. Ob sich der Mehraufwand lohnt, sollte mit eigenen Testfragen gemessen werden. Nicht jede Vektordatenbank und nicht jedes Serving-Werkzeug unterstützt alle drei Ausgaben; das ist vorab zu prüfen.
sentence-transformers macht aus Embeddings mehr als nur Suche. Die Bibliothek bringt Hilfsfunktionen für die semantische Ähnlichkeitssuche über Dokumentsammlungen, für das Finden von Paraphrasen und Dubletten und für die Berechnung von Ähnlichkeitsmatrizen mit. Damit lassen sich etwa doppelte Tickets im Service erkennen, ähnliche Produktbeschreibungen zusammenführen oder Anfragen mit vorhandenen FAQ-Antworten abgleichen.
Ein zweites großes Einsatzfeld ist das Clustering. Werden Tausende von Kundenfeedbacks, Reklamationen oder Freitextantworten aus Mitarbeiterbefragungen eingebettet, lassen sie sich mit gängigen Verfahren zu Themengruppen bündeln. So entsteht in kurzer Zeit eine Übersicht, welche Themen häufig vorkommen – ohne vorher Kategorien definieren zu müssen. Ähnlich funktioniert die Klassifikation: Mit wenigen Beispielen pro Kategorie lassen sich auf Basis von Embeddings einfache, schnelle Klassifikatoren trainieren, etwa für die Zuordnung von E-Mails zu Abteilungen. Für solche Aufgaben reicht oft ein kleineres, schnelleres Modell; Präzision und Ressourcenbedarf sollten bewusst gegeneinander abgewogen werden.
Für DACH-Unternehmen ist das die wichtigste Frage. Die mehrsprachigen BGE-Modelle, allen voran bge-m3, wurden mit Daten in sehr vielen Sprachen trainiert, darunter Deutsch. In der Praxis liefern sie für deutschsprachige Wissensbestände in der Regel brauchbare bis sehr gute Ergebnisse, auch bei gemischtsprachigen Beständen, in denen etwa deutsche Anfragen englische Handbücher finden sollen. Die ein- und zweisprachigen Größenstufen für Englisch und Chinesisch sind für deutsche Texte dagegen meist nicht die richtige Wahl.
Einschränkend gilt: Öffentliche Ranglisten messen überwiegend englische und chinesische Aufgaben, deutsche Fachsprache ist dort unterrepräsentiert. Begriffe aus Maschinenbau, Steuerrecht, Medizintechnik oder internen Abkürzungen kennt kein allgemeines Modell von Haus aus. Deutsche Komposita wie „Gewährleistungsrückstellung“ oder „Schichtübergabeprotokoll“ stellen Tokenizer zudem vor eigene Herausforderungen. Deshalb empfehlen wir immer einen Test mit eigenen Daten: einige Dutzend reale Fragen, zu denen die richtigen Dokumente bekannt sind, und ein Vergleich mehrerer Modelle. Reicht die Qualität nicht, sind Hybrid-Suche, Reranking und Fine-Tuning die wirksamsten Hebel.
Ein allgemeines Embedding-Modell kennt die Welt, aber nicht Ihr Unternehmen. Es weiß nicht, dass „KTL“ in Ihrem Betrieb für eine Lackierlinie steht, dass zwei Produktnamen dasselbe Bauteil bezeichnen oder dass bestimmte Begriffe in Ihrer Branche eine andere Bedeutung haben als im Alltag. Fine-Tuning schließt diese Lücke: Das vorhandene Modell wird mit Beispielpaaren aus der eigenen Domäne weitertrainiert, damit es die relevanten Zusammenhänge besser abbildet.
sentence-transformers bietet dafür in neueren Versionen einen eigenen Trainer, der sich an den Trainingswerkzeugen von Hugging Face orientiert, sowie eine Reihe etablierter Verlustfunktionen für typische Datenkonstellationen. Neuere Versionen der Bibliothek unterstützen zudem das Training von Cross-Encodern und Sparse-Modellen; Details sind der aktuellen Dokumentation zu entnehmen. Benötigt werden vor allem Trainingsdaten: Paare aus Frage und passendem Abschnitt, idealerweise ergänzt um schwierige Gegenbeispiele, also Abschnitte, die ähnlich klingen, aber nicht passen. Solche Paare lassen sich aus Suchprotokollen, Ticket-Historien oder FAQ-Sammlungen gewinnen. Häufig werden sie auch synthetisch erzeugt, indem ein Sprachmodell zu jedem Dokumentabschnitt plausible Fragen formuliert – das geht auch mit einem lokal betriebenen Sprachmodell, sodass die Daten im Haus bleiben.
Wichtig ist eine realistische Erwartung: Fine-Tuning lohnt sich vor allem bei ausgeprägter Fachsprache und ausreichend Beispieldaten. Für viele Wissensassistenten bringen gute Datenaufbereitung, sinnvolles Chunking und ein Reranker mehr als ein selbst trainiertes Modell. Wir empfehlen, Fine-Tuning als zweite Ausbaustufe zu planen, wenn die Grundarchitektur steht und messbare Schwächen identifiziert sind.
Der wohl wirkungsvollste Einzelbaustein zur Verbesserung eines RAG-Systems ist häufig ein Reranker. Das Prinzip ist zweistufig: Die Vektorsuche – gegebenenfalls als Hybrid-Suche – liefert eine großzügige Vorauswahl von Kandidaten. Ein Cross-Encoder wie bge-reranker bewertet anschließend jedes Paar aus Frage und Kandidat und sortiert die Liste neu. Nur die besten wenigen Abschnitte gehen an das Sprachmodell. Das verbessert die Präzision, reduziert irrelevanten Kontext, senkt die Zahl der Tokens im Sprachmodell und damit oft auch Halluzinationen.
sentence-transformers stellt für Cross-Encoder eine eigene, einfache Schnittstelle bereit; alternativ lassen sich Reranker über Serving-Werkzeuge als Dienst betreiben. Der Reranker verursacht zusätzliche Latenz, die mit der Zahl der Kandidaten und der Modellgröße wächst. In der Praxis hat sich ein Kompromiss bewährt: eine moderate Zahl von Kandidaten, ein kompakter mehrsprachiger Reranker und ein Schwellenwert, unterhalb dessen Treffer verworfen werden. Mit einem solchen Schwellenwert kann das System auch ehrlich sagen, dass es keine passende Information gefunden hat, statt das Sprachmodell mit schwachem Kontext antworten zu lassen.
Bevor eine Suche funktioniert, müssen alle Dokumente eingebettet werden. Bei einigen Tausend Seiten ist das eine Sache von Minuten, bei Millionen von Abschnitten aus Dokumentenmanagement, Wiki, E-Mail-Archiv und Ticketsystem eine echte Rechenaufgabe. sentence-transformers verarbeitet Texte stapelweise, kann mehrere GPUs oder Prozesse parallel nutzen und Modelle in optimierten Formaten ausführen, etwa über ONNX oder OpenVINO. Für die Automatisierung bewährt sich eine Pipeline mit klaren Stufen: Dokumente aus Quellsystemen abholen, Text extrahieren und bereinigen, in Abschnitte zerlegen, einbetten, mit Metadaten und Berechtigungen in der Vektordatenbank ablegen.
Entscheidend für den Dauerbetrieb ist die inkrementelle Aktualisierung. Statt den gesamten Bestand nächtlich neu einzubetten, erkennt die Pipeline geänderte Dokumente anhand von Prüfsummen oder Änderungsdaten und bettet nur diese neu ein. Gelöschte Dokumente müssen zuverlässig auch aus dem Index entfernt werden – das ist nicht nur eine Qualitäts-, sondern auch eine Datenschutzfrage. Orchestriert werden solche Pipelines je nach Umgebung mit Workflow-Werkzeugen, Warteschlangen oder einfachen geplanten Aufgaben; die Rechenlast lässt sich auf Nebenzeiten legen, damit GPU-Kapazität tagsüber für Anfragen und Reranking frei bleibt.
Die Modellgewichte von BGE und Tausenden weiteren Embedding-Modellen werden über den Hugging Face Hub verteilt. sentence-transformers lädt Modelle beim ersten Aufruf automatisch herunter und speichert sie lokal zwischen. Für den produktiven Betrieb empfiehlt sich ein anderes Vorgehen: Modelle werden einmalig bewusst heruntergeladen, auf eine konkrete Version festgelegt, geprüft und in einem internen Modellspeicher oder Container-Image abgelegt. So läuft die Produktivumgebung ohne Internetzugang, und ein unbemerktes Update des Modells auf dem Hub kann nicht plötzlich alle Vektoren inkompatibel machen. Achten Sie zudem auf sichere Dateiformate für Gewichte und darauf, keinen ausführbaren Fremdcode aus Modell-Repositories ungeprüft zu aktivieren.
Für Prototypen genügt es, das Modell direkt im Python-Prozess der Anwendung zu laden. In produktiven Architekturen wird das Modell dagegen meist als eigenständiger Dienst betrieben, den mehrere Anwendungen über eine Schnittstelle ansprechen. Dafür gibt es spezialisierte Werkzeuge:
Die großen RAG-Frameworks LangChain, LlamaIndex und Haystack bieten fertige Komponenten, um sentence-transformers-Modelle lokal zu laden oder einen TEI- oder Ollama-Dienst anzusprechen. Der Wechsel von einer Cloud-API zu einem lokal betriebenen BGE-Modell ist in diesen Frameworks meist eine Konfigurationsänderung von wenigen Zeilen. Reranker lassen sich als Nachverarbeitungsschritt in die Retrieval-Kette einhängen.
Auf Seiten der Vektordatenbanken ist die Lage ähnlich komfortabel. Dense-Vektoren aus BGE-Modellen lassen sich in jeder Vektordatenbank speichern – von Qdrant, Milvus und Weaviate über pgvector bis zu Elasticsearch. Interessanter wird es bei den Zusatzausgaben von bge-m3: Sparse-Vektoren werden von mehreren Systemen nativ unterstützt, Multi-Vektoren von einigen wenigen. Wer die Hybrid-Fähigkeiten von bge-m3 voll ausschöpfen will, sollte die Vektordatenbank entsprechend auswählen. Unabhängig davon gilt: Die in der Datenbank eingestellte Distanzmetrik muss zum Modell passen, und ob Vektoren normalisiert gespeichert werden, sollte einheitlich geregelt sein.
OpenAI Embeddings sind der Standard vieler RAG-Tutorials: einfach anzubinden, gut dokumentiert, mehrsprachig solide. Man zahlt pro verarbeitetem Token und betreibt nichts selbst. Dem stehen gegenüber: Alle Texte gehen an einen US-Anbieter, die Modellgewichte sind nicht verfügbar, ein Fine-Tuning der Embeddings ist nicht in der gleichen Weise möglich, und wenn der Anbieter ein Modell abkündigt, muss der gesamte Bestand neu eingebettet werden. Cohere Embed positioniert sich stärker im Unternehmensumfeld, mit mehrsprachigen Modellen, eigenen Rerankern und Bereitstellungsoptionen über Hyperscaler oder in privaten Umgebungen. Die Gewichte bleiben aber auch hier geschlossen, und der Betrieb ist an Lizenzverträge gebunden.
Gegenüber beiden Diensten liegt der Vorteil von BGE nicht primär in der Qualität – die ist auf vergleichbarem Niveau, je nach Aufgabe mal besser, mal schlechter –, sondern in Kontrolle und Kostenstruktur: keine Datenweitergabe, keine Gebühren pro Anfrage, keine erzwungenen Modellwechsel, volle Anpassbarkeit. Der Nachteil ist der eigene Betriebsaufwand.
Innerhalb der offenen Modelle ist BGE einer von mehreren starken Kandidaten. E5 von Microsoft Research bietet mehrsprachige Varianten in mehreren Größen und arbeitet mit Präfixen für Anfrage und Dokument. Nomic Embed legt Wert auf vollständige Offenheit inklusive Trainingsdaten und Trainingscode, was für Nachvollziehbarkeit interessant ist. Jina Embeddings bietet starke mehrsprachige Modelle mit langem Kontext; bei offenen Gewichten ist aber genau zu prüfen, ob die Lizenz eine kommerzielle Nutzung erlaubt. Die Qwen-Embeddings von Alibaba basieren auf großen Sprachmodellen, sind mehrsprachig und in mehreren Größen verfügbar; größere Varianten verlangen allerdings entsprechend leistungsfähige GPUs. Auch hier gilt wie bei BGE: Herkunft aus China, lokaler Betrieb der Gewichte unkritischer als Cloud-Endpunkte.
Für die Auswahl empfehlen wir einen pragmatischen Ansatz: zwei bis drei offene Kandidaten, etwa bge-m3, ein mehrsprachiges E5-Modell und ein Qwen-Embedding, auf den eigenen Testfragen vergleichen, jeweils mit und ohne Reranker. Weil sentence-transformers modellneutral ist, kostet dieser Vergleich wenig Aufwand.
Die Massive Text Embedding Benchmark (MTEB) ist die bekannteste öffentliche Rangliste für Embedding-Modelle. Sie bietet eine gute Orientierung, welche Modelle grundsätzlich leistungsfähig sind. Als alleinige Entscheidungsgrundlage taugt sie nicht: Die Aufgaben sind überwiegend englisch, Unterschiede zwischen den vorderen Plätzen sind oft klein, manche Modelle sind gezielt auf die Benchmark-Aufgaben hin optimiert, und Ressourcenbedarf und Lizenz spielen in der Rangfolge keine Rolle. Für deutschsprachige Unternehmensdaten zählt am Ende nur die Messung mit eigenen Daten.
Die Antwort hängt von zwei sehr unterschiedlichen Lastprofilen ab. Das initiale und laufende Einbetten von Dokumenten ist Massenarbeit: Hier entscheidet der Durchsatz, und GPUs sind um ein Vielfaches schneller als CPUs. Wer große Bestände einbetten oder ein Modell feinjustieren will, kommt um eine GPU kaum herum – sei es im eigenen Server, bei einem europäischen GPU-Hoster oder temporär für einen einmaligen Lauf. Das Kodieren von Anfragen ist dagegen Einzelarbeit: Eine kurze Frage pro Nutzeraktion lässt sich auch auf einer modernen CPU mit akzeptabler Latenz verarbeiten, insbesondere mit kleineren Modellen, quantisierten Gewichten oder optimierten Laufzeitumgebungen.
Anspruchsvoller ist das Reranking, weil pro Anfrage Dutzende Paare bewertet werden. Bei geringer Last ist das auf der CPU machbar, bei vielen gleichzeitigen Nutzern spürt man den Unterschied deutlich. Ein typisches Muster im Mittelstand: ein Server mit einer GPU für Einbetten, Reranking und gegebenenfalls ein lokales Sprachmodell, ergänzt um CPU-Ressourcen für die Anwendungslogik. Konkrete Hardware sollte anhand eines Lasttests mit realistischen Anfragen und Dokumentlängen dimensioniert werden.
Eine bewährte Architektur trennt die Zuständigkeiten klar. Ein Embedding-Dienst – etwa auf Basis von Text Embeddings Inference – stellt Modell und Reranker als interne Schnittstelle bereit. Eine Ingestion-Pipeline holt Dokumente aus den Quellsystemen, zerlegt sie und lässt sie einbetten. Die Vektordatenbank speichert Vektoren, Texte, Metadaten und Berechtigungen. Die Anwendung nimmt Fragen entgegen, ruft Suche und Reranking auf und übergibt den Kontext an das Sprachmodell.
Für Hochverfügbarkeit genügen meist mehrere Instanzen des Embedding-Dienstes hinter einem Load Balancer; der Dienst ist zustandslos und daher leicht zu skalieren. Updates der Serving-Software und der Bibliothek sollten wie jede andere Softwareaktualisierung getestet werden – das Modell selbst bleibt dabei unverändert, solange Sie es nicht bewusst wechseln.
Der wichtigste Betriebsgrundsatz lautet: Vektoren unterschiedlicher Modelle sind nicht kompatibel. Ein Vektor aus bge-m3 lässt sich nicht sinnvoll mit einem Vektor aus einem anderen Modell vergleichen – auch nicht mit einer feinjustierten Version desselben Modells. Wer das Modell wechselt, muss den gesamten Bestand neu einbetten und den Index neu aufbauen. Das gilt auch, wenn sich Vorverarbeitung, Chunking oder Präfixe ändern.
Planen Sie diesen Fall von Anfang an ein. Speichern Sie an jedem Datensatz Modellname, Version und Zeitpunkt der Einbettung. Halten Sie die Ausgangstexte vor, damit ein Neuaufbau jederzeit möglich ist. Bewährt hat sich ein paralleler Aufbau: Der neue Index wird neben dem alten befüllt, mit dem Testdatensatz verglichen und erst nach erfolgreicher Prüfung umgeschaltet; der alte Index bleibt für eine Übergangszeit als Rückfalloption bestehen. Ein Vorteil offener Modelle zeigt sich genau hier: Den Zeitpunkt des Wechsels bestimmen Sie selbst, nicht ein Anbieter, der ein API-Modell abkündigt.
Ein typisches Projekt mit BGE sieht in unserer Praxis etwa so aus: Auf einem eigenen Server oder bei einem deutschen Hoster läuft ein Text-Embeddings-Inference-Dienst mit bge-m3 und einem mehrsprachigen bge-reranker. Eine Ingestion-Pipeline liest Dokumente aus Dateiablage, Wiki und Dokumentenmanagement, zerlegt sie in sinnvolle Abschnitte und speichert Dense- und Sparse-Vektoren mitsamt Berechtigungsgruppen in einer Vektordatenbank, etwa Qdrant oder pgvector. Eine Anfrage durchläuft Hybrid-Suche, Berechtigungsfilter und Reranking; die besten Abschnitte gehen an ein Sprachmodell, das je nach Anforderung lokal oder über einen vertraglich geprüften europäischen Dienst betrieben wird. Die Antwort enthält Quellenangaben, damit Nutzer jede Aussage überprüfen können.
Für kleinere Einstiege genügt deutlich weniger: Ein einzelner Server mit sentence-transformers, einer eingebetteten Vektordatenbank und einer überschaubaren Dokumentensammlung reicht, um in wenigen Wochen einen belastbaren Prototyp zu erhalten. Entscheidend ist, mit einem klar umrissenen Anwendungsfall zu starten und die Qualität von Anfang an zu messen.
Offene Modelle senken laufende Kosten und lösen die Datenschutzfrage für die Embedding-Stufe elegant – sie machen ein RAG-System aber nicht automatisch gut. Die größten Qualitätshebel liegen weiterhin in der Datenaufbereitung, im Chunking, in sauberen Berechtigungen, in Hybrid-Suche und Reranking sowie in systematischer Evaluierung. Hinzu kommt der Betriebsaufwand: Jemand muss Server, Container, Modellversionen und Pipelines verantworten. Unternehmen ohne eigene IT-Kapazität sollten diesen Aufwand realistisch einplanen oder einen Betriebspartner einbinden. Wer das tut, erhält eine Lösung, die unabhängig von Preis- und Modellentscheidungen externer Anbieter funktioniert.
Der entscheidende Unterschied zu Cloud-APIs: Werden die offenen Modellgewichte von BGE im eigenen Rechenzentrum oder bei einem europäischen Hoster betrieben, verlassen Dokumente, Anfragen und Vektoren das Haus nicht. Es gibt keinen Datentransfer an den Modellhersteller, keinen Drittlandbezug durch die Embedding-Stufe und keinen externen Dienst, der Anfragen protokolliert. Das Modell ist eine Datei, die lokal Rechenoperationen ausführt. Für die Datenschutzarchitektur ist das der direkteste und sauberste Weg – und einer der Hauptgründe, warum wir offene Embedding-Modelle für datenschutzsensible Anwendungen empfehlen.
Bei einem europäischen Hoster ist dieser Auftragsverarbeiter; ein entsprechender Vertrag ist abzuschließen und dessen Unterauftragnehmer sind zu prüfen. Unabhängig vom Betriebsort gilt: Vektoren sind keine anonymen Daten. Aus Embeddings lassen sich unter Umständen Rückschlüsse auf die Ursprungstexte ziehen. Die Vektordatenbank ist daher genauso zu schützen wie die Dokumente selbst – mit Zugriffskontrolle, Verschlüsselung, Berechtigungsfiltern und einem Löschkonzept, das bei Auskunfts- und Löschersuchen auch Vektoren, Backups und Zwischenspeicher umfasst. Und die Embedding-Stufe ist nur ein Teil der Pipeline: Wird das Sprachmodell für die Antwortgenerierung über eine Cloud-API angebunden, gehen die gefundenen Abschnitte eben doch nach außen.
BGE wird von einer Forschungseinrichtung in Peking entwickelt. Daraus ergibt sich eine häufige Frage in Beratungsgesprächen: Ist das ein Problem? Hier ist eine klare Unterscheidung wichtig. Ein lokal betriebenes Modell sendet keine Daten an seinen Herausgeber; es führt auf Ihrer Hardware Berechnungen aus. Wird es in einer abgeschotteten Umgebung ohne Internetzugang betrieben, ist ein Datenabfluss über das Modell technisch ausgeschlossen. Das ist aus Datenschutzsicht deutlich unkritischer als die Nutzung einer chinesischen Cloud-API, bei der personenbezogene Daten an Server in einem Drittland ohne Angemessenheitsbeschluss übermittelt würden.
Daraus folgt eine einfache Regel: Keine chinesischen Cloud-Endpunkte für personenbezogene oder vertrauliche Daten nutzen – die offenen Gewichte im eigenen Umfeld zu betreiben, ist dagegen ein gängiges und vertretbares Muster. Trotzdem gehören einige Prüfungen dazu: Beziehen Sie Gewichte aus der offiziellen Quelle und prüfen Sie deren Integrität, bevorzugen Sie sichere Dateiformate und aktivieren Sie keinen ungeprüften Fremdcode. Dokumentieren Sie Lizenz und Herkunft jedes Modells. Berücksichtigen Sie, dass Trainingsdaten und mögliche Verzerrungen offener Modelle nur begrenzt nachvollziehbar sind, und klären Sie, ob interne Richtlinien, Kundenanforderungen oder branchenspezifische Vorgaben die Herkunft von KI-Komponenten regeln. Für Anwendungen im Geltungsbereich des EU AI Act sollte die Dokumentation der eingesetzten Modelle ohnehin Standard sein.
Die Kostenstruktur offener Embedding-Modelle unterscheidet sich grundlegend von Cloud-APIs. Für Modelle und Bibliothek fallen je nach Lizenz in der Regel keine Lizenzgebühren an. Kosten entstehen stattdessen für Hardware oder gemietete Server mit ausreichend Rechenleistung, gegebenenfalls für GPUs, für Speicher, Monitoring, Backups und vor allem für die Arbeitszeit für Einrichtung, Betrieb, Aktualisierung und Evaluierung. Bei Fine-Tuning kommen Rechenzeit und der Aufwand für Trainingsdaten hinzu.
Wirtschaftlich gilt eine Faustregel: Je größer der Dokumentbestand, je häufiger neu eingebettet wird und je mehr Anfragen anfallen, desto eher rechnet sich der Eigenbetrieb gegenüber nutzungsbasierten APIs. Bei sehr kleinen Beständen mit wenigen Anfragen kann eine API trotz Gebühren günstiger sein – wenn der Datenschutz es zulässt. Hinzu kommt ein oft unterschätzter Faktor: Ein selbst betriebenes Modell wird nie abgekündigt, und es gibt keine Preiserhöhungen von außen. Konkrete Kosten für Hardware, Hosting und Cloud-GPUs sind beim jeweiligen Anbieter zu prüfen, da sie sich regelmäßig ändern.