Um den Nutzen zu verstehen, hilft ein Blick auf die übliche Suche in Vektordatenbanken. Ein Embedding-Modell übersetzt Dokumentabschnitte vorab in Vektoren; bei einer Anfrage wird auch die Frage vektorisiert, und die Datenbank liefert die Abschnitte, deren Vektoren dem Anfragevektor am nächsten liegen. Dieses Verfahren heißt Bi-Encoder-Retrieval: Frage und Dokument werden unabhängig voneinander kodiert und erst danach über ein einfaches Distanzmaß verglichen. Das ist enorm schnell und skaliert auf Millionen Abschnitte, hat aber eine eingebaute Schwäche. Das Modell muss die gesamte Bedeutung eines Abschnitts in einen einzigen Vektor pressen, ohne die spätere Frage zu kennen. Feinheiten gehen verloren: Verneinungen, Zuständigkeiten, Versionsnummern, die Frage, ob ein Abschnitt ein Thema nur erwähnt oder tatsächlich beantwortet.
Genau hier setzt Reranking an. Ein Reranker sieht Frage und Abschnitt gemeinsam und kann deshalb prüfen, ob der Text wirklich eine Antwort enthält. Die Frage „Wie lange gilt die Gewährleistung für Ersatzteile?“ wird von einer Vektorsuche vielleicht mit fünf Abschnitten beantwortet, die alle von Gewährleistung handeln. Der Reranker erkennt, dass nur einer davon tatsächlich die Frist für Ersatzteile nennt, während die anderen sich auf Neugeräte, Kulanzregeln oder Garantieverlängerungen beziehen. Er schiebt den passenden Abschnitt nach oben – und damit in den Kontext, den das Sprachmodell für seine Antwort verwendet.
Reranking folgt einem Muster, das aus der klassischen Websuche und dem Information Retrieval seit Langem bekannt ist: einer Kaskade aus schnellen, groben und langsamen, präzisen Verfahren. Die erste Stufe – Vektorsuche, Volltextsuche oder eine Kombination aus beiden – soll möglichst nichts Relevantes übersehen. Man spricht hier vom Recall, also der Abdeckung. Die zweite Stufe soll die Reihenfolge der Kandidaten optimieren, also die Präzision an der Spitze der Liste erhöhen. Diese Arbeitsteilung ist ökonomisch sinnvoll: Das teure Modell wird nur auf einer kleinen Auswahl ausgeführt, nicht auf dem gesamten Bestand.
Für RAG-Systeme ist die Reihenfolge besonders wichtig, weil nur wenige Abschnitte in den Kontext des Sprachmodells gelangen. Liegen die relevanten Passagen auf Platz zwölf und fünfzehn, während nur die ersten fünf übergeben werden, kann das beste Sprachmodell keine gute Antwort formulieren. Es halluziniert dann entweder, verweigert die Antwort oder stützt sich auf halb passende Quellen. Mit einem Reranker rücken diese Passagen nach vorn, und gleichzeitig kann der Kontext oft verkleinert werden, weil weniger irrelevante Abschnitte mitgeschickt werden müssen.
Mit dem Übergang vieler RAG-Projekte vom Prototyp in den Produktivbetrieb hat sich der Blick verschoben. In der Demo reicht eine einfache Vektorsuche über ein Handbuch. Im Alltag treffen Anwender auf Tausende ähnliche Dokumente, mehrere Versionen derselben Richtlinie, Fachjargon, Produktnummern und gemischte Sprachen. Gleichzeitig sind die verfügbaren Reranker-Modelle deutlich besser, mehrsprachiger und günstiger im Betrieb geworden. Offene Modelle lassen sich auf moderater Hardware selbst betreiben, kommerzielle Dienste sind per API mit wenigen Zeilen Code angebunden, und große Suchplattformen haben Reranking als eingebaute Stufe aufgenommen. Damit ist Reranking vom Spezialwissen der Suchforschung zum Standardbaustein moderner Retrieval-Architekturen geworden.
Der Cross-Encoder ist die klassische und am weitesten verbreitete Reranker-Architektur. Frage und Dokumentabschnitt werden zu einer einzigen Eingabesequenz verbunden und gemeinsam durch ein Transformer-Modell geschickt. Weil die Aufmerksamkeitsmechanismen des Modells jedes Wort der Frage mit jedem Wort des Abschnitts in Beziehung setzen können, erkennt es Zusammenhänge, die einem Bi-Encoder verborgen bleiben: ob eine genannte Zahl tatsächlich die gesuchte Frist ist, ob ein Abschnitt eine Aussage verneint oder ob sich ein Text auf ein anderes Produkt bezieht. Am Ende steht ein einzelner Relevanzwert pro Paar. Man spricht deshalb von pointwise-Bewertung: Jeder Kandidat wird unabhängig von den anderen beurteilt.
Der Preis dieser Genauigkeit ist Rechenaufwand. Für jede Anfrage muss jedes Frage-Dokument-Paar einzeln durch das Modell laufen; Vorberechnungen wie bei Embeddings sind nicht möglich. Deshalb wird ein Cross-Encoder nie auf den gesamten Bestand angewendet, sondern nur auf die Kandidaten der ersten Stufe. Moderne Cross-Encoder sind meist mehrsprachig trainiert, verarbeiten längere Abschnitte und sind in verschiedenen Größen verfügbar – von kompakten Modellen, die auf einer CPU noch akzeptabel laufen, bis zu größeren Varianten, die eine GPU benötigen.
LLM-Reranker nutzen generative Sprachmodelle für die Relevanzbewertung. Eine Variante sind speziell trainierte Modelle, die auf einer Sprachmodell-Architektur basieren, aber wie ein Cross-Encoder einen Relevanzwert liefern – etwa über die Wahrscheinlichkeit, mit der das Modell auf die Frage „Beantwortet dieser Abschnitt die Anfrage?“ mit Ja antworten würde. Eine andere Variante ist das direkte Prompting eines allgemeinen Sprachmodells. Der Vorteil: LLM-Reranker können Anweisungen berücksichtigen, etwa „bevorzuge aktuelle Richtlinien“ oder „ignoriere Marketingtexte“. Der Nachteil: höhere Latenz, höhere Kosten und bei frei promptbaren Modellen eine geringere Reproduzierbarkeit.
Late Interaction, bekannt durch das Forschungsmodell ColBERT und seine Nachfolger, ist ein Mittelweg. Statt eines einzigen Vektors pro Abschnitt werden Vektoren für jedes Token gespeichert. Bei der Suche wird für jedes Token der Frage das ähnlichste Token im Dokument gesucht, und die Einzelwerte werden aufsummiert. Weil die Dokumentvektoren vorab berechnet werden, ist das deutlich schneller als ein Cross-Encoder, aber feiner als ein einzelner Vektor. Die Kehrseite ist ein erheblich höherer Speicherbedarf, der durch Kompressionsverfahren gemildert wird. Late Interaction kann als eigene Retrieval-Stufe oder als schneller Reranker eingesetzt werden; einige Vektordatenbanken unterstützen Multivektoren inzwischen nativ.
Listwise-Reranking schließlich betrachtet nicht einzelne Paare, sondern die gesamte Kandidatenliste. Ein Sprachmodell erhält Frage und mehrere Abschnitte und gibt eine Rangfolge zurück. Dadurch kann es Dubletten erkennen, sich ergänzende Quellen bevorzugen und relative Unterschiede gewichten. Weil Kontextfenster begrenzt sind, arbeiten solche Verfahren oft mit gleitenden Fenstern über die Liste. Zwischen pointwise und listwise liegt der pairwise-Ansatz, bei dem jeweils zwei Kandidaten verglichen werden – präzise, aber bei vielen Kandidaten sehr aufwendig. In der Praxis dominieren Cross-Encoder und spezialisierte LLM-Reranker; Listwise-Verfahren sind eher eine Option für besonders anspruchsvolle Szenarien mit kleinen Kandidatenmengen.
Stellt ein Mitarbeiter eine Frage, durchläuft sie zunächst die erste Suchstufe. Die Frage wird vektorisiert, und die Vektordatenbank liefert die ähnlichsten Abschnitte; häufig läuft parallel eine Schlüsselwortsuche, deren Ergebnisse per Fusion mit den Vektortreffern zusammengeführt werden. Bereits hier greifen Metadatenfilter für Berechtigungen, Sprache oder Dokumenttyp. Wie viele Kandidaten die erste Stufe liefert, ist eine zentrale Stellschraube: zu wenige, und relevante Treffer fehlen dem Reranker; zu viele, und Latenz sowie Kosten steigen. In der Praxis bewegt sich die Kandidatenzahl meist im Bereich einiger Dutzend, der richtige Wert ergibt sich aus Messungen.
Anschließend übergibt die Anwendung Frage und Kandidatentexte an den Reranker. Dieser berechnet für jeden Kandidaten einen Relevanzwert und gibt die Liste sortiert zurück. Die Anwendung wählt dann die besten Treffer für den Kontext aus – entweder eine feste Anzahl oder alle Kandidaten oberhalb eines Schwellenwerts. Zum Schluss erhält das Sprachmodell Frage und ausgewählte Abschnitte samt Quellenangaben und formuliert die Antwort. Weil der Reranker die Reihenfolge verbessert hat, kann der Kontext häufig kleiner gewählt werden, was Kosten und Antwortzeit des Sprachmodells senkt und das Risiko verringert, dass das Modell sich von irrelevanten Passagen ablenken lässt.
Drei Parameter bestimmen die Wirkung des Rerankers maßgeblich. Erstens die Kandidatenzahl der ersten Stufe, die den möglichen Gewinn nach oben begrenzt. Zweitens die Länge der Abschnitte: Reranker haben eine maximale Eingabelänge, und überlange Abschnitte werden abgeschnitten oder müssen in Teilstücke zerlegt werden. Eine Chunking-Strategie, die Abschnitte mit klarem thematischem Fokus erzeugt, hilft dem Reranker ebenso wie der Vektorsuche. Hilfreich ist es, Überschriften und Dokumenttitel in den Abschnittstext aufzunehmen, damit der Reranker den Zusammenhang erkennt.
Drittens der Umgang mit den Relevanzwerten. Die Werte vieler Reranker sind nicht kalibriert, also keine echten Wahrscheinlichkeiten, und zwischen Modellen nicht vergleichbar. Ein Schwellenwert, unterhalb dessen Abschnitte verworfen werden, kann dennoch sehr nützlich sein: Liegt kein einziger Kandidat darüber, ist das ein starkes Signal, dass der Bestand die Frage nicht beantwortet. Die Anwendung kann dann ehrlich mitteilen, dass keine passende Information gefunden wurde, statt das Sprachmodell aus schwachen Quellen eine Antwort konstruieren zu lassen. Der passende Schwellenwert muss allerdings mit eigenen Testfragen ermittelt werden und ist bei einem Modellwechsel neu zu bestimmen.
KI-Agenten rufen im Verlauf einer Aufgabe oft mehrere Werkzeuge auf: Dokumentensuche, Datenbankabfragen, Websuche, Ticketsysteme. Jedes Werkzeug liefert Ergebnisse unterschiedlicher Qualität und Form. Ein Reranker kann diese heterogenen Ergebnisse vereinheitlichen, indem er sie anhand der eigentlichen Aufgabe bewertet und nur die relevantesten an den nächsten Schritt weitergibt. Das hält den Arbeitskontext des Agenten schlank, senkt Kosten und reduziert Fehler, die durch unpassende Zwischenergebnisse entstehen. Gerade bei langen Agentenläufen, in denen sich der Kontext schnell füllt, ist diese Verdichtung wertvoll.
Auch bei Anfrage-Umformulierung und mehrfacher Suche spielt der Reranker eine Rolle. Viele Systeme erzeugen aus einer Nutzerfrage mehrere Suchvarianten, etwa Synonyme, Teilfragen oder eine hypothetische Antwort, und führen für jede eine Suche aus. Die vereinigten Ergebnisse sind umfangreich und redundant. Ein Reranker, der die gesammelten Kandidaten gegen die ursprüngliche Frage bewertet, bringt wieder Ordnung in die Liste. Ähnliches gilt für GraphRAG-Ansätze, bei denen Ergebnisse aus Wissensgraph und Textsuche zusammengeführt werden.
In automatisierten Prozessen – etwa der Zuordnung eingehender E-Mails zu Vorgängen, der Klassifikation von Tickets oder dem Abgleich von Anfragen mit Produktdaten – lassen sich Reranker als präzise Vergleichsfunktion nutzen. Statt nur die ähnlichste Kategorie nach Vektordistanz zu wählen, prüft der Reranker die besten Kandidaten im Detail. Der Relevanzwert dient dabei als Konfidenzsignal: Liegt er deutlich über einem kalibrierten Schwellenwert, kann der Prozess automatisch weiterlaufen; liegt er im Graubereich, wird ein Mensch hinzugezogen. Dieses Muster der kontrollierten Automatisierung ist im Mittelstand besonders gefragt, weil es Effizienz bringt, ohne die Kontrolle aus der Hand zu geben.
Für die Qualitätssicherung von RAG-Systemen ist Reranking ebenfalls relevant. Evaluationswerkzeuge wie Ragas messen unter anderem, ob die abgerufenen Kontexte relevant und vollständig sind. Vergleicht man diese Kennzahlen mit und ohne Reranker, lässt sich der Effekt objektiv belegen. Zudem kann ein starker, langsamer Reranker – etwa ein großes LLM – offline genutzt werden, um Trainings- oder Testdaten für einen schnelleren Produktiv-Reranker zu erzeugen. Dieses Vorgehen, bei dem ein großes Modell ein kleineres anlernt, wird als Distillation bezeichnet und ist ein gängiger Weg, Präzision und Wirtschaftlichkeit zu verbinden.
Cohere Rerank gehört zu den bekanntesten Rerank-Diensten. Cohere hat das Konzept einer eigenständigen Rerank-Schnittstelle früh populär gemacht: Die Anwendung sendet Frage und Kandidatentexte, der Dienst liefert Relevanzwerte und eine sortierte Liste. Die Modelle sind mehrsprachig, decken Deutsch ab und lassen sich mit nahezu jeder Vektordatenbank kombinieren. Cohere ist zudem über die Marktplätze großer Cloud-Anbieter verfügbar, was die Einbindung in bestehende Verträge und Regionen erleichtern kann. Weitere Anbieter wie Voyage oder Jina AI bieten ebenfalls Rerank-Endpunkte an, teils mit Spezialisierungen auf lange Dokumente, Code oder bestimmte Domänen. Die großen Hyperscaler stellen eigene Ranking-Dienste oder gehostete Reranker in ihren KI-Plattformen bereit.
Der Reiz der APIs liegt in der Einfachheit: kein Modell-Hosting, keine GPU, ein Aufruf mit wenigen Zeilen Code. Abgerechnet wird typischerweise nach Anzahl der Suchanfragen oder verarbeiteter Dokumente beziehungsweise Tokens; aktuelle Preise und Kontingente sind beim Anbieter zu prüfen. Zu bedenken ist, dass bei jeder Anfrage die Nutzerfrage und die Volltexte der Kandidatenabschnitte an den Dienst übertragen werden – genau die Inhalte also, die man häufig besonders schützen möchte. Bei US-Anbietern ist das ein Drittlandtransfer, der datenschutzrechtlich bewertet werden muss.
Die Familie der BGE-Reranker der Beijing Academy of Artificial Intelligence zählt zu den meistgenutzten offenen Cross-Encodern. Es gibt kompakte und größere Varianten, mehrsprachige Modelle und LLM-basierte Versionen. Die Gewichte sind öffentlich verfügbar und lassen sich mit gängigen Bibliotheken wie Sentence Transformers oder spezialisierten Inferenzservern betreiben. Für Deutsch liefern die mehrsprachigen Varianten in unseren Erfahrungen brauchbare Ergebnisse, die aber stets mit eigenen Testfragen überprüft werden sollten.
Die Qwen3-Reranker von Alibaba sind LLM-basierte Reranker in mehreren Größen; der Qwen3-VL-Reranker erweitert das Prinzip auf multimodale Inhalte und kann neben Text auch Bilder, Screenshots oder Dokumentseiten in die Relevanzbewertung einbeziehen. Das ist interessant für technische Dokumentation, Datenblätter und gescannte Unterlagen, in denen Tabellen, Zeichnungen und Layout Informationen tragen. Weitere offene Optionen kommen etwa von mixedbread aus Berlin oder aus dem Umfeld von Jina AI; bei Letzteren sollte die Lizenz genau geprüft werden, da einige Modelle nur eingeschränkt kommerziell nutzbar sind. Für Late Interaction stehen ColBERT-Varianten und Bibliotheken bereit, die sich in bestehende Pipelines einfügen. Bei Modellen chinesischer Herkunft empfehlen wir ausdrücklich den Selbstbetrieb der offenen Gewichte statt der Nutzung entsprechender Cloud-APIs – dazu mehr in Kapitel 09.
Die gängigen RAG-Frameworks machen den Einbau einfach. LangChain, LlamaIndex, Haystack und txtai bieten fertige Komponenten, um Rerank-APIs oder lokale Cross-Encoder als Nachverarbeitungsschritt in eine Pipeline einzuhängen. Such- und Datenplattformen integrieren Reranking direkt: Azure AI Search bietet einen semantischen Ranker als zuschaltbare Stufe, Elasticsearch kann über Inferenz-Endpunkte Reranker einbinden, Vespa unterstützt mehrphasiges Ranking mit eigenen Modellen, und RAG-Plattformen wie Vectara oder deepset Cloud bringen Reranking als Teil ihrer Pipelines mit. Integrierte Lösungen sparen Integrationsaufwand, binden aber stärker an die Plattform und bieten weniger Wahlfreiheit beim Modell.
Hybrid Search kombiniert semantische Vektorsuche mit klassischer Schlüsselwortsuche, häufig auf Basis von BM25, und führt die Ergebnisse über ein Fusionsverfahren wie Reciprocal Rank Fusion zusammen. Ihr Hauptnutzen liegt in der Abdeckung: Artikelnummern, Normbezeichnungen, Eigennamen und seltene Fachbegriffe, die eine reine Vektorsuche verfehlt, werden über die Schlüsselwortkomponente gefunden. Die Fusion selbst ist jedoch eine grobe Heuristik. Sie kombiniert Rangplätze, versteht aber nicht, welcher Treffer die Frage wirklich beantwortet.
Genau diese Lücke schließt der Reranker. In einer typischen leistungsfähigen Architektur liefert die Hybrid-Suche eine breite, gut abgedeckte Kandidatenliste, und der Reranker sortiert sie nach tatsächlicher Relevanz. Fusion und Reranking haben dabei unterschiedliche Aufgaben: Die Fusion sorgt dafür, dass gute Kandidaten überhaupt in die Liste gelangen, der Reranker dafür, dass sie an der richtigen Stelle stehen. Ein angenehmer Nebeneffekt ist, dass der Reranker die Feinabstimmung der Fusionsgewichte weniger kritisch macht, weil er die Reihenfolge ohnehin neu bestimmt.
Embedding-Tuning, also das Nachtrainieren eines Embedding-Modells auf eigene Daten, verbessert die erste Suchstufe grundlegend. Es ist besonders wirksam bei stark domänenspezifischer Sprache. Der Aufwand ist allerdings erheblich: Man braucht Trainingsdaten aus Frage-Abschnitt-Paaren, Rechenkapazität und – das wird oft unterschätzt – eine vollständige Neuindexierung aller Dokumente nach jedem Modellwechsel. Reranking ist dagegen ein Baustein, der ohne Änderung am Index eingeführt, getauscht und wieder entfernt werden kann. Wer schnell und risikoarm Qualität gewinnen will, beginnt deshalb meist mit Reranking und Hybrid Search und erwägt Embedding-Tuning erst, wenn diese Maßnahmen ausgeschöpft sind. Auch Reranker selbst lassen sich auf eigene Daten feinjustieren, was oft weniger Aufwand verursacht als das Nachtrainieren des Embedding-Modells.
Eine weitere verbreitete Reaktion auf schlechte Antworten ist der Wechsel zu einem größeren Sprachmodell oder einem längeren Kontextfenster. Das hilft nur begrenzt. Ein großes Kontextfenster verleitet dazu, viele Abschnitte ungefiltert mitzuschicken, was Kosten erhöht und die Antwortqualität durch irrelevante Passagen sogar verschlechtern kann. Ein Reranker, der den Kontext gezielt verdichtet, ist in vielen Fällen die wirtschaftlichere Maßnahme. Ebenso wenig ersetzt Reranking ein durchdachtes Chunking: Abschnitte, die Informationen zerreißen oder zu viele Themen mischen, kann auch der beste Reranker nicht sinnvoll bewerten.
Eine Rerank-API ist der schnellste Weg zum Ergebnis. Es gibt keine Hardware zu beschaffen, keine Modelle zu aktualisieren und keine Inferenzserver zu betreiben. Für Prototypen, Lastspitzen und Teams ohne Erfahrung im Modellbetrieb ist das attraktiv. Zu bedenken sind die zusätzliche Netzwerklatenz, Ratenlimits, mögliche Ausfälle beim Anbieter und Modellwechsel, die das Ranking über Nacht verändern können. Wer eine API nutzt, sollte daher eine feste Modellversion ansprechen, sofern der Anbieter das erlaubt, einen Fallback ohne Reranking vorsehen und Zeitüberschreitungen sauber behandeln. Vor allem aber ist zu klären, ob die übertragenen Inhalte überhaupt das Haus verlassen dürfen.
Beim Selbstbetrieb läuft ein offenes Reranker-Modell auf eigener Infrastruktur oder bei einem deutschen Hoster. Bewährt haben sich Inferenzserver, die Modelle als einfache Web-Schnittstelle bereitstellen und Anfragen zu Stapeln bündeln, um die Hardware effizient auszulasten. Kompakte Cross-Encoder laufen bei geringem Volumen auch auf CPUs, für größere Modelle, LLM-Reranker oder hohe Last ist eine GPU sinnvoll. Wichtige Einflussgrößen auf die Latenz sind Kandidatenzahl, Abschnittslänge, Modellgröße und Stapelgröße. Quantisierte Modelle senken den Speicherbedarf und beschleunigen die Inferenz, oft mit nur geringem Qualitätsverlust – das ist im eigenen Szenario zu prüfen.
Der Selbstbetrieb verlangt die üblichen Betriebsaufgaben: Bereitstellung per Container, Skalierung, Updates, Monitoring und Sicherheitsmaßnahmen wie Zugriffsbeschränkungen und verschlüsselte Verbindungen. Im Gegenzug erhält man volle Kontrolle über Modellversion und Datenfluss, planbare Kosten und keine Abhängigkeit von externen Ratenlimits. Für viele Unternehmen ist ein gemischtes Vorgehen sinnvoll: Prototyp mit einer API, um den Nutzen schnell zu belegen, anschließend Produktivbetrieb mit einem offenen Modell auf eigener oder europäischer Infrastruktur.
Typisch ist ein Szenario, in dem ein erster RAG-Prototyp gute Eindrücke hinterlassen hat, im breiteren Test aber falsche oder vage Antworten liefert. Die Analyse zeigt dann häufig, dass die richtigen Abschnitte durchaus gefunden wurden, aber nicht weit genug oben standen. Ein Reranker behebt genau dieses Problem, ohne dass Datenmodell, Index oder Benutzeroberfläche angepasst werden müssen – ein wichtiges Argument für Unternehmen mit begrenzten IT-Kapazitäten.
Der wichtigste Erfolgsfaktor ist ein eigener Testdatensatz. Öffentliche Ranglisten zeigen, wie Modelle auf allgemeinen Benchmarks abschneiden, sagen aber wenig darüber, wie sie mit deutschen Fachbegriffen, internen Abkürzungen und der Struktur der eigenen Dokumente umgehen. Schon einige Dutzend sorgfältig ausgewählte Fragen mit bekannten richtigen Quellen ermöglichen eine fundierte Entscheidung. Diese Fragen sollten von Fachanwendern stammen, nicht von der IT, und auch schwierige Fälle enthalten: mehrdeutige Begriffe, Fragen ohne Antwort im Bestand, Fragen, die mehrere Quellen kombinieren.
Ebenso wichtig ist der Blick auf die Gesamtarchitektur. Reranking entfaltet seine Wirkung nur, wenn Datenaufbereitung, Chunking und erste Suchstufe solide sind. Wer mit unstrukturierten Laufwerksexporten, kaputten PDF-Extraktionen und fehlenden Metadaten startet, sollte zuerst dort ansetzen. Schließlich zahlt sich eine klare Verantwortlichkeit aus: Jemand im Unternehmen sollte die Testfragen pflegen, Rückmeldungen der Nutzer auswerten und Änderungen an Modellen oder Parametern freigeben. So bleibt die Qualität auch dann stabil, wenn der Dokumentbestand wächst.
Bei einer Rerank-API eines US-Anbieters werden Anfragen und Textpassagen in der Regel an Server des Anbieters übertragen. Das ist eine Übermittlung an einen Auftragsverarbeiter mit Sitz außerhalb der EU, die einen Auftragsverarbeitungsvertrag, eine tragfähige Rechtsgrundlage für den Drittlandtransfer und eine Prüfung der Unterauftragsverarbeiter erfordert. Selbst wenn ein Anbieter oder ein Cloud-Marktplatz eine Verarbeitung in einer EU-Region ermöglicht, bleibt zu berücksichtigen, dass US-Unternehmen dem US CLOUD Act unterliegen. Zu klären sind außerdem Speicherdauer, Protokollierung und die Frage, ob übermittelte Daten zur Verbesserung von Modellen verwendet werden dürfen.
Bei Modellen chinesischer Herkunft wie den Qwen- oder BGE-Rerankern ist zwischen Modell und Dienst zu unterscheiden. Die Nutzung entsprechender Cloud-APIs würde Inhalte an Infrastruktur übertragen, die chinesischem Recht unterliegen kann – mit weitreichenden staatlichen Zugriffsmöglichkeiten und ohne Angemessenheitsbeschluss der EU. Für Unternehmensdaten raten wir davon ab. Die offenen Gewichte dieser Modelle lassen sich dagegen vollständig im eigenen Rechenzentrum oder bei einem deutschen Hoster betreiben; dann verlassen keine Daten das Haus, und die Herkunft des Modells ist datenschutzrechtlich deutlich weniger relevant. Sinnvoll bleiben eine Prüfung der Lizenz, ein Bezug der Gewichte aus vertrauenswürdiger Quelle und ein Betrieb ohne ausgehende Netzwerkverbindungen.
Der datenschutzfreundlichste Weg ist damit in den meisten Fällen der Selbstbetrieb eines offenen Rerankers auf eigener Hardware oder bei einem deutschen beziehungsweise europäischen Hoster. Ist der Hoster Auftragsverarbeiter, ist ein entsprechender Vertrag abzuschließen. Unabhängig vom Betriebsmodell gilt: Der Reranker sieht dieselben Inhalte wie das Sprachmodell. Wer das Sprachmodell aus Datenschutzgründen lokal betreibt, den Reranker aber über eine US-API anbindet, hat das Problem lediglich verlagert. Berechtigungsfilter müssen zudem vor dem Reranking greifen, damit nur Abschnitte bewertet werden, die der Nutzer auch sehen darf, und Protokolle mit Anfragen und Passagen gehören in das Lösch- und Aufbewahrungskonzept.
Bei Rerank-APIs wird meist nach Anzahl der Suchanfragen, der bewerteten Dokumente oder der verarbeiteten Tokens abgerechnet. Die Kosten wachsen damit linear mit Nutzung, Kandidatenzahl und Abschnittslänge. Für Pilotprojekte und moderate Volumina sind die Beträge in der Regel überschaubar; bei breitem Einsatz im Unternehmen oder in automatisierten Prozessen mit vielen Anfragen kann sich das ändern. Aktuelle Preise sind beim jeweiligen Anbieter zu prüfen, da sie sich regelmäßig ändern.
Beim Selbstbetrieb entfallen nutzungsabhängige Gebühren, dafür entstehen Kosten für Server oder GPU-Kapazität, Strom, Wartung und Arbeitszeit. Kompakte Cross-Encoder lassen sich oft auf bereits vorhandener Infrastruktur mitbetreiben, etwa auf derselben GPU, die ein lokales Embedding-Modell bedient. Größere LLM-Reranker benötigen dedizierte Rechenleistung. Auf der anderen Seite der Bilanz steht ein häufig übersehener Effekt: Weil ein Reranker den Kontext verdichtet, sinken die Kosten des Sprachmodells, das weniger Tokens verarbeiten muss. Als Faustregel gilt: Bei niedrigem Volumen ist eine API am günstigsten im Einstieg, bei konstantem, höherem Volumen und hohen Datenschutzanforderungen rechnet sich ein selbst betriebenes offenes Modell meist schnell.