Wissensdatenbank · Vektordatenbanken & RAG · Grundlagenkonzept

Semantische Suche – finden, was gemeint ist, nicht nur, was getippt wurde.

Semantische Suche versteht Anfragen nach ihrer Bedeutung und findet passende Inhalte auch dann, wenn kein einziges Suchwort übereinstimmt. Sie ist das Fundament moderner Wissensassistenten, intelligenter Produktsuchen und jeder RAG-Architektur. Dieser Fachartikel erklärt Ansätze, Bausteine, Werkzeuge, Grenzen, Einführung und die DSGVO-Frage herstellerneutral aus der Perspektive des DACH-Mittelstands.

Dieser Artikel wurde mithilfe künstlicher Intelligenz erstellt und redaktionell geprüft.

24 Min. Lesezeit
Aktualisiert · Oktober 2026
Fachartikel · Expertenbeitrag
Semantische Suche
Suchparadigma · Grundlage für RAG und Wissensassistenten
Typ
Konzept / Suchverfahren
Prinzip
Treffer nach Bedeutung
Basis
Embeddings & Vektorindex
Stärke
Synonyme, Umschreibungen, Absicht
Schwäche
Exakte Nummern & Codes
Best Practice
Hybrid + Reranking
INAGRO Relevanz für Wissensprojekte im Mittelstand
★★★★★
Kapitel 01 · Überblick

Was ist semantische Suche – und warum ist sie gerade jetzt so wichtig?

Semantische Suche bezeichnet Suchverfahren, die nicht nach übereinstimmenden Zeichenketten fahnden, sondern nach übereinstimmender Bedeutung. Wer „Maschine piept und bleibt stehen“ eingibt, soll den Handbuchabschnitt zur „akustischen Störmeldung mit Not-Halt“ finden – obwohl kein einziges Wort gleich ist. Genau das leisten moderne semantische Suchsysteme, und genau deshalb sind sie zur tragenden Säule fast jeder KI-Anwendung im Unternehmen geworden.

Die klassische Suche, wie sie in Intranets, Dokumentenmanagementsystemen oder Onlineshops seit Jahrzehnten eingesetzt wird, arbeitet lexikalisch. Sie zerlegt Texte in Wörter, normalisiert diese ein wenig, legt einen invertierten Index an und findet Dokumente, in denen die Suchbegriffe vorkommen. Das funktioniert hervorragend, solange Suchende und Autoren dieselbe Sprache sprechen. Im Unternehmensalltag ist das aber selten der Fall: Der Vertrieb sagt „Reklamation“, die Qualitätssicherung „Abweichungsmeldung“, der Kunde „kaputt geliefert“. Die Technik schreibt „Lagerschaden“, der Servicetechniker „Kugellager hinüber“. Eine rein wortbasierte Suche bleibt bei diesen Unterschieden stumm oder liefert Trefferlisten, die niemand durchsehen möchte.
Semantische Suche löst dieses Problem, indem sie Anfragen und Inhalte in eine gemeinsame Bedeutungsrepräsentation überführt. Heute geschieht das fast immer mit Embeddings: neuronale Sprachmodelle übersetzen einen Text in einen Vektor, also eine lange Liste von Zahlen. Inhaltlich ähnliche Texte erhalten ähnliche Vektoren, die in einem hochdimensionalen Raum nah beieinanderliegen. Die Suche wird damit zu einer geometrischen Aufgabe: Welche gespeicherten Vektoren liegen dem Anfragevektor am nächsten?

Von Synonymlisten zu neuronalen Bedeutungsräumen

Der Wunsch, nach Bedeutung statt nach Wörtern zu suchen, ist alt. Frühere Generationen von Suchsystemen behalfen sich mit gepflegten Synonymlisten, Thesauri, Taxonomien und Ontologien. Fachabteilungen trugen mühsam zusammen, dass „PKW“, „Auto“ und „Fahrzeug“ zusammengehören, und Suchmaschinen erweiterten die Anfrage entsprechend. Statistische Verfahren wie die latente semantische Analyse versuchten später, Bedeutungszusammenhänge automatisch aus dem gemeinsamen Vorkommen von Wörtern abzuleiten. Beide Ansätze hatten Grenzen: Synonymlisten veralten und decken nie alle Formulierungen ab, frühe statistische Modelle erfassten Kontext nur grob.
Den Durchbruch brachten Transformer-basierte Sprachmodelle. Sie berücksichtigen den Kontext jedes Wortes im Satz und können damit unterscheiden, ob „Bank“ ein Geldinstitut oder eine Sitzgelegenheit meint. Speziell für die Suche trainierte Embedding-Modelle lernen anhand großer Mengen von Frage-Antwort-Paaren, dass eine Frage und ihre passende Antwort nah beieinanderliegen sollen. Diese Modelle sind heute in vielen Sprachen verfügbar, auch mit guter Qualität für Deutsch, und lassen sich als Cloud-Dienst nutzen oder selbst betreiben.

Warum semantische Suche das Fundament von RAG ist

Mit dem Aufkommen generativer KI hat die semantische Suche eine zweite, noch wichtigere Rolle erhalten. Sprachmodelle kennen das interne Wissen eines Unternehmens nicht. Damit ein Assistent Fragen zu Produkten, Verträgen oder Prozessen korrekt beantworten kann, muss ihm zur Laufzeit der passende Kontext mitgegeben werden. Diesen Kontext liefert die Retrieval-Augmented Generation, kurz RAG – und das Retrieval ist in aller Regel eine semantische Suche. Die Qualität der Antwort hängt damit unmittelbar davon ab, ob die Suche die richtigen Passagen findet. Ein hervorragendes Sprachmodell, das die falschen Dokumente erhält, formuliert lediglich eine überzeugend klingende, aber falsche Antwort.
INAGRO-Einschätzung

In unseren Projekten ist die Suche fast immer der größte Qualitätshebel eines KI-Assistenten. Wer RAG plant, plant in Wahrheit eine semantische Suche mit nachgelagerter Textgenerierung. Deshalb empfehlen wir, zuerst die Suche messbar gut zu machen und erst danach am Sprachmodell zu feilen. Eine solide semantische Suche ist zudem auch ohne Chat-Oberfläche wertvoll: als bessere Intranetsuche, als Produktfinder oder als Recherchewerkzeug im Service.

Kapitel 02 · Ansätze & Varianten

Dense, Sparse, Hybrid und Graph: vier Wege zur Bedeutung

„Semantische Suche“ ist kein einzelnes Verfahren, sondern ein Sammelbegriff. In der Praxis begegnen uns vier Familien, die sich in Stärken, Aufwand und Infrastruktur deutlich unterscheiden – und die sich gut miteinander kombinieren lassen.

Dense Retrieval
Standard

Ein Embedding-Modell erzeugt für Anfrage und Dokument je einen dichten Vektor. Gesucht wird über Ähnlichkeit im Vektorraum. Stark bei Umschreibungen, Synonymen und mehrsprachigen Inhalten.

StärkeBedeutung, Absicht
Schwächeexakte Codes
InfrastrukturVektorindex
Sparse & Learned Sparse
Präzise

Klassische Verfahren wie BM25 oder gelernte Sparse-Modelle, die Begriffe gewichten und um verwandte Terme erweitern. Gut erklärbar und stark bei Fachbegriffen.

StärkeBegriffstreue
Schwächefreie Umschreibungen
Infrastrukturinvertierter Index
Hybrid Search
Empfohlen

Kombination aus dichter und lexikalischer Suche, deren Ergebnislisten fusioniert werden. In Unternehmensdaten meist die robusteste Wahl.

Stärkebeides zugleich
AufwandFusion & Tuning
Infrastrukturzwei Indizes
Knowledge-Graph-gestützt
Strukturiert

Entitäten und Beziehungen werden explizit modelliert und mit Vektorsuche kombiniert. Stark bei Fragen über Zusammenhänge, Hierarchien und mehrere Dokumente hinweg.

StärkeZusammenhänge
AufwandModellierung
InfrastrukturGraph + Vektor

Dense Retrieval: die Bedeutung in einem Vektor

Beim Dense Retrieval wird jeder Text in einen Vektor fester Länge übersetzt, dessen Einträge fast alle von null verschieden sind – daher „dicht“. Der Vektor fasst die Bedeutung des gesamten Textabschnitts zusammen. Die Anfrage wird mit demselben oder einem passenden Modell kodiert, und die Suche liefert die Abschnitte mit der höchsten Ähnlichkeit, meist gemessen als Kosinus-Ähnlichkeit oder Skalarprodukt. Der große Vorteil: Das Verfahren erkennt Umschreibungen, Synonyme, Fachjargon und Alltagssprache gleichermaßen und funktioniert mit mehrsprachigen Modellen sogar über Sprachgrenzen hinweg. Eine deutsche Frage kann damit eine englische Herstellerdokumentation finden.
Die Kehrseite: Ein einzelner Vektor ist eine Verdichtung, und bei dieser Verdichtung gehen Details verloren. Artikelnummern, Normbezeichnungen, Paragrafen oder seltene Eigennamen werden von Embedding-Modellen oft nur unscharf repräsentiert. Die Suche nach „Ventil V-4711“ liefert dann vielleicht Dokumente über Ventile im Allgemeinen, aber nicht zuverlässig genau dieses Bauteil. Eine Verfeinerung sind Multi-Vektor-Verfahren wie Late-Interaction-Modelle, die pro Token einen Vektor speichern und feinere Übereinstimmungen erkennen – um den Preis deutlich höheren Speicherbedarfs.

Sparse, Learned Sparse und Hybrid: Präzision zurückholen

Sparse-Verfahren repräsentieren Texte als sehr lange, aber dünn besetzte Vektoren, in denen jede Dimension einem Begriff entspricht. Der Klassiker ist BM25, das in nahezu jeder Volltextsuchmaschine steckt. Learned-Sparse-Modelle gehen einen Schritt weiter: Ein neuronales Modell entscheidet, welche Begriffe für einen Text wichtig sind, und ergänzt verwandte Begriffe, die gar nicht im Text stehen. So entsteht eine Suche, die so präzise und erklärbar ist wie eine Schlüsselwortsuche, aber einen Teil der semantischen Flexibilität mitbringt. Einige Suchmaschinen bieten solche Modelle direkt integriert an.
Die Hybrid-Suche verbindet beide Welten. Eine Anfrage läuft parallel durch die lexikalische und die dichte Suche, beide liefern eine Rangliste, und ein Fusionsverfahren – häufig Reciprocal Rank Fusion oder eine gewichtete Kombination normalisierter Scores – erzeugt daraus eine gemeinsame Liste. Für Unternehmensdaten mit ihrer Mischung aus Fließtext und harten Bezeichnern ist das nach unserer Erfahrung fast immer die beste Ausgangsbasis. Details dazu beschreibt unser Artikel zur Hybrid Search.

Knowledge-Graph-gestützte semantische Suche

Manche Fragen lassen sich nicht durch das Finden eines einzelnen ähnlichen Textabschnitts beantworten. „Welche Kunden nutzen Anlagen, in denen die betroffene Steuerung verbaut ist?“ verlangt, Beziehungen über mehrere Dokumente und Systeme hinweg zu verfolgen. Hier helfen Wissensgraphen: Entitäten wie Produkte, Bauteile, Kunden oder Normen werden als Knoten modelliert, ihre Beziehungen als Kanten. Die Vektorsuche findet den Einstiegspunkt, der Graph liefert die Zusammenhänge. Ansätze wie GraphRAG erzeugen solche Graphen teilweise automatisch mit Sprachmodellen aus Dokumenten. Der Nutzen ist bei stark vernetztem Wissen groß, der Aufwand für Aufbau, Qualitätssicherung und Pflege aber ebenfalls. Wir empfehlen Graph-Ansätze daher gezielt für Anwendungsfälle, bei denen die klassische Hybrid-Suche nachweislich an ihre Grenzen stößt.
Kapitel 03 · Funktionsweise & Bausteine

Embeddings, ANN-Index und Ranking: die Anatomie einer semantischen Suche

Jede semantische Suche besteht aus zwei Pipelines: der Indexierung, die Inhalte vorbereitet und speichert, und der Abfrage, die eine Frage in Treffer übersetzt. Dazwischen arbeiten drei Kernbausteine, deren Zusammenspiel über Qualität, Geschwindigkeit und Kosten entscheidet.

Embeddings und Chunking: Inhalte in Vektoren übersetzen

Bevor Inhalte durchsuchbar werden, müssen sie aus ihren Quellsystemen extrahiert werden: aus PDFs, Office-Dokumenten, Wikis, Tickets, E-Mails oder Datenbanken. Werkzeuge wie Unstructured helfen, Text, Tabellen und Struktur zuverlässig auszulesen. Anschließend werden lange Dokumente in Abschnitte zerlegt, das sogenannte Chunking. Die Abschnitte sollten groß genug sein, um einen Gedanken vollständig zu enthalten, und klein genug, um präzise gefunden zu werden. Strukturbewusstes Chunking entlang von Überschriften, Absätzen und Tabellen liefert in der Regel bessere Ergebnisse als starres Zerschneiden nach Zeichenzahl. Hilfreich ist zudem, jedem Abschnitt Kontext mitzugeben, etwa Dokumenttitel und Kapitelüberschrift.
Jeder Abschnitt wird dann von einem Embedding-Modell in einen Vektor übersetzt. Die Wahl des Modells ist eine der folgenreichsten Entscheidungen: Es bestimmt Sprachabdeckung, Qualität bei Fachsprache, Vektordimension und damit Speicherbedarf sowie die Frage, ob das Modell selbst betrieben werden kann. Zur Auswahl stehen kommerzielle API-Modelle, etwa von OpenAI oder Cohere, und offene Modelle wie die BGE- und Sentence-Transformers-Familien, die sich auf eigener Hardware betreiben lassen. Wichtig: Wird das Modell gewechselt, müssen alle Inhalte neu vektorisiert werden, da Vektoren verschiedener Modelle nicht vergleichbar sind.

Der ANN-Index: schnell suchen in Millionen Vektoren

Den exakt ähnlichsten Vektor zu finden, hieße, die Anfrage mit jedem gespeicherten Vektor zu vergleichen. Bei einigen Tausend Abschnitten ist das kein Problem, bei Millionen wird es zu langsam. Deshalb nutzen semantische Suchsysteme Approximate-Nearest-Neighbor-Indizes, kurz ANN. Sie finden die nächsten Nachbarn nicht garantiert exakt, aber mit sehr hoher Wahrscheinlichkeit und um Größenordnungen schneller.
Die verbreitetste Indexfamilie ist HNSW, ein mehrschichtiger Nachbarschaftsgraph, durch den sich die Suche von grob zu fein bewegt. HNSW bietet eine sehr gute Balance aus Trefferqualität und Geschwindigkeit, benötigt aber viel Arbeitsspeicher. IVF-Verfahren gruppieren Vektoren in Cluster und durchsuchen nur die vielversprechendsten. Quantisierung komprimiert Vektoren, etwa auf halbe Genauigkeit, auf einzelne Bits oder per Produktquantisierung, und senkt so den Speicherbedarf deutlich; ein Nachbewerten der Kandidaten mit vollen Vektoren gleicht den Qualitätsverlust weitgehend aus. Daneben gibt es festplattenbasierte Indizes für sehr große Bestände sowie baumbasierte Verfahren, wie sie Bibliotheken wie Annoy nutzen. Bibliotheken wie FAISS stellen viele dieser Verfahren bereit; Vektordatenbanken kapseln sie hinter einer bequemen Schnittstelle.

Filter und Ranking: vom Kandidaten zum Ergebnis

Im Unternehmenseinsatz reicht reine Ähnlichkeit selten aus. Treffer müssen nach Metadaten gefiltert werden: Berechtigungen, Mandant, Sprache, Dokumenttyp, Gültigkeitszeitraum oder Produktlinie. Wie gut ein System Vektorsuche und Filter verbindet, unterscheidet die Werkzeuge erheblich. Filtert man erst nach der Vektorsuche, bleiben bei restriktiven Bedingungen womöglich zu wenige Treffer übrig; filtert man vorher, kann der Index weniger effizient arbeiten. Moderne Systeme integrieren Filter direkt in die Indexsuche.
Am Ende steht das Ranking. Die Kandidaten aus Vektor- und gegebenenfalls Schlüsselwortsuche werden fusioniert und nach Relevanz sortiert. Optional kommen Geschäftsregeln hinzu, etwa die Bevorzugung aktueller Dokumente, freigegebener Versionen oder lieferbarer Artikel. Häufig folgt eine zweite, genauere Bewertungsstufe durch einen Reranker, die wir im nächsten Kapitel beschreiben.
Baustein Aufgabe Typische Stellschraube
Extraktion Text und Struktur aus Quellen lesen Tabellen, Scans, Layout
Chunking Dokumente in Abschnitte zerlegen Größe, Überlappung, Struktur
Embedding-Modell Abschnitte und Anfragen vektorisieren Sprache, Fachdomäne, Dimension
ANN-Index Nächste Nachbarn schnell finden Indextyp, Suchbreite, Quantisierung
Lexikalischer Index Exakte Begriffe und Codes finden Sprachanalyse, Komposita
Filter Rechte und Metadaten durchsetzen Pre- oder Inline-Filtering
Fusion & Reranking Treffer zusammenführen und sortieren Gewichtung, Kandidatenzahl
Kapitel 04 · KI- & Automatisierungsaspekte

Query Understanding, RAG und Reranking: wie KI die Suche schärft

Embeddings sind nur ein Teil der Geschichte. Sprachmodelle können Anfragen vor der Suche verbessern, Treffer nach der Suche präziser sortieren und aus gefundenen Passagen direkte Antworten formulieren. Diese Schichten machen aus einer guten semantischen Suche ein wirklich hilfreiches Werkzeug.

Query Understanding: die Frage hinter der Frage

Nutzer formulieren knapp, unvollständig oder mehrdeutig. Query Understanding bezeichnet alle Verfahren, die eine Anfrage vor der eigentlichen Suche aufbereiten. Dazu gehört die Erkennung der Absicht – sucht jemand ein Produkt, eine Anleitung oder einen Ansprechpartner? –, die Extraktion von Entitäten wie Artikelnummern, Kundennamen oder Zeiträumen, die dann als strukturierte Filter genutzt werden, sowie die Korrektur von Tippfehlern. Sprachmodelle können zudem eine Anfrage umformulieren oder in mehrere Teilfragen zerlegen, die getrennt gesucht und anschließend zusammengeführt werden. Eine bekannte Technik erzeugt zunächst eine hypothetische Antwort und sucht dann nach Dokumenten, die dieser Antwort ähneln, weil Antworttexte sich oft besser mit Dokumenten vergleichen lassen als kurze Fragen.
In Gesprächssituationen kommt eine weitere Aufgabe hinzu: Folgefragen wie „Und wie ist das bei der kleineren Variante?“ müssen mit dem Gesprächskontext zu einer eigenständigen Suchanfrage umgeschrieben werden. Ohne diesen Schritt findet die semantische Suche zum Wort „Variante“ allein wenig Brauchbares. All diese Techniken kosten Latenz und gegebenenfalls Modellaufrufe; sie sollten deshalb gezielt eingesetzt und ihr Nutzen gemessen werden.

Reranking: die zweite, genauere Sortierung

ANN-Suche und Embeddings sind auf Geschwindigkeit optimiert: Anfrage und Dokument werden getrennt kodiert und nur über ihre Vektoren verglichen. Ein Reranker – meist ein sogenanntes Cross-Encoder-Modell – betrachtet dagegen Anfrage und Kandidatentext gemeinsam und bewertet ihre Passung deutlich genauer. Weil das rechenintensiver ist, wird es nur auf eine überschaubare Kandidatenmenge angewendet: Die schnelle Suche liefert einige Dutzend Treffer, der Reranker sortiert sie neu, und nur die besten gehen weiter. Diese zweistufige Architektur ist in der Praxis einer der wirksamsten und zugleich einfachsten Hebel zur Qualitätssteigerung. Reranker gibt es als API-Dienst und als offene Modelle zum Selbstbetrieb; auch Sprachmodelle können als Reranker eingesetzt werden, sind dafür aber vergleichsweise langsam und teuer.

RAG und Agenten: von der Trefferliste zur Antwort

In einer RAG-Architektur werden die besten Abschnitte nicht als Liste angezeigt, sondern einem Sprachmodell als Kontext übergeben, das daraus eine Antwort mit Quellenverweisen formuliert. Die semantische Suche ist damit das Gedächtnis des Systems. Fortgeschrittene Varianten lassen das Sprachmodell selbst entscheiden, wann und wonach gesucht wird: Ein agentischer Ansatz kann mehrere Suchen nacheinander ausführen, Zwischenergebnisse prüfen und gezielt nachrecherchieren. Das verbessert Antworten auf komplexe Fragen, erhöht aber Latenz, Kosten und den Bedarf an Kontrolle.
Unverzichtbar ist eine systematische Evaluierung. Ein Testset aus realen Fragen mit bekannten relevanten Dokumenten erlaubt es, Trefferquote und Rangqualität zu messen und Änderungen an Chunking, Modell oder Fusion objektiv zu bewerten. Für RAG kommen Frameworks wie Ragas hinzu, die auch die Treue der Antwort zu den Quellen beurteilen. Ohne solche Messungen bleibt jede Optimierung ein Bauchgefühl.
Bewährte Standardpipeline

Für die meisten Unternehmensanwendungen starten wir mit derselben Grundarchitektur: strukturbewusstes Chunking mit Kontextinformationen, Hybrid-Suche aus Vektor- und Schlüsselwortindex, Berechtigungsfilter direkt in der Suche, Reranking der besten Kandidaten und ein kleines, aber ehrliches Testset. Erst wenn diese Basis gemessen ist, lohnen sich Query Rewriting, Graph-Erweiterungen oder agentische Verfahren.

Kapitel 05 · Werkzeuge & Plattformen

Vektordatenbanken, Suchmaschinen und Managed Services: der Markt im Überblick

Für semantische Suche gibt es heute eine fast unübersichtliche Auswahl an Werkzeugen. Sinnvoll ist eine Einteilung nach Bauweise und Betriebsmodell. Die folgende Übersicht ist bewusst qualitativ; Funktionsumfang, Lizenzbedingungen und Preise ändern sich schnell und sind beim jeweiligen Anbieter zu prüfen.

Dedizierte Vektordatenbanken und Erweiterungen

Dedizierte Vektordatenbanken sind auf Speicherung, Indexierung und Filterung von Vektoren spezialisiert. Zu den bekanntesten Open-Source-Vertretern zählen Qdrant, ein in Rust geschriebenes System aus Berlin, Weaviate, ursprünglich in den Niederlanden entstanden und mit integrierten Modulen für Embeddings und Hybrid-Suche, sowie Milvus für sehr große, verteilte Bestände. Daneben gibt es leichtgewichtige, eingebettete Lösungen wie Chroma oder LanceDB, die sich gut für Prototypen und kleinere Anwendungen eignen, sowie Spezialisten wie Vald für Kubernetes-Umgebungen und Marqo, das Vektorisierung und Suche bündelt.
Eine pragmatische Alternative sind Vektorfunktionen in bestehenden Datenbanken. pgvector erweitert PostgreSQL, MongoDB und Redis bieten eigene Vektorsuchen an. Der Vorteil: Vektoren liegen neben den Geschäftsdaten, und es entsteht kein zusätzliches System. Für kleine und mittlere Bestände ist das oft der einfachste Weg.

Suchmaschinen mit Vektorsuche

Klassische Suchmaschinen haben Vektorsuche in den letzten Jahren als vollwertige Funktion ergänzt. Elasticsearch und OpenSearch kombinieren ausgereifte Volltextsuche, Facetten und Aggregationen mit dichter und gelernter Sparse-Suche; unser Artikel zu Elasticsearch und ELSER geht darauf ein. Vespa ist eine leistungsfähige Plattform für Suche und Empfehlungen mit sehr flexiblen Ranking-Möglichkeiten. Für Unternehmen, die bereits eine Suchmaschine betreiben, ist die Erweiterung um Vektorsuche oft der natürlichste Schritt, weil vorhandene Konnektoren, Sprachanalyse und Rechtekonzepte erhalten bleiben.

Managed Services, Frameworks und Komplettplattformen

Managed Services nehmen den Betrieb ab. Pinecone ist ein vollständig gemanagter Vektordienst, Azure AI Search bietet Hybrid-Suche mit semantischem Ranking innerhalb des Microsoft-Ökosystems, und Vectara liefert RAG als Plattform. Viele Open-Source-Datenbanken werden zusätzlich als Cloud-Dienst ihres Herstellers angeboten. Für den DACH-Mittelstand ist dabei die Frage nach Unternehmenssitz, Region und Auftragsverarbeitung zentral; europäische Anbieter wie das Berliner deepset mit der deepset-Plattform oder Qdrant mit EU-Hosting-Optionen bringen hier einen Souveränitätsvorteil mit.
Die Pipeline um die Datenbank herum bauen Frameworks wie Haystack, LangChain oder LlamaIndex. Sie verbinden Dokumentenladen, Chunking, Embedding, Suche, Reranking und Sprachmodell und abstrahieren die konkrete Datenbank, was einen späteren Wechsel erleichtert. Kompaktere Bibliotheken wie txtai bündeln semantische Suche in einem schlanken Paket, Werkzeuge wie Cognee verbinden Vektorsuche mit Wissensgraphen.
Kategorie Beispiele Passt besonders, wenn …
Dedizierte Vektordatenbank Qdrant, Weaviate, Milvus große Bestände, anspruchsvolle Filter
Datenbankerweiterung pgvector, MongoDB, Redis Daten bereits dort liegen, moderate Mengen
Eingebettet / leichtgewichtig Chroma, LanceDB, FAISS Prototyp, Einzelanwendung, Edge
Suchmaschine mit Vektoren Elasticsearch, OpenSearch, Vespa Volltextsuche bereits im Einsatz
Managed Service Pinecone, Azure AI Search, Vectara kein eigener Betrieb gewünscht
Framework Haystack, LangChain, LlamaIndex Pipeline flexibel orchestrieren
Kapitel 06 · Abgrenzung

Semantisch oder Volltext? Warum die Antwort meist „beides“ lautet

Semantische Suche wird gern als Nachfolger der Volltextsuche dargestellt. Das greift zu kurz. Beide Verfahren haben klar unterschiedliche Stärken, und die besten Systeme nutzen sie gemeinsam.

Wo die Keyword-Suche überlegen bleibt

Die lexikalische Suche ist präzise, erklärbar und günstig. Wer nach einer Artikelnummer, einer Normbezeichnung, einem Paragrafen, einem Fehlercode oder einem Eigennamen sucht, erwartet exakt diesen Treffer – und genau das liefert ein invertierter Index zuverlässig. Nutzer können nachvollziehen, warum ein Dokument gefunden wurde, weil die Suchwörter darin markiert sind. Boolesche Operatoren, Phrasensuche und Platzhalter erlauben Expertinnen gezielte Recherchen. Für die deutsche Sprache bringen ausgereifte Suchmaschinen zudem Stammformreduktion und Kompositazerlegung mit, sodass „Hydraulikpumpe“ auch „Pumpe“ findet. Der Ressourcenbedarf ist moderat und gut planbar.
Ihre Schwäche ist das Vokabularproblem: Wird ein Sachverhalt mit anderen Worten beschrieben, findet sie ihn nicht. Auch die Absicht hinter einer Frage erschließt sie nicht. Synonymlisten mildern das, müssen aber gepflegt werden und decken nie alle Formulierungen ab.

Wo semantische Suche ihre Stärken ausspielt

Semantische Suche glänzt bei natürlichsprachlichen Fragen, Umschreibungen, Fachjargon versus Alltagssprache, mehrsprachigen Beständen und bei explorativen Recherchen, in denen Nutzer noch nicht wissen, welche Begriffe sie suchen sollten. Sie findet ähnliche Tickets, vergleichbare Verträge oder verwandte Produkte, ohne dass jemand Regeln pflegt. Ihre Schwächen sind spiegelbildlich: geringere Präzision bei exakten Bezeichnern, eingeschränkte Erklärbarkeit, höherer Rechen- und Speicherbedarf und die Tendenz, immer irgendetwas Ähnliches zu liefern – auch wenn es eigentlich keinen passenden Treffer gibt. Ein Schwellenwert oder ein Reranker hilft, solche Scheintreffer zu erkennen.
Kriterium Volltext-/Keyword-Suche Semantische Suche
Prinzip Übereinstimmung von Wörtern Übereinstimmung von Bedeutung
Synonyme & Umschreibungen nur mit gepflegten Listen automatisch
Artikelnummern & Codes sehr zuverlässig oft unscharf
Erklärbarkeit hoch, Treffer markierbar eingeschränkt
Mehrsprachigkeit pro Sprache konfiguriert mit mehrsprachigen Modellen
Ressourcen moderat höher, abhängig von Modell und Index
Eignung für RAG als Ergänzung als Kernkomponente

Die Synthese: Hybrid als Normalfall

Aus dieser Gegenüberstellung folgt unsere klare Empfehlung: Für Unternehmensdaten ist die Hybrid-Suche der Normalfall, nicht die Ausnahme. Die lexikalische Komponente sichert Präzision bei harten Begriffen, die semantische Komponente sorgt für Verständnis bei freien Formulierungen, und ein Reranker bringt beides in eine sinnvolle Reihenfolge. Wer bereits eine gut gepflegte Volltextsuche betreibt, sollte sie nicht ersetzen, sondern um Vektorsuche erweitern. Wer neu startet, sollte ein Werkzeug wählen, das beide Indizes beherrscht oder sich mit vertretbarem Aufwand kombinieren lässt.
Auch die Benutzeroberfläche verdient Aufmerksamkeit. Nutzer, die jahrelang mit Schlüsselwörtern gesucht haben, formulieren anfangs oft weiterhin knapp. Beispielanfragen, eine gut sichtbare Quellenanzeige und Facetten zum Eingrenzen helfen beim Umstieg. Umgekehrt sollte eine semantische Suche nicht vorgeben, alles zu wissen: Findet sie keinen ausreichend relevanten Treffer, ist ein ehrliches „Dazu liegt nichts vor“ hilfreicher als eine Liste lose verwandter Dokumente. Ebenso sinnvoll ist es, Expertinnen weiterhin eine exakte Phrasensuche anzubieten, etwa über Anführungszeichen oder einen eigenen Suchmodus. So verbindet die Oberfläche die Stärken beider Welten, ohne erfahrene Nutzer auszubremsen oder neue zu überfordern.
Kapitel 07 · Einführung & Betrieb

Vom Prototyp zur produktiven Suche: ein erprobtes Vorgehen

Ein Prototyp für semantische Suche ist in wenigen Tagen gebaut. Eine Suche, der Mitarbeitende und Kunden dauerhaft vertrauen, braucht dagegen saubere Daten, messbare Qualität, durchgesetzte Berechtigungen und einen verlässlichen Betrieb.

01
Anwendungsfall und Testfragen festlegen
Einen klar umrissenen Bereich wählen, etwa Servicehandbücher oder Produktdaten, und gemeinsam mit dem Fachbereich reale Suchanfragen mit den jeweils richtigen Dokumenten sammeln. Dieses Testset ist die Messlatte für alle weiteren Entscheidungen.
02
Daten erschließen und aufbereiten
Quellsysteme anbinden, Inhalte extrahieren, Dubletten und veraltete Versionen bereinigen, Metadaten und Berechtigungen übernehmen und ein strukturbewusstes Chunking definieren.
03
Modell und Index auswählen
Mehrere Embedding-Modelle mit dem Testset vergleichen, Hybrid-Suche und Reranking ergänzen und die passende Datenbank nach Datenmenge, Filterbedarf, Betriebsmodell und Datenschutzanforderungen wählen.
04
Integrieren und pilotieren
Suche in Intranet, Portal, Shop oder Assistent einbinden, mit einer Pilotgruppe testen, Feedback und Nullergebnisse protokollieren und gezielt nachschärfen.
05
Betreiben, überwachen, verbessern
Inkrementelle Aktualisierung, Monitoring von Latenz und Qualität, regelmäßige Evaluierung mit dem Testset sowie ein geregelter Prozess für Modellwechsel und Neuindexierung.

Datenqualität, Aktualität und Berechtigungen

Die häufigste Ursache schlechter Suchergebnisse ist nicht das Modell, sondern die Datenlage: gescannte PDFs ohne Textebene, Tabellen, die beim Extrahieren zerfallen, fünf Versionen desselben Handbuchs oder Dokumente ohne erkennbare Struktur. Eine gründliche Bestandsaufnahme lohnt sich mehr als jede Feinjustierung des Index. Ebenso wichtig ist die Aktualität: Geänderte Dokumente müssen zeitnah neu vektorisiert, gelöschte zuverlässig entfernt werden. Eine inkrementelle Synchronisation, die Änderungen in den Quellsystemen erkennt, ist deshalb Pflicht.
Kritisch sind Berechtigungen. Eine semantische Suche, die vertrauliche Personal- oder Vertragsdokumente Mitarbeitenden ohne entsprechende Rechte anzeigt, ist ein ernstes Sicherheitsproblem – und in einer RAG-Anwendung fällt es womöglich gar nicht auf, weil das Sprachmodell den Inhalt in eine Antwort einarbeitet. Zugriffsrechte müssen daher als Metadaten mitgeführt und bei jeder Abfrage als Filter angewendet werden, idealerweise direkt im Index.

Monitoring, Evaluierung und Modellwechsel

Im laufenden Betrieb sollten neben technischen Kennzahlen wie Latenz, Speicherbedarf und Indexgröße auch Qualitätssignale beobachtet werden: Anfragen ohne Treffer, Anfragen ohne Klick, negatives Feedback und wiederholte Umformulierungen. Diese Signale zeigen, wo Inhalte fehlen oder die Suche versagt. Das Testset wird regelmäßig erneut ausgeführt, damit Verschlechterungen nach Änderungen sofort auffallen.
Ein Sonderfall ist der Modellwechsel. Weil Vektoren verschiedener Modelle nicht kompatibel sind, erfordert jeder Wechsel eine vollständige Neuvektorisierung. Bewährt hat sich, den neuen Index parallel aufzubauen, mit dem Testset zu vergleichen und dann umzuschalten. Wer Quelltexte und Chunks getrennt von den Vektoren speichert, kann diesen Vorgang jederzeit wiederholen.
Stärken
  • Testset aus realen Fragen von Beginn an
  • Hybrid-Suche und Reranking als Standard
  • Berechtigungen als Filter direkt in der Suche
  • Inkrementelle Aktualisierung der Inhalte
  • Fachbereich eng in die Bewertung einbinden
Einschränkungen
  • Unbereinigte Altbestände und Dubletten
  • Starres Chunking ohne Strukturbezug
  • Rein semantische Suche bei vielen Codes
  • Keine Messung, nur subjektiver Eindruck
  • Rechte erst nachträglich berücksichtigt
Kapitel 08 · Einsatz im Mittelstand

Wo semantische Suche im Mittelstand messbar hilft

Mittelständische Unternehmen verfügen über enormes Fachwissen, das verteilt in Laufwerken, Handbüchern, Tickets, E-Mails und den Köpfen erfahrener Mitarbeitender liegt. Semantische Suche macht dieses Wissen über natürliche Sprache zugänglich – gerade dort, wo Fachkräftemangel und Generationswechsel den Wissenstransfer erschweren.

Typische Anwendungsfälle

Intranet- & Dokumentensuche

Richtlinien, Prozessbeschreibungen, Formulare und Protokolle werden über Fragen in Alltagssprache gefunden – mit Berechtigungsfilter und Verweis auf die Originalquelle.

Weniger Suchzeit
Produkt- & Ersatzteilsuche

Kunden und Vertrieb beschreiben, was sie brauchen, statt Artikelnummern zu kennen. Hybrid-Suche findet trotzdem exakt, wenn eine Nummer eingegeben wird.

Höhere Trefferquote
Service-Wissensdatenbank

Neue Störmeldungen werden mit gelösten Tickets, Handbüchern und Servicebulletins abgeglichen. Technikerinnen erhalten passende Lösungswege, auch im Außendienst.

Schnellere Lösung
Angebots- & Vertragsrecherche

Vergleichbare Angebote, ähnliche Klauseln oder frühere Projekte werden über ihre Bedeutung gefunden – eine Grundlage für schnellere, konsistentere Kalkulation.

Wiederverwendung
Im Intranet ist der Nutzen oft am schnellsten sichtbar. Klassische Intranetsuchen gelten bei Mitarbeitenden vielfach als unbrauchbar, weil sie entweder nichts oder zu viel finden. Eine semantische Suche über Richtlinien, Prozesshandbücher und Wissensartikel – ergänzt um einen Assistenten, der direkt antwortet und die Quelle verlinkt – verändert die Wahrnehmung spürbar. Entscheidend ist, dass veraltete Dokumente aussortiert und Zuständigkeiten für die Pflege geklärt werden; sonst findet die beste Suche nur verlässlich den falschen Stand. Unser Beitrag zur KI-Wissensdatenbank vertieft diesen Ansatz.
In der Produktsuche von B2B-Shops und Kundenportalen zeigt sich die Stärke der Hybrid-Suche besonders deutlich. Einkäufer kennen oft die exakte Artikelnummer, Neukunden dagegen beschreiben ihr Problem: „Dichtung für Heißwasser bis 120 Grad, lebensmittelecht“. Die semantische Komponente erfasst die Anforderungen, strukturierte Filter auf technische Attribute sichern die harten Kriterien, und die lexikalische Komponente stellt sicher, dass Nummernsuchen weiterhin exakt funktionieren. Für Hersteller mit tiefen Katalogen und vielen Varianten ist das ein echter Wettbewerbsfaktor.
Die Service-Wissensdatenbank ist für viele Maschinen- und Anlagenbauer der wertvollste Anwendungsfall. Über Jahre gesammelte Servicetickets enthalten Lösungswissen, das in keinem Handbuch steht – formuliert in der Sprache der Techniker, mit Abkürzungen und Tippfehlern. Gerade hier ist die semantische Suche der Volltextsuche überlegen. In Kombination mit Handbüchern und Ersatzteildaten entsteht ein Assistent, der Erfahrungswissen auch dann verfügbar hält, wenn langjährige Mitarbeitende in den Ruhestand gehen.

Klein anfangen, sauber skalieren

Unsere Erfahrung zeigt: Erfolgreiche Projekte beginnen mit einem eng umrissenen Bestand und einer klar definierten Nutzergruppe, messen die Qualität mit realen Fragen und erweitern dann schrittweise um weitere Quellen. Die technische Basis sollte von Anfang an so gewählt werden, dass Berechtigungen, Hybrid-Suche und ein späterer Modellwechsel möglich sind, ohne alles neu zu bauen. Für viele Mittelständler ist eine Lösung auf Basis vorhandener Infrastruktur – etwa PostgreSQL mit pgvector oder eine bestehende Suchmaschine – ein guter Startpunkt; bei wachsenden Anforderungen lässt sich eine dedizierte Vektordatenbank ergänzen.
Akzeptanz ist kein Selbstläufer

Eine neue Suche wird nur genutzt, wenn sie von Anfang an überzeugt. Wir empfehlen, Pilotnutzer aus dem Fachbereich früh einzubinden, Quellen immer sichtbar anzuzeigen und klar zu kommunizieren, welche Bestände durchsucht werden. Vertrauen entsteht durch Nachvollziehbarkeit – nicht durch eine möglichst eloquente Antwort.

Kapitel 09 · Kosten & DSGVO

Kosten, Datenhoheit und die Frage nach dem Speicherort der Bedeutung

Semantische Suche verarbeitet in der Regel genau die Inhalte, die ein Unternehmen besonders schützen möchte: Kundendaten, Verträge, technisches Know-how. Deshalb gehören Betriebsmodell und Datenfluss von Beginn an auf den Prüfstand – und zwar für jede Komponente der Pipeline.

Keine Rechtsberatung

Die folgenden Ausführungen sind eine praxisorientierte Einordnung aus IT- und Projektsicht – keine Rechtsberatung. Für die rechtssichere Bewertung Ihres konkreten Einsatzes, für Auftragsverarbeitungsverträge, Datenschutz-Folgenabschätzungen und die Bewertung von Drittlandtransfers ziehen Sie bitte Ihre Datenschutzbeauftragten oder eine spezialisierte Kanzlei hinzu.

Datenflüsse: Embedding-Modell, Index und Sprachmodell

Eine semantische Suche hat mindestens zwei Stellen, an denen Inhalte das Unternehmen verlassen können. Erstens das Embedding-Modell: Wird ein API-Dienst genutzt, werden sämtliche Dokumente bei der Indexierung und jede Suchanfrage zur Laufzeit an den Anbieter übertragen. Zweitens der Index selbst, wenn er als Managed Service betrieben wird. In RAG-Szenarien kommt das Sprachmodell hinzu, das die gefundenen Passagen als Kontext erhält. Jede dieser Stellen ist einzeln zu bewerten.
Bei US-Cloud-Diensten – ob Embedding-API, gemanagte Vektordatenbank oder Hyperscaler-Suchdienst – findet je nach Konfiguration ein Datentransfer in die USA statt oder ist zumindest rechtlich möglich. Selbst bei Wahl einer EU-Region unterliegen US-Anbieter dem US CLOUD Act, der US-Behörden unter bestimmten Voraussetzungen Zugriff auf von ihnen kontrollierte Daten ermöglichen kann. Ob und wie das im Einzelfall vertretbar ist, hängt von Datenkategorien, Vertragsgestaltung, Angemessenheitsbeschlüssen und technischen Schutzmaßnahmen ab und gehört in die Prüfung durch Datenschutzbeauftragte.
Die datenschutzfreundlichere Option ist meist der Selbstbetrieb oder der Betrieb bei einem deutschen beziehungsweise europäischen Anbieter. Offene Embedding-Modelle lassen sich auf eigener Hardware betreiben, Open-Source-Vektordatenbanken und Suchmaschinen ebenso. Anbieter mit europäischen Wurzeln wie deepset, Qdrant oder Weaviate bieten zudem Optionen für Hosting in der EU oder im eigenen Rechenzentrum, was die Souveränitätsfrage deutlich vereinfacht. Wichtig bleibt: Auch Vektoren sind nicht automatisch anonym. Aus Embeddings lassen sich unter Umständen Rückschlüsse auf Ursprungstexte ziehen, und neben dem Vektor liegt meist ohnehin der Klartext. Löschkonzepte, Aufbewahrungsfristen und Zugriffskontrollen gelten deshalb auch für den Suchindex, einschließlich Backups und Replikaten.
Empfehlung: die gesamte Suchpipeline souverän planen

Für datenschutzsensible Bestände empfehlen wir selbst betriebene oder in der EU gehostete Embedding-Modelle, einen Index im eigenen Rechenzentrum oder bei einem europäischen Anbieter und ein Sprachmodell mit klarer Auftragsverarbeitung. Wer US-Dienste nutzt, wählt EU-Regionen, bewertet Datentransfer und CLOUD Act sorgfältig und dokumentiert die Entscheidung.

Embedding
Selbst betreiben oder EU-Anbieter
Index
Self-Hosting oder EU-Hosting bevorzugen
US-Dienste
EU-Region, Transfer und CLOUD Act bewerten
Zugriff
Berechtigungen als Filter im Index
Löschung
Index, Backups und Caches einbeziehen
Freigabe
Datenschutzbeauftragte früh einbinden

Kostentreiber realistisch einschätzen

Die Kosten einer semantischen Suche verteilen sich auf mehrere Posten. Bei API-Modellen fallen Embedding-Kosten nutzungsabhängig an – einmalig für die Erstindexierung, laufend für Änderungen und Suchanfragen sowie erneut bei jedem Modellwechsel. Bei selbst betriebenen Modellen entstehen stattdessen Hardwarekosten, je nach Volumen mit oder ohne GPU. Der Index verursacht vor allem Arbeitsspeicherbedarf, der mit Anzahl der Vektoren, Dimension und Indexverfahren wächst; Quantisierung und eine bewusste Modellwahl mit moderater Dimension sind daher auch wirtschaftliche Stellschrauben. Hinzu kommen Reranking, gegebenenfalls Sprachmodellaufrufe in RAG-Szenarien sowie die Arbeitszeit für Datenaufbereitung, Integration, Evaluierung und Betrieb.
Konkrete Preise nennen wir bewusst nicht: Tarife der Anbieter ändern sich regelmäßig und sind beim jeweiligen Anbieter zu prüfen, und der Gesamtaufwand hängt stark von Datenlage, Quellsystemen und Berechtigungsmodell ab. Als Faustregel gilt: Die Infrastruktur ist selten der größte Kostenblock. Den Ausschlag geben meist Datenaufbereitung, Integration und die kontinuierliche Qualitätssicherung – und genau dort entscheidet sich auch der Nutzen.
Kapitel 10 · Häufige Fragen

Häufig gestellte Fragen zur semantischen Suche

Diese Fragen hören wir in Beratungsgesprächen zur semantischen Suche am häufigsten – kurz und sachlich beantwortet.

Was ist der Unterschied zwischen semantischer Suche und Volltextsuche?
Die Volltextsuche findet Dokumente, in denen die eingegebenen Wörter vorkommen. Die semantische Suche findet Inhalte, die inhaltlich zur Anfrage passen, auch wenn andere Wörter verwendet werden. Die Volltextsuche ist präziser bei Nummern und Codes, die semantische Suche stärker bei Umschreibungen und natürlichen Fragen. In der Praxis kombinieren gute Systeme beide als Hybrid-Suche.
Braucht man für semantische Suche eine Vektordatenbank?
Nicht zwingend. Für kleine Bestände genügt eine Bibliothek wie FAISS oder eine Datenbankerweiterung wie pgvector, und viele Suchmaschinen bringen Vektorsuche bereits mit. Dedizierte Vektordatenbanken lohnen sich bei großen Datenmengen, hohem Abfragevolumen oder anspruchsvollen Filteranforderungen.
Funktioniert semantische Suche gut auf Deutsch?
Ja, sofern ein Embedding-Modell mit guter Deutschunterstützung gewählt wird. Viele aktuelle mehrsprachige Modelle liefern für Deutsch sehr brauchbare Ergebnisse und erlauben sogar sprachübergreifende Suche. Fachsprache, Abkürzungen und Komposita sollten mit einem eigenen Testset geprüft werden; die lexikalische Komponente einer Hybrid-Suche fängt Schwächen bei Fachbegriffen ab.
Was ist der Unterschied zwischen semantischer Suche und RAG?
Semantische Suche findet relevante Inhalte und zeigt sie an. RAG nutzt diese Suche als ersten Schritt und lässt anschließend ein Sprachmodell aus den gefundenen Passagen eine Antwort formulieren. Ohne gute semantische Suche gibt es kein gutes RAG.
Welches Embedding-Modell sollten wir verwenden?
Das hängt von Sprache, Fachdomäne, Datenschutzanforderungen und Budget ab. Wir empfehlen, zwei bis drei Kandidaten – idealerweise mindestens ein selbst betreibbares Modell – mit einem Testset aus realen Fragen zu vergleichen. Öffentliche Ranglisten geben Orientierung, ersetzen aber nicht die Messung mit den eigenen Daten.
Wie stellen wir sicher, dass niemand Dokumente ohne Berechtigung findet?
Zugriffsrechte werden bei der Indexierung als Metadaten zu jedem Abschnitt gespeichert und bei jeder Anfrage als Filter direkt in der Suche angewendet. Die Rechte müssen mit den Quellsystemen synchron gehalten werden. Nachträgliches Ausblenden in der Oberfläche reicht nicht, insbesondere nicht in RAG-Anwendungen.
Kann man semantische Suche DSGVO-konform betreiben?
Ja, gute Voraussetzungen bieten selbst betriebene oder in der EU gehostete Embedding-Modelle und Indizes sowie europäische Anbieter. Bei US-Diensten sind Datentransfer und CLOUD Act zu bewerten, auch bei Wahl einer EU-Region. Ob Ihr konkreter Einsatz DSGVO-konform ist, hängt von der gesamten Verarbeitung ab und gehört in die Hände Ihrer Datenschutzbeauftragten – dies ist keine Rechtsberatung.
Wie starten wir am besten?
Mit einem klar umrissenen Anwendungsfall, etwa Servicehandbüchern oder einem Produktkatalog, und einem Testset aus realen Fragen. Bauen Sie einen Prototyp mit Hybrid-Suche und Reranking, messen Sie die Qualität und klären Sie Betriebsmodell, Berechtigungen und Datenschutz, bevor produktive Daten einfließen. Danach schrittweise erweitern.

Souveräne KI-Suche aufbauen

Bereit für eine Suche, die versteht, was gemeint ist?

Von der herstellerneutralen Auswahl von Embedding-Modell, Index und Suchmaschine über Hybrid-Suche und Reranking bis zum souverän betriebenen, DSGVO-konformen Wissensassistenten – INAGRO begleitet Sie auf jedem Schritt. Mit Retrieval-Expertise, Datenschutz-Fokus und tiefem Verständnis für den Mittelstand. Pragmatisch, herstellerneutral und mit messbarem Ergebnis.

Seit 2006 am Markt

Erfahrung aus über 100 Digitalprojekten

DSGVO & Souveränität

Datenschutz von Anfang an mitgedacht

Rückmeldung in 24 h

Schnell, direkt, unverbindlich