Wissensdatenbank · RAG-Methodik · Datenaufbereitung

Chunking-Strategien – Dokumente richtig zerlegen für präzise RAG-Antworten.

Bevor ein KI-Assistent eine Frage beantworten kann, muss er die passende Textstelle finden. Wie gut das gelingt, entscheidet sich zu einem großen Teil schon bei der Aufbereitung: an der Frage, wie Handbücher, Verträge, Tabellen und PDFs in Abschnitte zerlegt werden. Dieser Fachartikel ordnet die gängigen Chunking-Strategien, ihre Parameter, Werkzeuge, Evaluierung und die Datenschutzfrage herstellerneutral ein.

Dieser Artikel wurde mithilfe künstlicher Intelligenz erstellt und redaktionell geprüft.

24 Min. Lesezeit
Aktualisiert · Oktober 2026
Fachartikel · Expertenbeitrag
Chunking-Strategien
Methodik · Datenaufbereitung für RAG
Typ
Methodik / Pipeline-Schritt
Position
Zwischen Parsing und Embedding
Kernparameter
Größe, Overlap, Grenzen
Werkzeuge
LangChain, LlamaIndex, Haystack
Messung
Testfragen & RAGAS
Hebel
Treffergüte & Quellentreue
INAGRO Relevanz für RAG-Qualität im Mittelstand
★★★★★
Kapitel 01 · Grundlagen

Was sind Chunking-Strategien – und warum entscheiden sie über die Antwortqualität?

Chunking bezeichnet die Zerlegung von Dokumenten in kleinere, in sich verständliche Textabschnitte, sogenannte Chunks. Jeder Chunk wird einzeln in einen Vektor übersetzt, in einer Vektordatenbank abgelegt und bei einer Frage gezielt abgerufen. Die Chunking-Strategie legt fest, wo diese Schnitte gesetzt werden – und damit, welche Informationen später gemeinsam gefunden werden und welche nicht.

Eine Retrieval-Augmented-Generation-Architektur, kurz RAG, verbindet ein Sprachmodell mit einem Wissensspeicher. Das Sprachmodell soll nicht aus seinem Trainingswissen antworten, sondern aus den Dokumenten des Unternehmens. Dazu sucht das System zu jeder Frage die relevantesten Textstellen heraus und gibt sie dem Modell als Kontext mit. Ganze Dokumente lassen sich dafür nur selten verwenden: Ein Wartungshandbuch mit mehreren hundert Seiten passt nicht sinnvoll in ein Anfragefenster, und selbst wenn, würde die eine relevante Passage im Rauschen untergehen. Deshalb wird jedes Dokument vorab in Abschnitte zerlegt, die einzeln auffindbar sind.
Das klingt nach einer technischen Nebensache, ist aber einer der wirkungsvollsten Stellhebel im gesamten System. Ein zu großer Chunk vermischt mehrere Themen. Sein Vektor beschreibt dann einen inhaltlichen Durchschnitt, der zu keiner konkreten Frage besonders gut passt, und das Sprachmodell erhält viel überflüssigen Text. Ein zu kleiner Chunk verliert dagegen seinen Zusammenhang: Ein Satz wie „Der Wert darf 4 bar nicht überschreiten“ ist wertlos, wenn nicht mehr erkennbar ist, auf welche Anlage und welches Bauteil er sich bezieht. Zwischen diesen Polen liegt das Optimum – und es sieht für jeden Dokumenttyp etwas anders aus.

Wo Chunking in der RAG-Pipeline sitzt

Eine typische Indexierungspipeline besteht aus mehreren Schritten. Zuerst werden Dokumente aus Quellsystemen geladen: Dateiablagen, SharePoint, Wikis, Ticketsysteme, DMS oder E-Mail-Archive. Dann folgt das Parsing, also die Umwandlung von PDF, Word, HTML oder gescannten Seiten in maschinenlesbaren Text samt Struktur. Erst danach setzt das Chunking an, das den Text in Abschnitte teilt und mit Metadaten versieht. Anschließend berechnet ein Embedding-Modell für jeden Chunk einen Vektor, und die Vektordatenbank speichert Vektor, Text und Metadaten.
Parsing und Chunking hängen eng zusammen. Was beim Parsing verloren geht – Überschriftenhierarchien, Tabellenzellen, Seitenzahlen, Fußnoten – kann das Chunking nicht mehr zurückholen. Umgekehrt nützt die sauberste Strukturerkennung wenig, wenn das Chunking anschließend stur nach Zeichenzahl schneidet. In der Praxis betrachten wir beide Schritte deshalb gemeinsam als Datenaufbereitung, und genau dort liegt nach unserer Erfahrung ein großer Teil der Qualitätsunterschiede zwischen einem enttäuschenden Prototyp und einem belastbaren Wissensassistenten.

Die drei Ziele eines guten Chunks

Ein guter Chunk erfüllt drei Anforderungen gleichzeitig. Er ist inhaltlich geschlossen, behandelt also möglichst genau ein Thema, eine Anweisung oder eine Regelung. Er ist selbsterklärend, enthält also genug Kontext, damit Mensch und Modell ihn ohne den Rest des Dokuments verstehen. Und er ist rückverfolgbar: Über Metadaten lässt sich jederzeit nachvollziehen, aus welchem Dokument, welchem Kapitel und welcher Version er stammt. Jede Chunking-Strategie ist im Grunde ein anderer Kompromiss zwischen diesen drei Zielen und dem Aufwand, den man dafür treiben will.
Ein Beispiel macht den Unterschied greifbar. Angenommen, ein Servicetechniker fragt den Assistenten: „Wie oft muss das Hydrauliköl an der Presse P200 gewechselt werden?“ Im Wartungshandbuch steht die Antwort in einer Tabelle unter der Überschrift „Wartungsintervalle P200“. Schneidet ein starres Verfahren die Tabelle in der Mitte durch, landet die Zeile mit dem Hydrauliköl in einem Chunk ohne Überschrift und ohne Spaltenköpfe. Die Suche findet den Abschnitt womöglich gar nicht, und wenn doch, kann das Sprachmodell die Zahl keinem Bauteil zuordnen. Bleibt die Tabelle dagegen mit Überschrift und Kapitelpfad zusammen, ist die Antwort eindeutig und mit Seitenangabe belegbar. Derselbe Text, dieselbe Vektordatenbank, dasselbe Sprachmodell – nur die Zerlegung ist eine andere.
INAGRO-Einschätzung

Viele RAG-Projekte im Mittelstand diskutieren lange über Sprachmodelle und Vektordatenbanken, verwenden beim Chunking aber die Standardeinstellung eines Frameworks. Aus unserer Sicht ist das eine verschenkte Chance. Chunking ist billig zu ändern und oft wirkungsvoller als ein Modellwechsel. Wer früh eine kleine Testfragensammlung aufbaut und zwei, drei Strategien gegeneinander misst, trifft hier eine der wertvollsten Entscheidungen des Projekts.

Kapitel 02 · Strategien im Überblick

Von festen Fenstern bis Late Chunking: die wichtigsten Verfahren

Die Bandbreite reicht von simplen Regeln, die nach einer festen Zeichenzahl schneiden, bis zu Verfahren, bei denen ein Sprachmodell selbst entscheidet, wo ein Gedanke endet. Keine Strategie ist grundsätzlich überlegen; sie unterscheiden sich in Aufwand, Robustheit und Eignung für bestimmte Dokumenttypen.

Feste & rekursive Verfahren
Basis

Schneiden nach Zeichen- oder Tokenzahl, rekursiv entlang von Absätzen, Zeilen und Sätzen. Schnell, deterministisch und in jedem Framework verfügbar.

Aufwandgering
EignungFließtext, Start
Kostenvernachlässigbar
Struktur- & satzbasierte Verfahren
Praxis

Orientieren sich an Überschriften, Absätzen, Listen, Paragraphen oder Satzgrenzen. Bilden die Logik des Dokuments ab, sofern das Parsing die Struktur erhält.

Aufwandmittel
EignungHandbücher, Verträge
Voraussetzunggutes Parsing
Semantische Verfahren
Embedding-gestützt

Messen die inhaltliche Ähnlichkeit aufeinanderfolgender Sätze und setzen Schnitte dort, wo das Thema wechselt. Hilfreich bei wenig gegliederten Texten.

Aufwandmittel bis hoch
EignungProtokolle, Berichte
Kostenzusätzliche Embeddings
Agentische & hierarchische Verfahren
Fortgeschritten

LLM-basiertes Zerlegen, Late Chunking und Parent-Child-Modelle. Mehr Kontext und Präzision, aber mehr Rechenaufwand und Komplexität im Betrieb.

Aufwandhoch
Eignunganspruchsvolle Korpora
Kostenprojektspezifisch prüfen

Feste, rekursive sowie satz- und absatzbasierte Verfahren

Das einfachste Verfahren ist das Fixed-Size-Chunking: Der Text wird alle n Zeichen oder Token geschnitten, meist mit einer kleinen Überlappung zwischen benachbarten Chunks. Das ist schnell, vorhersehbar und für erste Experimente ausreichend. Der Nachteil liegt auf der Hand: Schnitte fallen mitten in Sätze, Tabellen oder Aufzählungen, weil das Verfahren den Inhalt nicht kennt.
Das rekursive Chunking ist der verbreitete Standard in vielen Frameworks. Es versucht zunächst, an starken Trennzeichen wie Leerzeilen zwischen Absätzen zu schneiden. Ist ein Abschnitt dann noch zu groß, weicht es auf schwächere Trenner aus: Zeilenumbrüche, Satzenden, schließlich Leerzeichen. So bleiben Absätze möglichst intakt, und die Zielgröße wird trotzdem eingehalten. Für viele Fließtexte ist das ein solider Ausgangspunkt.
Satz- und absatzbasierte Verfahren gehen einen Schritt weiter und nutzen linguistische Werkzeuge, um Satzgrenzen zuverlässig zu erkennen – im Deutschen keine Trivialität, denn Abkürzungen wie „z. B.“, „ggf.“ oder Ordnungszahlen wie „3. Auflage“ verwirren einfache Regeln. Mehrere Sätze werden dann zu einem Chunk zusammengefasst, bis die Zielgröße erreicht ist. Das Ergebnis liest sich natürlicher und vermeidet abgeschnittene Aussagen.

Semantische, strukturbasierte und agentische Verfahren

Beim semantischen Chunking wird zunächst jeder Satz oder jede kleine Satzgruppe vektorisiert. Das Verfahren vergleicht benachbarte Vektoren und setzt einen Schnitt, wo die Ähnlichkeit deutlich abfällt – dort also, wo vermutlich ein neues Thema beginnt. Das ist besonders bei Texten ohne klare Gliederung nützlich, etwa bei Besprechungsprotokollen, Transkripten oder langen E-Mail-Verläufen. Es kostet allerdings zusätzliche Embedding-Berechnungen, und der Schwellenwert für einen Themenwechsel muss abgestimmt werden.
Strukturbasiertes Chunking nutzt die Gliederung, die Autorinnen und Autoren dem Dokument bereits gegeben haben: Kapitel und Unterkapitel, nummerierte Paragraphen, Markdown- oder HTML-Überschriften, Tabellen, Listen, Code-Blöcke. Gerade bei Handbüchern, Normen, Richtlinien und Verträgen ist das oft die wirksamste Strategie, weil die Struktur des Dokuments genau die Einheiten markiert, nach denen später gefragt wird. Voraussetzung ist ein Parser, der diese Struktur zuverlässig erkennt.
Beim agentischen oder LLM-basierten Chunking entscheidet ein Sprachmodell, wie ein Text sinnvoll zu gliedern ist. Es kann Abschnitte nach Bedeutung zusammenfassen, Aussagen in eigenständige Einzelfakten zerlegen oder für jeden Abschnitt Titel und Zusammenfassung erzeugen. Die Ergebnisse können sehr gut sein, sind aber teurer, langsamer und weniger deterministisch. Mehr dazu in Kapitel 04.

Late Chunking und Parent-Child-Chunking

Late Chunking dreht die übliche Reihenfolge um. Statt jeden Chunk isoliert zu vektorisieren, wird zunächst ein längerer Textabschnitt oder das ganze Dokument durch ein Embedding-Modell mit langem Kontextfenster geschickt. Erst danach werden die Token-Repräsentationen entlang der Chunk-Grenzen zusammengefasst. Jeder Chunk-Vektor „weiß“ damit etwas über seine Umgebung, etwa auf welches Produkt sich ein Pronomen bezieht. Das Verfahren setzt geeignete Modelle und Zugriff auf Token-Ebene voraus und ist daher nicht in jeder Umgebung ohne Weiteres nutzbar.
Parent-Child-Chunking, auch als hierarchisches Retrieval oder Small-to-Big bekannt, trennt Suche und Kontext. Kleine Child-Chunks werden vektorisiert und gesucht, weil sie präzise Treffer liefern. An das Sprachmodell geht dann aber der übergeordnete Parent-Abschnitt, etwa das ganze Unterkapitel, damit genügend Zusammenhang vorhanden ist. Eine verwandte Variante ist das Sentence-Window-Verfahren, bei dem um einen gefundenen Satz einige Nachbarsätze ergänzt werden. Für technische Dokumentation ist dieser Ansatz in unserer Praxis häufig ein guter Kompromiss.
Strategie Prinzip Typischer Einsatz
Fest (Fixed Size) Schnitt nach Zeichen- oder Tokenzahl Prototypen, homogene Texte
Rekursiv Hierarchie von Trennzeichen Solider Standard für Fließtext
Satz-/absatzbasiert Linguistische Grenzen Berichte, Artikel, Korrespondenz
Semantisch Themenwechsel per Embedding-Ähnlichkeit Protokolle, Transkripte
Strukturbasiert Überschriften, Paragraphen, Tabellen Handbücher, Verträge, Normen
Agentisch/LLM Modell gliedert und reichert an Heterogene, anspruchsvolle Korpora
Late Chunking Erst Kontext-Embedding, dann Schnitt Texte mit vielen Querbezügen
Parent-Child Klein suchen, groß liefern Technische Dokumentation
Kapitel 03 · Parameter & Designentscheidungen

Größe, Overlap und Metadaten: die Stellschrauben im Detail

Unabhängig von der gewählten Strategie bestimmen einige wenige Parameter, wie sich das System verhält. Sie wirken zusammen und lassen sich nicht isoliert optimieren. Die folgenden Richtwerte sind Ausgangspunkte für Experimente – keine Garantien. Was im eigenen Szenario funktioniert, muss projektspezifisch geprüft werden.

Chunk-Größe: Präzision gegen Kontext

Die Chunk-Größe wird meist in Token angegeben, also in den Wortbausteinen, mit denen Sprachmodelle rechnen. Deutsche Texte erzeugen wegen langer Komposita tendenziell mehr Token pro Wort als englische, was bei der Übertragung englischsprachiger Empfehlungen zu beachten ist. Als Daumenregel bewähren sich für den Einstieg Größen im Bereich einiger hundert Token – genug für einen vollständigen Absatz oder eine Anleitung, klein genug für einen fokussierten Vektor.
Welche Größe passt, hängt von drei Faktoren ab. Erstens von den Fragetypen: Faktenfragen wie „Welches Drehmoment gilt für Schraube M8?“ profitieren von kleinen, präzisen Chunks, Verständnisfragen wie „Wie läuft der Freigabeprozess für Sonderbestellungen ab?“ brauchen größere Zusammenhänge. Zweitens vom Embedding-Modell: Jedes Modell hat eine maximale Eingabelänge, und auch innerhalb dieser Grenze verwässert die Repräsentation bei sehr langen Texten. Drittens vom Kontextbudget des Sprachmodells, denn je größer die Chunks, desto weniger passen in eine Anfrage.
Hinzu kommt ein oft unterschätzter Punkt: Die Chunk-Größe muss nicht für den gesamten Bestand einheitlich sein. Ein FAQ-Dokument besteht aus kurzen, abgeschlossenen Frage-Antwort-Paaren, die man am besten einzeln belässt, auch wenn sie deutlich kleiner als die Zielgröße sind. Ein juristisches Gutachten dagegen entfaltet seine Argumentation über mehrere Absätze. Statt einer starren Zahl empfiehlt sich daher eine Zielgröße mit Bandbreite: eine Untergrenze, unter der benachbarte Kleinstabschnitte zusammengeführt werden, und eine Obergrenze, ab der ein Abschnitt an der nächsten sinnvollen Stelle geteilt wird. Sehr kurze Fragmente wie einzelne Überschriften oder Seitenzahlen sollten nie als eigene Chunks im Index landen, weil sie bei der Suche zufällig hohe Ähnlichkeitswerte erzielen können, ohne inhaltlich etwas beizutragen.

Overlap: Sicherheitsnetz mit Nebenwirkungen

Overlap bedeutet, dass aufeinanderfolgende Chunks sich um einige Sätze oder Token überlappen. So geht eine Information, die genau auf der Schnittkante liegt, nicht verloren. Bei festen und rekursiven Verfahren ist ein moderater Overlap – als Richtwert ein kleiner Bruchteil der Chunk-Größe – meist sinnvoll. Bei strukturbasierten Verfahren, die ohnehin an natürlichen Grenzen schneiden, ist er oft verzichtbar.
Overlap hat Nebenwirkungen. Er vergrößert den Index, erhöht die Embedding-Kosten und führt dazu, dass bei einer Suche mehrere fast identische Chunks zurückkommen, die wertvollen Platz im Kontext belegen. Wer viel Overlap einsetzt, sollte bei der Ergebnisaufbereitung Duplikate zusammenführen. Ein hoher Overlap ist zudem oft ein Symptom: Er kaschiert schlecht gewählte Schnittgrenzen, die man besser direkt verbessert.

Metadaten und kontextuelle Anreicherung

Ein Chunk ist mehr als sein Text. Metadaten wie Dokumenttitel, Kapitelpfad, Seitenzahl, Version, Gültigkeitsdatum, Sprache, Abteilung und Berechtigungsgruppe erfüllen gleich mehrere Aufgaben. Sie ermöglichen Filter in der Vektordatenbank („nur gültige Fassungen“, „nur Dokumente meiner Abteilung“), sie liefern die Quellenangabe für die Antwort, und sie erlauben das gezielte Löschen und Aktualisieren, wenn sich ein Dokument ändert.
Eine wirksame Technik ist die kontextuelle Anreicherung: Vor den eigentlichen Chunk-Text wird ein kurzer Kopf gesetzt, etwa „Betriebsanleitung Verpackungsanlage V3 › Kapitel 5 Wartung › 5.2 Filterwechsel“. Dieser Pfad fließt mit in das Embedding ein und macht den Chunk für Suchanfragen verständlicher, die den Anlagennamen erwähnen, obwohl er im Absatz selbst nicht vorkommt. Manche Teams lassen zusätzlich von einem Sprachmodell einen Satz erzeugen, der den Chunk im Gesamtdokument verortet. Ob sich dieser Mehraufwand lohnt, zeigt die Evaluierung.
Stabile IDs nicht vergessen

Jeder Chunk sollte eine stabile, nachvollziehbare Kennung erhalten, die sich aus Dokument-ID, Version und Position ableitet. Nur so lassen sich bei Änderungen gezielt die betroffenen Chunks ersetzen, statt den gesamten Index neu aufzubauen – und nur so bleiben Quellenangaben und Löschpflichten sauber umsetzbar.

Kapitel 04 · KI- und Automatisierungsaspekte

Wenn das Sprachmodell mitschneidet: KI-gestütztes Chunking

Mit leistungsfähigen Sprach- und Dokumentmodellen verschiebt sich Chunking von einer reinen Textverarbeitungsregel zu einem Schritt, in dem KI aktiv Struktur erkennt, Inhalte anreichert und Qualität prüft. Das eröffnet Möglichkeiten, verlangt aber auch klare Entscheidungen über Kosten, Reproduzierbarkeit und Datenschutz.

LLM-basiertes und propositionsbasiertes Chunking

Beim LLM-basierten Chunking erhält ein Sprachmodell einen Textabschnitt mit der Anweisung, ihn in thematisch geschlossene Einheiten zu gliedern. Eine Weiterentwicklung ist das propositionsbasierte Chunking: Das Modell zerlegt Text in einzelne, eigenständige Aussagen und löst dabei Bezüge auf. Aus „Sie wurde 2019 eingeführt“ wird „Die Baureihe B wurde 2019 eingeführt“. Solche Propositionen sind für Faktenfragen sehr präzise auffindbar.
Diese Präzision hat ihren Preis. Jedes Dokument muss durch ein Sprachmodell laufen, was bei großen Beständen erhebliche Rechenzeit und Kosten verursacht. Die Ergebnisse sind nicht vollständig deterministisch, sodass eine erneute Indexierung leicht abweichende Chunks erzeugen kann. Und das Modell kann Inhalte umformulieren oder im schlimmsten Fall verfälschen. Für Verträge oder sicherheitsrelevante Anweisungen empfehlen wir daher, den Originaltext stets mitzuspeichern und dem Sprachmodell bei der Antwort den Originalwortlaut zu geben, nicht die umformulierte Fassung.

Layout-Erkennung, Tabellen und Bilder

Ein zweites Einsatzfeld ist das Parsing komplexer Dokumente. Moderne Layout-Modelle erkennen Überschriften, Spalten, Tabellen, Kopf- und Fußzeilen sowie Abbildungen in PDFs und Scans. Vision-Language-Modelle können Tabellen in strukturierte Formate übersetzen oder Diagramme und technische Zeichnungen in Textbeschreibungen umwandeln, die anschließend als eigene Chunks indexiert werden. Damit werden Inhalte durchsuchbar, die ein reiner Textextraktor übersehen würde.
Tabellen verdienen besondere Aufmerksamkeit. Ein Schnitt mitten durch eine Tabelle trennt Werte von ihren Spaltenüberschriften und macht sie unbrauchbar. Bewährt hat sich, Tabellen als eigene Chunks zu behandeln, bei großen Tabellen zeilenweise oder in Zeilengruppen zu teilen und jede Gruppe mit den Spaltenköpfen zu wiederholen. Zusätzlich kann eine KI-erzeugte Kurzbeschreibung der Tabelle mitindexiert werden, damit auch Fragen in natürlicher Sprache den richtigen Treffer landen.

Automatisierte Pipelines und Qualitätskontrolle

In produktiven Systemen läuft Chunking nicht einmalig, sondern kontinuierlich. Neue und geänderte Dokumente werden erkannt, neu zerlegt und im Index ersetzt. Sinnvoll ist eine Dokumenttyp-Weiche, die je nach Quelle eine andere Strategie wählt: strukturbasiert für Handbücher, paragraphenbasiert für Verträge, zeilenbasiert für Tabellen, semantisch für Protokolle. KI kann diese Klassifikation übernehmen. Ergänzend lassen sich automatische Prüfungen einbauen, die zu kurze, zu lange, leere oder doppelte Chunks markieren und Auffälligkeiten an das Team melden.
Kapitel 05 · Werkzeuge & Ökosystem

LangChain, LlamaIndex, Haystack und Unstructured: wer was kann

Für Chunking muss niemand bei null anfangen. Die großen Open-Source-Frameworks bringen fertige Splitter mit, und spezialisierte Bibliotheken übernehmen das Parsing schwieriger Formate. Die Auswahl hängt vor allem davon ab, welches Framework ohnehin im Projekt eingesetzt wird. Funktionsumfang und Bezeichnungen ändern sich schnell; maßgeblich ist stets die aktuelle Dokumentation.

LangChain und LlamaIndex

LangChain bietet eine breite Palette an Text-Splittern, darunter zeichen- und tokenbasierte Varianten, den verbreiteten rekursiven Splitter sowie spezialisierte Splitter für Markdown, HTML, Programmiercode und JSON. Ein experimenteller semantischer Splitter ist ebenfalls verfügbar. Für Parent-Child-Szenarien gibt es einen Retriever, der kleine Chunks sucht und übergeordnete Dokumente zurückgibt. LangChain ist dadurch flexibel, erfordert aber etwas Erfahrung, um die passenden Bausteine zu kombinieren.
LlamaIndex spricht von Node Parsern und legt einen starken Schwerpunkt auf die Datenaufbereitung. Neben satz- und tokenbasierten Parsern gibt es einen semantischen Splitter, hierarchische Parser für Parent-Child-Strukturen, einen Sentence-Window-Parser und dokumenttypspezifische Varianten für Markdown oder HTML. Über sogenannte Ingestion-Pipelines lassen sich Parsing, Chunking, Metadatenanreicherung und Embedding als wiederholbare Kette definieren. Zum Ökosystem gehört zudem ein kommerzieller Parsing-Dienst, bei dem der Datenstandort vor einer Nutzung zu prüfen ist.

Haystack und Unstructured

Haystack, entwickelt vom Berliner Unternehmen deepset, organisiert die Verarbeitung in Pipelines aus Komponenten. Für Chunking gibt es einen Document Splitter, der nach Wörtern, Sätzen, Absätzen oder Seiten teilen kann, sowie Komponenten zur Vorbereinigung von Dokumenten. Die explizite Pipeline-Architektur macht Haystack besonders nachvollziehbar und gut testbar, was in regulierten Umgebungen geschätzt wird.
Unstructured setzt einen Schritt früher an. Die quelloffene Bibliothek zerlegt Dokumente aus zahlreichen Formaten in typisierte Elemente wie Titel, Fließtext, Listenpunkt, Tabelle oder Bild. Darauf aufbauend bietet sie Chunking-Funktionen, die Überschriften berücksichtigen und Abschnitte nach Titeln gruppieren. Unstructured lässt sich lokal betreiben; daneben existiert ein kommerzielles API-Angebot, bei dem Datenstandort und Auftragsverarbeitung zu klären sind. In vielen Projekten übernimmt Unstructured das Parsing und ein Framework das eigentliche Retrieval.
Werkzeug Schwerpunkt Chunking-Bausteine
LangChain Breites Orchestrierungs-Framework Rekursiv, Token, Markdown/HTML, Code, semantisch, Parent-Retriever
LlamaIndex Datenzentriertes RAG-Framework Satz, semantisch, hierarchisch, Sentence Window, Ingestion-Pipelines
Haystack Komponentenbasierte Pipelines Wort, Satz, Absatz, Seite, Bereinigung
Unstructured Parsing und Elementerkennung Titelbasiertes Gruppieren, typisierte Elemente, Tabellen
Darüber hinaus bringen einige Vektordatenbanken und Suchplattformen eigene Ingestion-Funktionen mit, die Chunking automatisch erledigen. Das ist bequem, macht die Strategie aber weniger transparent. Wir empfehlen, Chunking als eigenen, versionierten Pipeline-Schritt zu behandeln, damit die Vektordatenbank austauschbar bleibt.
Kapitel 06 · Abgrenzung & Zusammenspiel

Chunking im Verbund mit Embeddings, Reranking und Hybrid Search

Chunking ist ein Baustein unter mehreren, die zusammen über die Retrieval-Qualität entscheiden. Wer die Wechselwirkungen kennt, vermeidet, an der falschen Stelle zu optimieren – und versteht, warum eine Änderung am Chunking manchmal auch Anpassungen an anderer Stelle nach sich zieht.

Chunking und Embedding-Modell

Das Embedding-Modell übersetzt jeden Chunk in einen Vektor. Damit dieser Vektor aussagekräftig ist, muss die Chunk-Größe zum Modell passen. Modelle haben eine maximale Eingabelänge; was darüber hinausgeht, wird abgeschnitten, oft ohne Warnung. Viele Modelle sind zudem auf bestimmte Textlängen trainiert und liefern für sehr kurze oder sehr lange Eingaben weniger trennscharfe Vektoren. Ein Modellwechsel ist deshalb ein guter Anlass, auch das Chunking neu zu bewerten. Für deutschsprachige Inhalte sollte das Modell zudem mehrsprachig oder speziell für Deutsch geeignet sein.

Chunking und Reranking

Ein Reranker bewertet die Kandidaten der Vektorsuche erneut, indem er Frage und Chunk gemeinsam betrachtet. Das korrigiert viele Ungenauigkeiten der reinen Vektorähnlichkeit. Reranking kann ein mittelmäßiges Chunking teilweise ausgleichen, aber nicht vollständig: Was nie in der Kandidatenliste auftaucht, kann auch der beste Reranker nicht nach oben holen. Umgekehrt profitieren Reranker von gut abgegrenzten Chunks, weil sie dann eindeutiger urteilen können. In der Praxis lässt man die Vektorsuche eine größere Kandidatenmenge liefern und reduziert sie per Reranking auf die wenigen Chunks, die tatsächlich ins Kontextfenster gehen.

Chunking und Hybrid Search

Hybrid Search kombiniert semantische Vektorsuche mit klassischer Schlüsselwortsuche, etwa nach BM25. Gerade im Mittelstand ist das wichtig, weil Fragen oft Artikelnummern, Normbezeichnungen, Fehlercodes oder Eigennamen enthalten, die ein Embedding-Modell nur unscharf abbildet. Für die Schlüsselwortkomponente gelten etwas andere Regeln: Sehr lange Chunks verwässern die Gewichtung einzelner Begriffe, sehr kurze enthalten den gesuchten Begriff womöglich ohne den nötigen Kontext. Kontextuelle Kopfzeilen mit Dokument- und Kapitelnamen helfen beiden Suchverfahren gleichermaßen.
Die Abgrenzung lässt sich so zusammenfassen: Chunking bestimmt, welche Einheiten überhaupt auffindbar sind. Embeddings bestimmen, wie gut deren Bedeutung erfasst wird. Hybrid Search sorgt dafür, dass auch exakte Begriffe greifen, und Reranking ordnet die Kandidaten präzise. Fehler in der ersten Stufe ziehen sich durch alle weiteren – deshalb lohnt es, hier sorgfältig zu sein.
Eine verwandte Abgrenzung betrifft Ansätze wie GraphRAG, bei denen aus den Dokumenten zusätzlich ein Wissensgraph mit Entitäten und Beziehungen aufgebaut wird. Auch dort beginnt die Verarbeitung meist mit Chunks, aus denen ein Sprachmodell Entitäten extrahiert. Die Chunking-Qualität wirkt also auch auf den Graphen durch. Ähnliches gilt für sehr große Kontextfenster moderner Sprachmodelle: Sie verringern den Druck, Chunks extrem klein zu halten, machen gezieltes Retrieval aber nicht überflüssig, weil lange Kontexte Kosten und Antwortzeit erhöhen und relevante Details in der Masse an Text leichter übersehen werden.
Stärken
  • Fokussierte Vektoren mit klarer Bedeutung
  • Präzise Quellenangaben bis auf Abschnittsebene
  • Weniger irrelevanter Text im Kontextfenster
  • Bessere Ausgangslage für Reranking und Hybrid Search
  • Gezielte Aktualisierung und Löschung einzelner Abschnitte
Einschränkungen
  • Kein Ersatz für sauberes Parsing der Quelldokumente
  • Gleicht ein ungeeignetes Embedding-Modell nicht aus
  • Löst keine widersprüchlichen oder veralteten Inhalte
  • Ersetzt kein Berechtigungskonzept
  • Macht Evaluierung nicht überflüssig
Kapitel 07 · Einführung & Evaluierung

Messen statt raten: Chunking systematisch einführen und bewerten

Ob eine Chunking-Strategie gut ist, zeigt sich nicht am Code, sondern an den Antworten. Deshalb gehört zu jeder Einführung eine Evaluierung mit realistischen Fragen. Frameworks wie RAGAS helfen, die Ergebnisse vergleichbar zu machen – ersetzen aber nicht den fachlichen Blick auf die Antworten.

01
Dokumente und Fragen sammeln
Einen repräsentativen Ausschnitt des Dokumentbestands auswählen und gemeinsam mit Fachanwendern typische Fragen samt erwarteter Antwort und Fundstelle notieren.
02
Parsing prüfen
Stichprobenartig kontrollieren, ob Überschriften, Tabellen, Listen und Sonderzeichen sauber extrahiert werden. Parsing-Fehler zuerst beheben, bevor Chunking optimiert wird.
03
Baseline aufsetzen
Mit einer einfachen rekursiven Strategie starten und Retrieval- sowie Antwortqualität messen. Diese Baseline dient als Referenz für alle weiteren Varianten.
04
Varianten vergleichen
Zwei bis drei Alternativen testen, etwa strukturbasiert, Parent-Child oder semantisch, jeweils mit unterschiedlichen Größen. Immer nur wenige Parameter gleichzeitig ändern.
05
Entscheiden und überwachen
Die beste Variante versionieren, im Betrieb Nutzerfeedback und Stichproben auswerten und die Testfragensammlung laufend um neue, reale Fragen erweitern.

Testfragen als Fundament

Die wichtigste Investition ist eine Testfragensammlung, im Fachjargon oft Golden Set genannt. Sie sollte die tatsächlichen Fragen der späteren Nutzer abbilden: einfache Faktenfragen, Fragen, die Informationen aus mehreren Abschnitten kombinieren, Fragen mit Fachbegriffen und Artikelnummern und auch Fragen, auf die der Bestand keine Antwort enthält. Bereits eine überschaubare Sammlung von einigen Dutzend gut gewählten Fragen liefert belastbarere Erkenntnisse als jedes Bauchgefühl. Sprachmodelle können beim Erzeugen zusätzlicher Fragen helfen, sollten aber nicht die einzige Quelle sein.
Wichtig ist, die Fundstelle nicht nur als Dokumentname, sondern möglichst als Kapitel oder Seitenbereich zu hinterlegen. Nur dann lässt sich unabhängig von der jeweiligen Chunking-Variante prüfen, ob der richtige Abschnitt gefunden wurde. Da sich Chunk-Grenzen zwischen den Varianten verschieben, ist ein Abgleich über Textüberschneidung oder Seitenbereich robuster als ein Vergleich von Chunk-IDs. Wer diese Vorarbeit sauber leistet, kann später auch Wechsel von Embedding-Modell, Vektordatenbank oder Reranker mit derselben Sammlung bewerten.

RAGAS und geeignete Metriken

RAGAS ist ein quelloffenes Framework zur Bewertung von RAG-Systemen. Es berechnet unter anderem, wie viele der abgerufenen Chunks tatsächlich relevant sind (Context Precision), ob alle für die Antwort nötigen Informationen abgerufen wurden (Context Recall), ob die Antwort durch den Kontext gedeckt ist (Faithfulness) und wie gut sie zur Frage passt (Answer Relevancy). Für den Vergleich von Chunking-Strategien sind vor allem die kontextbezogenen Metriken aufschlussreich, weil sie direkt zeigen, ob die richtigen Abschnitte gefunden werden.
Einige Hinweise zur Interpretation: Viele RAGAS-Metriken nutzen selbst ein Sprachmodell als Bewerter. Die Werte sind daher Näherungen, schwanken leicht und sollten nur innerhalb derselben Konfiguration verglichen werden. Ergänzend lohnen klassische Retrieval-Kennzahlen wie Trefferquote unter den ersten Ergebnissen, sofern die erwarteten Fundstellen bekannt sind. Und schließlich bleibt die stichprobenartige Durchsicht durch Fachleute unverzichtbar – sie entdeckt Fehler, die keine Metrik erfasst. Wird für die Bewertung ein Cloud-Modell genutzt, gelten dieselben Datenschutzüberlegungen wie im Produktivsystem.
Kapitel 08 · Einsatz im Mittelstand

Handbücher, Verträge, Tabellen, PDFs: Chunking für reale Dokumente

Der Dokumentbestand mittelständischer Unternehmen ist selten homogen. Technische Dokumentation, Vertragswerke, Preislisten, Qualitätshandbücher, gescannte Lieferantenunterlagen und E-Mail-Korrespondenz liegen nebeneinander. Eine einzige Chunking-Strategie für alles führt fast immer zu Kompromissen. Erfolgreicher ist ein Satz abgestimmter Strategien je Dokumenttyp.

Typische Dokumenttypen und passende Strategien

Technische Handbücher

Strukturbasiert entlang der Kapitelhierarchie, Kapitelpfad als Kopfzeile, Warnhinweise nie von ihrer Handlungsanweisung trennen. Parent-Child für längere Prozeduren.

Präzise Anleitungen
Verträge & AGB

Paragraphen- und klauselbasiert, Vertragsparteien, Vertragsart und Laufzeit als Metadaten. Definitionen und Verweise auf andere Paragraphen kenntlich machen.

Klauselgenau
Tabellen & Preislisten

Als eigene Chunks behandeln, große Tabellen in Zeilengruppen mit wiederholten Spaltenköpfen teilen. Für exakte Werte zusätzlich strukturierte Abfrage prüfen.

Werte bleiben im Kontext
Gescannte PDFs

Zuerst OCR und Layout-Erkennung, dann Chunking. Kopf- und Fußzeilen entfernen, Seitenzahlen als Metadaten erhalten, OCR-Qualität stichprobenartig prüfen.

Altbestand erschließen
Protokolle & Tickets

Semantisch oder nach Gesprächsbeiträgen gruppiert, Datum, Kunde und Produkt als Metadaten. Gelöste Tickets als Frage-Antwort-Paar zusammenfassen.

Erfahrungswissen nutzbar
Richtlinien & QM-Dokumente

Strukturbasiert mit Version, Gültigkeitsbeginn und Geltungsbereich als Metadaten, damit nur aktuelle Fassungen in Antworten einfließen.

Aktuell und prüffähig

Fallstricke aus der Praxis

Einige Probleme begegnen uns in Projekten immer wieder. Mehrspaltige PDFs werden von einfachen Extraktoren zeilenweise über beide Spalten gelesen, sodass sinnlose Satzfragmente entstehen. Kopf- und Fußzeilen mit Firmenname, Dokumentnummer und Seitenzahl tauchen in jedem Chunk auf und verfälschen die Vektoren. Mehrere Fassungen desselben Dokuments konkurrieren in der Suche, und das Sprachmodell zitiert eine veraltete Version. Querverweise wie „siehe Abschnitt 4.3“ laufen ins Leere, wenn der referenzierte Abschnitt nicht mitgeliefert wird. Und Sprachmischungen aus deutschen und englischen Dokumenten verlangen ein geeignetes Embedding-Modell und gegebenenfalls Sprache als Filterkriterium.
Keines dieser Probleme ist exotisch, und für alle gibt es erprobte Lösungen. Entscheidend ist, sie früh zu erkennen. Deshalb empfehlen wir, vor jeder Optimierung eine Stichprobe von Chunks im Klartext durchzusehen. Diese einfache Sichtprüfung deckt erfahrungsgemäß mehr Probleme auf als jede ausgeklügelte Metrik.

Ein realistischer Projektansatz

Ein typisches Projekt beginnt bei uns mit einer Bestandsaufnahme der Dokumenttypen und ihrer Anteile. Für die zwei oder drei wichtigsten Typen wird eine eigene Strategie definiert, der Rest läuft zunächst über eine robuste rekursive Standardstrategie. Parallel entsteht die Testfragensammlung. Nach einer ersten Messrunde wird gezielt dort nachgeschärft, wo die meisten Fehltreffer auftreten. Dieses iterative Vorgehen hält den Aufwand überschaubar und konzentriert die Arbeit auf die Stellen, die für die Nutzer wirklich zählen.
Kapitel 09 · Kosten & DSGVO

Rechenaufwand, Datenhoheit und die Frage nach dem Verarbeitungsort

Chunking selbst verursacht kaum Lizenzkosten – die verbreiteten Werkzeuge sind quelloffen. Kosten und Datenschutzfragen entstehen dort, wo zusätzliche Modelle ins Spiel kommen: beim Cloud-Parsing, bei semantischem und LLM-basiertem Chunking, bei der Anreicherung und bei der Evaluierung.

Wovon die Kosten abhängen

Regelbasierte Verfahren wie festes, rekursives oder strukturbasiertes Chunking laufen auf gewöhnlicher Hardware und verursachen praktisch keine laufenden Kosten. Indirekt wirken sie über die Anzahl der Chunks: Kleinere Chunks und mehr Overlap bedeuten mehr Vektoren, also mehr Embedding-Berechnungen, mehr Speicher in der Vektordatenbank und gegebenenfalls höhere Kosten bei nutzungsabhängig abgerechneten Diensten.
Semantisches Chunking erfordert zusätzliche Embedding-Aufrufe, LLM-basiertes Chunking und kontextuelle Anreicherung einen Sprachmodellaufruf pro Abschnitt oder Dokument. Bei großen Beständen und häufigen Aktualisierungen summiert sich das. Ob sich der Mehraufwand lohnt, lässt sich nur durch eine Gegenüberstellung von Qualitätsgewinn in der Evaluierung und Mehrkosten im Betrieb beurteilen – pauschale Aussagen wären hier unseriös. Lokal betriebene Modelle verschieben die Kosten von der Nutzungsabrechnung zur eigenen Hardware.
Den größten Kostenblock bildet in der Regel ohnehin nicht die Rechenleistung, sondern die Projektarbeit: Analyse der Dokumenttypen, Abstimmung mit Fachabteilungen, Aufbau der Testfragensammlung, Bereinigung problematischer Quellen und die iterative Feinabstimmung. Diese Arbeit amortisiert sich allerdings über die gesamte Lebensdauer des Systems, weil sie die Grundlage für jede spätere Verbesserung bildet. Einen Hinweis verdient auch die Re-Indexierung: Jede Änderung der Strategie bedeutet, dass der gesamte Bestand neu zerlegt und vektorisiert werden muss. Bei regelbasierten Verfahren und lokalen Embedding-Modellen ist das meist unkritisch, bei LLM-basierter Anreicherung über nutzungsabhängige Dienste sollte man den Aufwand vorab abschätzen.

Datentransfer, lokale Verarbeitung und EU-Regionen

Datenschutzrechtlich relevant ist, wo Dokumentinhalte verarbeitet werden. Beim Chunking selbst geschieht das meist lokal in der eigenen Pipeline. Anders sieht es aus, wenn Dokumente an einen Cloud-Parsing-Dienst, ein externes Embedding-Modell oder ein Sprachmodell für agentisches Chunking übermittelt werden. Handelt es sich um Dienste von US-Anbietern, liegt in der Regel eine Übermittlung in ein Drittland vor oder ist zumindest möglich – auch bei EU-Rechenzentren kann der Zugriff nach US-Recht ein Thema sein. Das muss über geeignete Garantien, einen Auftragsverarbeitungsvertrag und eine Bewertung der Risiken abgesichert werden.
Die datenschutzfreundlichere Option ist die lokale Verarbeitung: Parsing mit quelloffenen Bibliotheken auf eigener Infrastruktur, Embedding- und Sprachmodelle im eigenen Rechenzentrum oder bei einem deutschen Hoster. Eine Zwischenlösung sind Dienste mit verbindlicher EU-Region und europäischem Vertragspartner. Gerade Verträge, Personalunterlagen und Kundendokumente enthalten oft personenbezogene Daten oder Geschäftsgeheimnisse; hier sollte die Wahl des Verarbeitungsorts bewusst getroffen und dokumentiert werden.

Löschpflichten und Rückverfolgbarkeit

Chunks und ihre Vektoren sind Kopien von Inhalten. Wird ein Dokument gelöscht oder muss eine personenbezogene Angabe entfernt werden, müssen auch alle zugehörigen Chunks verschwinden – einschließlich angereicherter Varianten und gegebenenfalls von Zwischenständen in Caches. Stabile Chunk-IDs und saubere Metadaten sind deshalb auch eine Datenschutzanforderung. Ebenso wichtig ist, dass Berechtigungen aus den Quellsystemen auf Chunk-Ebene übernommen werden, damit der Assistent niemandem Inhalte zeigt, die er im Original nicht sehen dürfte.
Hinweis: keine Rechtsberatung

Die Ausführungen in diesem Kapitel geben unsere technische Praxiserfahrung wieder und stellen keine Rechtsberatung dar. Ob eine konkrete Verarbeitung DSGVO-konform ist, hängt von Zweck, Datenkategorien, Rechtsgrundlage, Vertragsgestaltung und technischen Maßnahmen ab. Die rechtliche Bewertung gehört in die Hände Ihrer Datenschutzbeauftragten oder einer spezialisierten Rechtsberatung.

Kapitel 10 · Häufige Fragen

Häufige Fragen zu Chunking-Strategien

Die Fragen, die uns in Workshops und Projekten zum Thema Chunking am häufigsten gestellt werden – kompakt beantwortet.

Welche Chunk-Größe ist die richtige?
Eine universell richtige Größe gibt es nicht. Als Startpunkt bewähren sich Abschnitte im Bereich einiger hundert Token mit moderatem Overlap. Die passende Größe hängt von Dokumenttyp, Embedding-Modell und Fragetypen ab. Testen Sie zwei oder drei Größen mit Ihren eigenen Testfragen und entscheiden Sie anhand der Messergebnisse – projektspezifisch, nicht nach Faustregeln aus Blogartikeln.
Ist semantisches Chunking immer besser als rekursives Chunking?
Nein. Semantisches Chunking kann bei wenig gegliederten Texten wie Protokollen oder Transkripten Vorteile bringen. Es ist aber rechenintensiver und nicht automatisch überlegen. Bei gut strukturierten Dokumenten liefern strukturbasierte oder rekursive Verfahren häufig gleichwertige Ergebnisse. Ob sich der Mehraufwand lohnt, zeigt nur eine Messung mit eigenen Daten.
Brauche ich Overlap zwischen den Chunks?
Bei festen und rekursiven Verfahren meist ja, weil Schnitte sonst Informationen zerreißen können. Ein moderater Overlap reicht in der Regel. Bei strukturbasiertem Chunking, das an natürlichen Grenzen schneidet, ist Overlap oft entbehrlich. Zu viel Overlap vergrößert den Index und führt zu doppelten Treffern im Kontext.
Wie gehe ich mit Tabellen in PDFs um?
Tabellen sollten zuerst sauber erkannt und als eigene Chunks behandelt werden. Große Tabellen werden in Zeilengruppen geteilt, wobei die Spaltenköpfe in jedem Chunk wiederholt werden. Eine kurze Beschreibung der Tabelle verbessert die Auffindbarkeit. Für exakte Zahlenabfragen ist zusätzlich eine strukturierte Abfrage auf die Originaldaten oft zuverlässiger als reine Vektorsuche.
Was ist Parent-Child-Chunking und wann lohnt es sich?
Dabei werden kleine Chunks für die Suche verwendet, an das Sprachmodell aber der größere übergeordnete Abschnitt übergeben. So verbindet man präzise Treffer mit ausreichendem Kontext. Das lohnt sich besonders bei technischer Dokumentation, Anleitungen und Richtlinien, bei denen eine einzelne Fundstelle ohne ihr Umfeld missverständlich wäre.
Ist LLM-basiertes Chunking DSGVO-konform?
Das hängt vom eingesetzten Modell und dessen Betriebsort ab. Werden Dokumente an Dienste von US-Anbietern übermittelt, liegt ein Drittlandtransfer vor oder ist möglich, der rechtlich abgesichert werden muss. Lokal betriebene Modelle oder Anbieter mit EU-Region und europäischem Vertragspartner sind datenschutzfreundlichere Optionen. Die rechtliche Bewertung gehört in die Hände Ihrer Datenschutzbeauftragten – dies ist keine Rechtsberatung.
Muss ich bei einem neuen Embedding-Modell neu chunken?
Neu vektorisieren müssen Sie in jedem Fall, denn Vektoren unterschiedlicher Modelle sind nicht vergleichbar. Ob auch das Chunking angepasst werden sollte, hängt von Eingabelänge und Eigenschaften des neuen Modells ab. Ein Modellwechsel ist ein guter Anlass, die Chunking-Strategie mit der vorhandenen Testfragensammlung erneut zu prüfen.
Wie messe ich, ob mein Chunking gut ist?
Mit einer Sammlung realistischer Testfragen samt erwarteter Fundstellen. Frameworks wie RAGAS berechnen Kennzahlen wie Context Precision, Context Recall und Faithfulness. Ergänzend sollten Fachleute Stichproben von Chunks und Antworten durchsehen. Verglichen wird immer gegen eine Baseline, wobei pro Durchlauf nur wenige Parameter verändert werden.

Souveräne KI-Suche aufbauen

Bereit für RAG-Antworten, die wirklich treffen?

Von der Analyse Ihres Dokumentbestands über Parsing, Chunking-Strategie und Hybrid-Suche bis zur messbaren Evaluierung und zum souverän betriebenen, DSGVO-konformen RAG-System – INAGRO begleitet Sie auf jedem Schritt. Mit Retrieval-Expertise, Datenschutz-Fokus und tiefem Verständnis für den Mittelstand. Pragmatisch, herstellerneutral und mit messbarem Ergebnis.

Seit 2006 am Markt

Erfahrung aus über 100 Digitalprojekten

DSGVO & Souveränität

Datenschutz von Anfang an mitgedacht

Rückmeldung in 24 h

Schnell, direkt, unverbindlich