Eine Retrieval-Augmented-Generation-Architektur, kurz RAG, verbindet ein Sprachmodell mit einem Wissensspeicher. Das Sprachmodell soll nicht aus seinem Trainingswissen antworten, sondern aus den Dokumenten des Unternehmens. Dazu sucht das System zu jeder Frage die relevantesten Textstellen heraus und gibt sie dem Modell als Kontext mit. Ganze Dokumente lassen sich dafür nur selten verwenden: Ein Wartungshandbuch mit mehreren hundert Seiten passt nicht sinnvoll in ein Anfragefenster, und selbst wenn, würde die eine relevante Passage im Rauschen untergehen. Deshalb wird jedes Dokument vorab in Abschnitte zerlegt, die einzeln auffindbar sind.
Das klingt nach einer technischen Nebensache, ist aber einer der wirkungsvollsten Stellhebel im gesamten System. Ein zu großer Chunk vermischt mehrere Themen. Sein Vektor beschreibt dann einen inhaltlichen Durchschnitt, der zu keiner konkreten Frage besonders gut passt, und das Sprachmodell erhält viel überflüssigen Text. Ein zu kleiner Chunk verliert dagegen seinen Zusammenhang: Ein Satz wie „Der Wert darf 4 bar nicht überschreiten“ ist wertlos, wenn nicht mehr erkennbar ist, auf welche Anlage und welches Bauteil er sich bezieht. Zwischen diesen Polen liegt das Optimum – und es sieht für jeden Dokumenttyp etwas anders aus.
Eine typische Indexierungspipeline besteht aus mehreren Schritten. Zuerst werden Dokumente aus Quellsystemen geladen: Dateiablagen, SharePoint, Wikis, Ticketsysteme, DMS oder E-Mail-Archive. Dann folgt das Parsing, also die Umwandlung von PDF, Word, HTML oder gescannten Seiten in maschinenlesbaren Text samt Struktur. Erst danach setzt das Chunking an, das den Text in Abschnitte teilt und mit Metadaten versieht. Anschließend berechnet ein Embedding-Modell für jeden Chunk einen Vektor, und die Vektordatenbank speichert Vektor, Text und Metadaten.
Parsing und Chunking hängen eng zusammen. Was beim Parsing verloren geht – Überschriftenhierarchien, Tabellenzellen, Seitenzahlen, Fußnoten – kann das Chunking nicht mehr zurückholen. Umgekehrt nützt die sauberste Strukturerkennung wenig, wenn das Chunking anschließend stur nach Zeichenzahl schneidet. In der Praxis betrachten wir beide Schritte deshalb gemeinsam als Datenaufbereitung, und genau dort liegt nach unserer Erfahrung ein großer Teil der Qualitätsunterschiede zwischen einem enttäuschenden Prototyp und einem belastbaren Wissensassistenten.
Ein guter Chunk erfüllt drei Anforderungen gleichzeitig. Er ist inhaltlich geschlossen, behandelt also möglichst genau ein Thema, eine Anweisung oder eine Regelung. Er ist selbsterklärend, enthält also genug Kontext, damit Mensch und Modell ihn ohne den Rest des Dokuments verstehen. Und er ist rückverfolgbar: Über Metadaten lässt sich jederzeit nachvollziehen, aus welchem Dokument, welchem Kapitel und welcher Version er stammt. Jede Chunking-Strategie ist im Grunde ein anderer Kompromiss zwischen diesen drei Zielen und dem Aufwand, den man dafür treiben will.
Ein Beispiel macht den Unterschied greifbar. Angenommen, ein Servicetechniker fragt den Assistenten: „Wie oft muss das Hydrauliköl an der Presse P200 gewechselt werden?“ Im Wartungshandbuch steht die Antwort in einer Tabelle unter der Überschrift „Wartungsintervalle P200“. Schneidet ein starres Verfahren die Tabelle in der Mitte durch, landet die Zeile mit dem Hydrauliköl in einem Chunk ohne Überschrift und ohne Spaltenköpfe. Die Suche findet den Abschnitt womöglich gar nicht, und wenn doch, kann das Sprachmodell die Zahl keinem Bauteil zuordnen. Bleibt die Tabelle dagegen mit Überschrift und Kapitelpfad zusammen, ist die Antwort eindeutig und mit Seitenangabe belegbar. Derselbe Text, dieselbe Vektordatenbank, dasselbe Sprachmodell – nur die Zerlegung ist eine andere.
Das einfachste Verfahren ist das Fixed-Size-Chunking: Der Text wird alle n Zeichen oder Token geschnitten, meist mit einer kleinen Überlappung zwischen benachbarten Chunks. Das ist schnell, vorhersehbar und für erste Experimente ausreichend. Der Nachteil liegt auf der Hand: Schnitte fallen mitten in Sätze, Tabellen oder Aufzählungen, weil das Verfahren den Inhalt nicht kennt.
Das rekursive Chunking ist der verbreitete Standard in vielen Frameworks. Es versucht zunächst, an starken Trennzeichen wie Leerzeilen zwischen Absätzen zu schneiden. Ist ein Abschnitt dann noch zu groß, weicht es auf schwächere Trenner aus: Zeilenumbrüche, Satzenden, schließlich Leerzeichen. So bleiben Absätze möglichst intakt, und die Zielgröße wird trotzdem eingehalten. Für viele Fließtexte ist das ein solider Ausgangspunkt.
Satz- und absatzbasierte Verfahren gehen einen Schritt weiter und nutzen linguistische Werkzeuge, um Satzgrenzen zuverlässig zu erkennen – im Deutschen keine Trivialität, denn Abkürzungen wie „z. B.“, „ggf.“ oder Ordnungszahlen wie „3. Auflage“ verwirren einfache Regeln. Mehrere Sätze werden dann zu einem Chunk zusammengefasst, bis die Zielgröße erreicht ist. Das Ergebnis liest sich natürlicher und vermeidet abgeschnittene Aussagen.
Beim semantischen Chunking wird zunächst jeder Satz oder jede kleine Satzgruppe vektorisiert. Das Verfahren vergleicht benachbarte Vektoren und setzt einen Schnitt, wo die Ähnlichkeit deutlich abfällt – dort also, wo vermutlich ein neues Thema beginnt. Das ist besonders bei Texten ohne klare Gliederung nützlich, etwa bei Besprechungsprotokollen, Transkripten oder langen E-Mail-Verläufen. Es kostet allerdings zusätzliche Embedding-Berechnungen, und der Schwellenwert für einen Themenwechsel muss abgestimmt werden.
Strukturbasiertes Chunking nutzt die Gliederung, die Autorinnen und Autoren dem Dokument bereits gegeben haben: Kapitel und Unterkapitel, nummerierte Paragraphen, Markdown- oder HTML-Überschriften, Tabellen, Listen, Code-Blöcke. Gerade bei Handbüchern, Normen, Richtlinien und Verträgen ist das oft die wirksamste Strategie, weil die Struktur des Dokuments genau die Einheiten markiert, nach denen später gefragt wird. Voraussetzung ist ein Parser, der diese Struktur zuverlässig erkennt.
Beim agentischen oder LLM-basierten Chunking entscheidet ein Sprachmodell, wie ein Text sinnvoll zu gliedern ist. Es kann Abschnitte nach Bedeutung zusammenfassen, Aussagen in eigenständige Einzelfakten zerlegen oder für jeden Abschnitt Titel und Zusammenfassung erzeugen. Die Ergebnisse können sehr gut sein, sind aber teurer, langsamer und weniger deterministisch. Mehr dazu in Kapitel 04.
Late Chunking dreht die übliche Reihenfolge um. Statt jeden Chunk isoliert zu vektorisieren, wird zunächst ein längerer Textabschnitt oder das ganze Dokument durch ein Embedding-Modell mit langem Kontextfenster geschickt. Erst danach werden die Token-Repräsentationen entlang der Chunk-Grenzen zusammengefasst. Jeder Chunk-Vektor „weiß“ damit etwas über seine Umgebung, etwa auf welches Produkt sich ein Pronomen bezieht. Das Verfahren setzt geeignete Modelle und Zugriff auf Token-Ebene voraus und ist daher nicht in jeder Umgebung ohne Weiteres nutzbar.
Parent-Child-Chunking, auch als hierarchisches Retrieval oder Small-to-Big bekannt, trennt Suche und Kontext. Kleine Child-Chunks werden vektorisiert und gesucht, weil sie präzise Treffer liefern. An das Sprachmodell geht dann aber der übergeordnete Parent-Abschnitt, etwa das ganze Unterkapitel, damit genügend Zusammenhang vorhanden ist. Eine verwandte Variante ist das Sentence-Window-Verfahren, bei dem um einen gefundenen Satz einige Nachbarsätze ergänzt werden. Für technische Dokumentation ist dieser Ansatz in unserer Praxis häufig ein guter Kompromiss.
Die Chunk-Größe wird meist in Token angegeben, also in den Wortbausteinen, mit denen Sprachmodelle rechnen. Deutsche Texte erzeugen wegen langer Komposita tendenziell mehr Token pro Wort als englische, was bei der Übertragung englischsprachiger Empfehlungen zu beachten ist. Als Daumenregel bewähren sich für den Einstieg Größen im Bereich einiger hundert Token – genug für einen vollständigen Absatz oder eine Anleitung, klein genug für einen fokussierten Vektor.
Welche Größe passt, hängt von drei Faktoren ab. Erstens von den Fragetypen: Faktenfragen wie „Welches Drehmoment gilt für Schraube M8?“ profitieren von kleinen, präzisen Chunks, Verständnisfragen wie „Wie läuft der Freigabeprozess für Sonderbestellungen ab?“ brauchen größere Zusammenhänge. Zweitens vom Embedding-Modell: Jedes Modell hat eine maximale Eingabelänge, und auch innerhalb dieser Grenze verwässert die Repräsentation bei sehr langen Texten. Drittens vom Kontextbudget des Sprachmodells, denn je größer die Chunks, desto weniger passen in eine Anfrage.
Hinzu kommt ein oft unterschätzter Punkt: Die Chunk-Größe muss nicht für den gesamten Bestand einheitlich sein. Ein FAQ-Dokument besteht aus kurzen, abgeschlossenen Frage-Antwort-Paaren, die man am besten einzeln belässt, auch wenn sie deutlich kleiner als die Zielgröße sind. Ein juristisches Gutachten dagegen entfaltet seine Argumentation über mehrere Absätze. Statt einer starren Zahl empfiehlt sich daher eine Zielgröße mit Bandbreite: eine Untergrenze, unter der benachbarte Kleinstabschnitte zusammengeführt werden, und eine Obergrenze, ab der ein Abschnitt an der nächsten sinnvollen Stelle geteilt wird. Sehr kurze Fragmente wie einzelne Überschriften oder Seitenzahlen sollten nie als eigene Chunks im Index landen, weil sie bei der Suche zufällig hohe Ähnlichkeitswerte erzielen können, ohne inhaltlich etwas beizutragen.
Overlap bedeutet, dass aufeinanderfolgende Chunks sich um einige Sätze oder Token überlappen. So geht eine Information, die genau auf der Schnittkante liegt, nicht verloren. Bei festen und rekursiven Verfahren ist ein moderater Overlap – als Richtwert ein kleiner Bruchteil der Chunk-Größe – meist sinnvoll. Bei strukturbasierten Verfahren, die ohnehin an natürlichen Grenzen schneiden, ist er oft verzichtbar.
Overlap hat Nebenwirkungen. Er vergrößert den Index, erhöht die Embedding-Kosten und führt dazu, dass bei einer Suche mehrere fast identische Chunks zurückkommen, die wertvollen Platz im Kontext belegen. Wer viel Overlap einsetzt, sollte bei der Ergebnisaufbereitung Duplikate zusammenführen. Ein hoher Overlap ist zudem oft ein Symptom: Er kaschiert schlecht gewählte Schnittgrenzen, die man besser direkt verbessert.
Ein Chunk ist mehr als sein Text. Metadaten wie Dokumenttitel, Kapitelpfad, Seitenzahl, Version, Gültigkeitsdatum, Sprache, Abteilung und Berechtigungsgruppe erfüllen gleich mehrere Aufgaben. Sie ermöglichen Filter in der Vektordatenbank („nur gültige Fassungen“, „nur Dokumente meiner Abteilung“), sie liefern die Quellenangabe für die Antwort, und sie erlauben das gezielte Löschen und Aktualisieren, wenn sich ein Dokument ändert.
Eine wirksame Technik ist die kontextuelle Anreicherung: Vor den eigentlichen Chunk-Text wird ein kurzer Kopf gesetzt, etwa „Betriebsanleitung Verpackungsanlage V3 › Kapitel 5 Wartung › 5.2 Filterwechsel“. Dieser Pfad fließt mit in das Embedding ein und macht den Chunk für Suchanfragen verständlicher, die den Anlagennamen erwähnen, obwohl er im Absatz selbst nicht vorkommt. Manche Teams lassen zusätzlich von einem Sprachmodell einen Satz erzeugen, der den Chunk im Gesamtdokument verortet. Ob sich dieser Mehraufwand lohnt, zeigt die Evaluierung.
Beim LLM-basierten Chunking erhält ein Sprachmodell einen Textabschnitt mit der Anweisung, ihn in thematisch geschlossene Einheiten zu gliedern. Eine Weiterentwicklung ist das propositionsbasierte Chunking: Das Modell zerlegt Text in einzelne, eigenständige Aussagen und löst dabei Bezüge auf. Aus „Sie wurde 2019 eingeführt“ wird „Die Baureihe B wurde 2019 eingeführt“. Solche Propositionen sind für Faktenfragen sehr präzise auffindbar.
Diese Präzision hat ihren Preis. Jedes Dokument muss durch ein Sprachmodell laufen, was bei großen Beständen erhebliche Rechenzeit und Kosten verursacht. Die Ergebnisse sind nicht vollständig deterministisch, sodass eine erneute Indexierung leicht abweichende Chunks erzeugen kann. Und das Modell kann Inhalte umformulieren oder im schlimmsten Fall verfälschen. Für Verträge oder sicherheitsrelevante Anweisungen empfehlen wir daher, den Originaltext stets mitzuspeichern und dem Sprachmodell bei der Antwort den Originalwortlaut zu geben, nicht die umformulierte Fassung.
Ein zweites Einsatzfeld ist das Parsing komplexer Dokumente. Moderne Layout-Modelle erkennen Überschriften, Spalten, Tabellen, Kopf- und Fußzeilen sowie Abbildungen in PDFs und Scans. Vision-Language-Modelle können Tabellen in strukturierte Formate übersetzen oder Diagramme und technische Zeichnungen in Textbeschreibungen umwandeln, die anschließend als eigene Chunks indexiert werden. Damit werden Inhalte durchsuchbar, die ein reiner Textextraktor übersehen würde.
Tabellen verdienen besondere Aufmerksamkeit. Ein Schnitt mitten durch eine Tabelle trennt Werte von ihren Spaltenüberschriften und macht sie unbrauchbar. Bewährt hat sich, Tabellen als eigene Chunks zu behandeln, bei großen Tabellen zeilenweise oder in Zeilengruppen zu teilen und jede Gruppe mit den Spaltenköpfen zu wiederholen. Zusätzlich kann eine KI-erzeugte Kurzbeschreibung der Tabelle mitindexiert werden, damit auch Fragen in natürlicher Sprache den richtigen Treffer landen.
In produktiven Systemen läuft Chunking nicht einmalig, sondern kontinuierlich. Neue und geänderte Dokumente werden erkannt, neu zerlegt und im Index ersetzt. Sinnvoll ist eine Dokumenttyp-Weiche, die je nach Quelle eine andere Strategie wählt: strukturbasiert für Handbücher, paragraphenbasiert für Verträge, zeilenbasiert für Tabellen, semantisch für Protokolle. KI kann diese Klassifikation übernehmen. Ergänzend lassen sich automatische Prüfungen einbauen, die zu kurze, zu lange, leere oder doppelte Chunks markieren und Auffälligkeiten an das Team melden.
LangChain bietet eine breite Palette an Text-Splittern, darunter zeichen- und tokenbasierte Varianten, den verbreiteten rekursiven Splitter sowie spezialisierte Splitter für Markdown, HTML, Programmiercode und JSON. Ein experimenteller semantischer Splitter ist ebenfalls verfügbar. Für Parent-Child-Szenarien gibt es einen Retriever, der kleine Chunks sucht und übergeordnete Dokumente zurückgibt. LangChain ist dadurch flexibel, erfordert aber etwas Erfahrung, um die passenden Bausteine zu kombinieren.
LlamaIndex spricht von Node Parsern und legt einen starken Schwerpunkt auf die Datenaufbereitung. Neben satz- und tokenbasierten Parsern gibt es einen semantischen Splitter, hierarchische Parser für Parent-Child-Strukturen, einen Sentence-Window-Parser und dokumenttypspezifische Varianten für Markdown oder HTML. Über sogenannte Ingestion-Pipelines lassen sich Parsing, Chunking, Metadatenanreicherung und Embedding als wiederholbare Kette definieren. Zum Ökosystem gehört zudem ein kommerzieller Parsing-Dienst, bei dem der Datenstandort vor einer Nutzung zu prüfen ist.
Haystack, entwickelt vom Berliner Unternehmen deepset, organisiert die Verarbeitung in Pipelines aus Komponenten. Für Chunking gibt es einen Document Splitter, der nach Wörtern, Sätzen, Absätzen oder Seiten teilen kann, sowie Komponenten zur Vorbereinigung von Dokumenten. Die explizite Pipeline-Architektur macht Haystack besonders nachvollziehbar und gut testbar, was in regulierten Umgebungen geschätzt wird.
Unstructured setzt einen Schritt früher an. Die quelloffene Bibliothek zerlegt Dokumente aus zahlreichen Formaten in typisierte Elemente wie Titel, Fließtext, Listenpunkt, Tabelle oder Bild. Darauf aufbauend bietet sie Chunking-Funktionen, die Überschriften berücksichtigen und Abschnitte nach Titeln gruppieren. Unstructured lässt sich lokal betreiben; daneben existiert ein kommerzielles API-Angebot, bei dem Datenstandort und Auftragsverarbeitung zu klären sind. In vielen Projekten übernimmt Unstructured das Parsing und ein Framework das eigentliche Retrieval.
Darüber hinaus bringen einige Vektordatenbanken und Suchplattformen eigene Ingestion-Funktionen mit, die Chunking automatisch erledigen. Das ist bequem, macht die Strategie aber weniger transparent. Wir empfehlen, Chunking als eigenen, versionierten Pipeline-Schritt zu behandeln, damit die Vektordatenbank austauschbar bleibt.
Das Embedding-Modell übersetzt jeden Chunk in einen Vektor. Damit dieser Vektor aussagekräftig ist, muss die Chunk-Größe zum Modell passen. Modelle haben eine maximale Eingabelänge; was darüber hinausgeht, wird abgeschnitten, oft ohne Warnung. Viele Modelle sind zudem auf bestimmte Textlängen trainiert und liefern für sehr kurze oder sehr lange Eingaben weniger trennscharfe Vektoren. Ein Modellwechsel ist deshalb ein guter Anlass, auch das Chunking neu zu bewerten. Für deutschsprachige Inhalte sollte das Modell zudem mehrsprachig oder speziell für Deutsch geeignet sein.
Ein Reranker bewertet die Kandidaten der Vektorsuche erneut, indem er Frage und Chunk gemeinsam betrachtet. Das korrigiert viele Ungenauigkeiten der reinen Vektorähnlichkeit. Reranking kann ein mittelmäßiges Chunking teilweise ausgleichen, aber nicht vollständig: Was nie in der Kandidatenliste auftaucht, kann auch der beste Reranker nicht nach oben holen. Umgekehrt profitieren Reranker von gut abgegrenzten Chunks, weil sie dann eindeutiger urteilen können. In der Praxis lässt man die Vektorsuche eine größere Kandidatenmenge liefern und reduziert sie per Reranking auf die wenigen Chunks, die tatsächlich ins Kontextfenster gehen.
Hybrid Search kombiniert semantische Vektorsuche mit klassischer Schlüsselwortsuche, etwa nach BM25. Gerade im Mittelstand ist das wichtig, weil Fragen oft Artikelnummern, Normbezeichnungen, Fehlercodes oder Eigennamen enthalten, die ein Embedding-Modell nur unscharf abbildet. Für die Schlüsselwortkomponente gelten etwas andere Regeln: Sehr lange Chunks verwässern die Gewichtung einzelner Begriffe, sehr kurze enthalten den gesuchten Begriff womöglich ohne den nötigen Kontext. Kontextuelle Kopfzeilen mit Dokument- und Kapitelnamen helfen beiden Suchverfahren gleichermaßen.
Die Abgrenzung lässt sich so zusammenfassen: Chunking bestimmt, welche Einheiten überhaupt auffindbar sind. Embeddings bestimmen, wie gut deren Bedeutung erfasst wird. Hybrid Search sorgt dafür, dass auch exakte Begriffe greifen, und Reranking ordnet die Kandidaten präzise. Fehler in der ersten Stufe ziehen sich durch alle weiteren – deshalb lohnt es, hier sorgfältig zu sein.
Eine verwandte Abgrenzung betrifft Ansätze wie GraphRAG, bei denen aus den Dokumenten zusätzlich ein Wissensgraph mit Entitäten und Beziehungen aufgebaut wird. Auch dort beginnt die Verarbeitung meist mit Chunks, aus denen ein Sprachmodell Entitäten extrahiert. Die Chunking-Qualität wirkt also auch auf den Graphen durch. Ähnliches gilt für sehr große Kontextfenster moderner Sprachmodelle: Sie verringern den Druck, Chunks extrem klein zu halten, machen gezieltes Retrieval aber nicht überflüssig, weil lange Kontexte Kosten und Antwortzeit erhöhen und relevante Details in der Masse an Text leichter übersehen werden.
Die wichtigste Investition ist eine Testfragensammlung, im Fachjargon oft Golden Set genannt. Sie sollte die tatsächlichen Fragen der späteren Nutzer abbilden: einfache Faktenfragen, Fragen, die Informationen aus mehreren Abschnitten kombinieren, Fragen mit Fachbegriffen und Artikelnummern und auch Fragen, auf die der Bestand keine Antwort enthält. Bereits eine überschaubare Sammlung von einigen Dutzend gut gewählten Fragen liefert belastbarere Erkenntnisse als jedes Bauchgefühl. Sprachmodelle können beim Erzeugen zusätzlicher Fragen helfen, sollten aber nicht die einzige Quelle sein.
Wichtig ist, die Fundstelle nicht nur als Dokumentname, sondern möglichst als Kapitel oder Seitenbereich zu hinterlegen. Nur dann lässt sich unabhängig von der jeweiligen Chunking-Variante prüfen, ob der richtige Abschnitt gefunden wurde. Da sich Chunk-Grenzen zwischen den Varianten verschieben, ist ein Abgleich über Textüberschneidung oder Seitenbereich robuster als ein Vergleich von Chunk-IDs. Wer diese Vorarbeit sauber leistet, kann später auch Wechsel von Embedding-Modell, Vektordatenbank oder Reranker mit derselben Sammlung bewerten.
RAGAS ist ein quelloffenes Framework zur Bewertung von RAG-Systemen. Es berechnet unter anderem, wie viele der abgerufenen Chunks tatsächlich relevant sind (Context Precision), ob alle für die Antwort nötigen Informationen abgerufen wurden (Context Recall), ob die Antwort durch den Kontext gedeckt ist (Faithfulness) und wie gut sie zur Frage passt (Answer Relevancy). Für den Vergleich von Chunking-Strategien sind vor allem die kontextbezogenen Metriken aufschlussreich, weil sie direkt zeigen, ob die richtigen Abschnitte gefunden werden.
Einige Hinweise zur Interpretation: Viele RAGAS-Metriken nutzen selbst ein Sprachmodell als Bewerter. Die Werte sind daher Näherungen, schwanken leicht und sollten nur innerhalb derselben Konfiguration verglichen werden. Ergänzend lohnen klassische Retrieval-Kennzahlen wie Trefferquote unter den ersten Ergebnissen, sofern die erwarteten Fundstellen bekannt sind. Und schließlich bleibt die stichprobenartige Durchsicht durch Fachleute unverzichtbar – sie entdeckt Fehler, die keine Metrik erfasst. Wird für die Bewertung ein Cloud-Modell genutzt, gelten dieselben Datenschutzüberlegungen wie im Produktivsystem.
Einige Probleme begegnen uns in Projekten immer wieder. Mehrspaltige PDFs werden von einfachen Extraktoren zeilenweise über beide Spalten gelesen, sodass sinnlose Satzfragmente entstehen. Kopf- und Fußzeilen mit Firmenname, Dokumentnummer und Seitenzahl tauchen in jedem Chunk auf und verfälschen die Vektoren. Mehrere Fassungen desselben Dokuments konkurrieren in der Suche, und das Sprachmodell zitiert eine veraltete Version. Querverweise wie „siehe Abschnitt 4.3“ laufen ins Leere, wenn der referenzierte Abschnitt nicht mitgeliefert wird. Und Sprachmischungen aus deutschen und englischen Dokumenten verlangen ein geeignetes Embedding-Modell und gegebenenfalls Sprache als Filterkriterium.
Keines dieser Probleme ist exotisch, und für alle gibt es erprobte Lösungen. Entscheidend ist, sie früh zu erkennen. Deshalb empfehlen wir, vor jeder Optimierung eine Stichprobe von Chunks im Klartext durchzusehen. Diese einfache Sichtprüfung deckt erfahrungsgemäß mehr Probleme auf als jede ausgeklügelte Metrik.
Ein typisches Projekt beginnt bei uns mit einer Bestandsaufnahme der Dokumenttypen und ihrer Anteile. Für die zwei oder drei wichtigsten Typen wird eine eigene Strategie definiert, der Rest läuft zunächst über eine robuste rekursive Standardstrategie. Parallel entsteht die Testfragensammlung. Nach einer ersten Messrunde wird gezielt dort nachgeschärft, wo die meisten Fehltreffer auftreten. Dieses iterative Vorgehen hält den Aufwand überschaubar und konzentriert die Arbeit auf die Stellen, die für die Nutzer wirklich zählen.
Regelbasierte Verfahren wie festes, rekursives oder strukturbasiertes Chunking laufen auf gewöhnlicher Hardware und verursachen praktisch keine laufenden Kosten. Indirekt wirken sie über die Anzahl der Chunks: Kleinere Chunks und mehr Overlap bedeuten mehr Vektoren, also mehr Embedding-Berechnungen, mehr Speicher in der Vektordatenbank und gegebenenfalls höhere Kosten bei nutzungsabhängig abgerechneten Diensten.
Semantisches Chunking erfordert zusätzliche Embedding-Aufrufe, LLM-basiertes Chunking und kontextuelle Anreicherung einen Sprachmodellaufruf pro Abschnitt oder Dokument. Bei großen Beständen und häufigen Aktualisierungen summiert sich das. Ob sich der Mehraufwand lohnt, lässt sich nur durch eine Gegenüberstellung von Qualitätsgewinn in der Evaluierung und Mehrkosten im Betrieb beurteilen – pauschale Aussagen wären hier unseriös. Lokal betriebene Modelle verschieben die Kosten von der Nutzungsabrechnung zur eigenen Hardware.
Den größten Kostenblock bildet in der Regel ohnehin nicht die Rechenleistung, sondern die Projektarbeit: Analyse der Dokumenttypen, Abstimmung mit Fachabteilungen, Aufbau der Testfragensammlung, Bereinigung problematischer Quellen und die iterative Feinabstimmung. Diese Arbeit amortisiert sich allerdings über die gesamte Lebensdauer des Systems, weil sie die Grundlage für jede spätere Verbesserung bildet. Einen Hinweis verdient auch die Re-Indexierung: Jede Änderung der Strategie bedeutet, dass der gesamte Bestand neu zerlegt und vektorisiert werden muss. Bei regelbasierten Verfahren und lokalen Embedding-Modellen ist das meist unkritisch, bei LLM-basierter Anreicherung über nutzungsabhängige Dienste sollte man den Aufwand vorab abschätzen.
Datenschutzrechtlich relevant ist, wo Dokumentinhalte verarbeitet werden. Beim Chunking selbst geschieht das meist lokal in der eigenen Pipeline. Anders sieht es aus, wenn Dokumente an einen Cloud-Parsing-Dienst, ein externes Embedding-Modell oder ein Sprachmodell für agentisches Chunking übermittelt werden. Handelt es sich um Dienste von US-Anbietern, liegt in der Regel eine Übermittlung in ein Drittland vor oder ist zumindest möglich – auch bei EU-Rechenzentren kann der Zugriff nach US-Recht ein Thema sein. Das muss über geeignete Garantien, einen Auftragsverarbeitungsvertrag und eine Bewertung der Risiken abgesichert werden.
Die datenschutzfreundlichere Option ist die lokale Verarbeitung: Parsing mit quelloffenen Bibliotheken auf eigener Infrastruktur, Embedding- und Sprachmodelle im eigenen Rechenzentrum oder bei einem deutschen Hoster. Eine Zwischenlösung sind Dienste mit verbindlicher EU-Region und europäischem Vertragspartner. Gerade Verträge, Personalunterlagen und Kundendokumente enthalten oft personenbezogene Daten oder Geschäftsgeheimnisse; hier sollte die Wahl des Verarbeitungsorts bewusst getroffen und dokumentiert werden.
Chunks und ihre Vektoren sind Kopien von Inhalten. Wird ein Dokument gelöscht oder muss eine personenbezogene Angabe entfernt werden, müssen auch alle zugehörigen Chunks verschwinden – einschließlich angereicherter Varianten und gegebenenfalls von Zwischenständen in Caches. Stabile Chunk-IDs und saubere Metadaten sind deshalb auch eine Datenschutzanforderung. Ebenso wichtig ist, dass Berechtigungen aus den Quellsystemen auf Chunk-Ebene übernommen werden, damit der Assistent niemandem Inhalte zeigt, die er im Original nicht sehen dürfte.