Wissensdatenbank · RAG-Frameworks · Open Source aus den USA

LlamaIndex – das Datenframework für RAG und Agenten.

LlamaIndex ist ein quelloffenes Framework für Python und TypeScript, das eigene Unternehmensdaten mit großen Sprachmodellen verbindet. Es liest Dokumente aus unterschiedlichsten Quellen ein, zerlegt und indexiert sie, findet die relevanten Passagen und orchestriert Antworten, Agenten und mehrstufige Workflows. Ergänzt wird das Framework durch die kommerziellen Dienste LlamaCloud und LlamaParse eines US-Anbieters. Dieser Fachartikel ordnet Produktfamilie, Konzepte, Ökosystem, Wettbewerb, Betrieb und die DSGVO-Frage herstellerneutral ein.

Dieser Artikel wurde mithilfe künstlicher Intelligenz erstellt und redaktionell geprüft.

28 Min. Lesezeit
Aktualisiert · Oktober 2026
Fachartikel · Expertenbeitrag
LlamaIndex
LlamaIndex, Inc. · San Francisco, USA
Typ
Daten- & RAG-Framework
Sprachen
Python, TypeScript
Lizenz
MIT (Framework)
Kommerziell
LlamaCloud, LlamaParse
Betrieb
Self-Hosted, Managed (US)
Stärke
Ingestion, Parsing, Retrieval
INAGRO Eignung dokumentenzentriertes RAG im Mittelstand
★★★★★
Kapitel 01 · Überblick

Was ist LlamaIndex – und warum taucht es in fast jedem RAG-Projekt auf?

LlamaIndex ist ein Open-Source-Framework, das eine scheinbar einfache, in der Praxis aber anspruchsvolle Aufgabe löst: Es macht die eigenen Daten eines Unternehmens für große Sprachmodelle nutzbar. Handbücher, Verträge, Wikis, Tickets, Datenbanken oder E-Mail-Archive werden eingelesen, strukturiert, durchsuchbar gemacht und so aufbereitet, dass ein Sprachmodell darauf fundierte, belegbare Antworten geben kann. LlamaIndex ist damit kein Sprachmodell und keine Datenbank, sondern die Verbindungsschicht dazwischen.

Um die Rolle von LlamaIndex zu verstehen, lohnt ein Blick auf das Grundproblem. Sprachmodelle wie GPT, Claude, Llama oder Mistral wurden mit öffentlichen Texten trainiert. Ihr Wissen endet an einem Stichtag, und sie kennen weder die internen Arbeitsanweisungen eines Maschinenbauers noch die Preisliste eines Großhändlers oder die Wartungshistorie einer Anlage. Man kann diese Informationen nicht einfach vollständig in jede Anfrage kopieren, denn das Kontextfenster ist begrenzt, jede zusätzliche Seite kostet Rechenzeit und Geld, und zu viel irrelevanter Text verschlechtert die Antwortqualität. Die Lösung heißt Retrieval-Augmented Generation, kurz RAG: Zu jeder Frage werden zunächst die wenigen wirklich relevanten Textpassagen gesucht und dem Modell als Kontext mitgegeben.
Ein RAG-System besteht aus vielen Einzelschritten. Dokumente müssen aus ihren Quellsystemen gelesen, aus PDF, Word oder HTML in sauberen Text überführt, in sinnvolle Abschnitte zerlegt, mit Metadaten angereichert, in Vektoren übersetzt und gespeichert werden. Bei einer Anfrage muss gesucht, gefiltert, nachsortiert, zusammengefasst und formuliert werden. LlamaIndex stellt für jeden dieser Schritte fertige, austauschbare Bausteine bereit und verbindet sie zu einer Pipeline. Entwicklerinnen und Entwickler können so in wenigen Zeilen Code einen funktionsfähigen Prototyp aufbauen und anschließend jede Komponente gezielt verfeinern, ohne das Gesamtsystem neu schreiben zu müssen.

Herkunft: vom GPT Index zum eigenständigen Unternehmen

LlamaIndex entstand Ende 2022 als Open-Source-Projekt unter dem Namen GPT Index. Die ursprüngliche Idee war, Sprachmodellen über geschickt aufgebaute Indexstrukturen Zugriff auf Textmengen zu geben, die nicht in ein einzelnes Kontextfenster passen. Mit der rasant wachsenden Verbreitung von RAG-Anwendungen wuchs das Projekt schnell, wurde in LlamaIndex umbenannt und in ein Unternehmen mit Sitz in San Francisco überführt. Das Geschäftsmodell folgt einem verbreiteten Muster: Das Framework ist unter der permissiven MIT-Lizenz frei verfügbar, während das Unternehmen mit gemanagten Diensten wie LlamaCloud und dem Dokumentenparser LlamaParse Umsatz erzielt.
Für Anwender im DACH-Raum ist diese Zweiteilung wichtig. Das Framework selbst ist reiner Programmcode, der in der eigenen Infrastruktur läuft und keine Daten an den Hersteller übermittelt. Die kommerziellen Dienste dagegen werden von einem US-amerikanischen Anbieter betrieben und unterliegen damit anderen datenschutzrechtlichen Fragestellungen. Wer von LlamaIndex spricht, sollte deshalb immer klarstellen, ob das Open-Source-Framework oder die Cloud-Plattform gemeint ist. Die Unterscheidung zieht sich durch diesen gesamten Artikel.

Die Rolle von LlamaIndex in einer RAG-Architektur

In einer typischen RAG-Architektur übernimmt LlamaIndex die Rolle des Orchestrators für Daten und Abfragen. Auf der Datenseite steuert es das Einlesen, Zerlegen, Anreichern und Indexieren. Auf der Abfrageseite steuert es Suche, Filterung, Nachsortierung und die Zusammenstellung des Kontexts für das Sprachmodell. Die eigentliche Speicherung übernimmt eine Vektordatenbank wie Qdrant, Weaviate oder pgvector, die Vektorisierung ein Embedding-Modell und die Antwortformulierung ein Sprachmodell. LlamaIndex spricht mit all diesen Komponenten über einheitliche Schnittstellen. Das hat einen handfesten Vorteil: Wer heute mit einem Cloud-Sprachmodell startet und morgen auf ein selbst betriebenes Open-Weight-Modell wechseln will, tauscht im Idealfall nur eine Konfigurationszeile aus.
In den letzten Entwicklungsjahren hat sich der Fokus des Projekts erweitert. Neben klassischem RAG stehen heute Agenten und ereignisgesteuerte Workflows im Mittelpunkt, die mehrere Werkzeuge, Datenquellen und Entscheidungsschritte kombinieren. Der Anbieter positioniert sich zunehmend als Plattform für sogenannte Knowledge Agents und Dokumentenautomatisierung, also für Anwendungen, die nicht nur Fragen beantworten, sondern Dokumente auswerten, Daten extrahieren und Folgeaktionen auslösen. Der Kern bleibt aber derselbe: die zuverlässige Verbindung von Unternehmensdaten mit Sprachmodellen.
INAGRO-Einschätzung

LlamaIndex ist aus unserer Sicht eines der reifsten und am stärksten auf Daten fokussierten RAG-Frameworks. Es eignet sich besonders für dokumentenlastige Anwendungen, in denen Parsing, Chunking, Metadaten und Retrieval-Qualität den Unterschied machen. Das Open-Source-Framework lässt sich vollständig souverän betreiben; bei den Cloud-Diensten des US-Anbieters ist dagegen eine sorgfältige Datenschutzprüfung nötig. Für sehr einfache Anwendungsfälle kann ein Framework sogar überdimensioniert sein – dann reicht manchmal eine schlanke Eigenentwicklung direkt gegen die Vektordatenbank.

Kapitel 02 · Produktfamilie

Framework, LlamaHub und Cloud: die Bausteine der Produktfamilie

LlamaIndex ist kein einzelnes Produkt, sondern eine Familie aus quelloffenen Bibliotheken, einem Integrationsverzeichnis und kommerziellen Cloud-Diensten. Für die Bewertung ist entscheidend, welche Teile in der eigenen Umgebung laufen und welche Daten an den Anbieter übermitteln. Die folgende Übersicht ist bewusst qualitativ; aktuelle Funktionsumfänge und Konditionen sind beim Anbieter zu prüfen.

LlamaIndex (Python)
MIT

Das Haupt-Framework mit dem größten Funktionsumfang. Modular aufgebaut aus einem Kernpaket und zahlreichen separat installierbaren Integrationspaketen für Modelle, Datenbanken und Datenquellen.

Betriebeigene Umgebung
Datenflussselbst bestimmt
Lizenzkostenkeine
LlamaIndex.TS
MIT

Die TypeScript-Variante für JavaScript-Umgebungen wie Node.js und moderne Web-Frameworks. Sie folgt denselben Konzepten, hat aber in der Regel einen kleineren Integrationsumfang als die Python-Version.

ZielgruppeWeb-Teams
UmfangKernfunktionen
Lizenzkostenkeine
LlamaHub
Verzeichnis

Das Verzeichnis für Integrationen: Datenkonnektoren, Vektorspeicher, Modellanbindungen, Werkzeuge für Agenten und vorkonfigurierte Vorlagen. Viele Einträge stammen aus der Community.

InhaltIntegrationen
PflegeAnbieter & Community
Qualitätuneinheitlich
LlamaCloud & LlamaParse
Managed

Kommerzielle Plattform des US-Anbieters für Dokumentenparsing, strukturierte Extraktion sowie gemanagte Ingestion- und Retrieval-Pipelines. Abrechnung nutzungsbasiert, Einstiegskontingent verfügbar.

Betriebdurch Anbieter
Datenstandortbeim Anbieter prüfen
Kostennutzungsbasiert

Das Open-Source-Framework für Python und TypeScript

Das Python-Framework ist das Herzstück der Produktfamilie und der Ausgangspunkt fast aller Projekte. Seit einer grundlegenden Umstrukturierung ist es modular aufgebaut: Ein Kernpaket enthält die zentralen Abstraktionen wie Dokumente, Nodes, Indizes, Retriever, Query Engines und Workflows. Jede Anbindung an einen externen Dienst, etwa an ein bestimmtes Sprachmodell, eine Vektordatenbank oder eine Datenquelle, ist als eigenes Paket installierbar. Für Unternehmen hat dieser Aufbau einen praktischen Vorteil: Man installiert nur, was man tatsächlich braucht, hält die Abhängigkeiten überschaubar und kann einzelne Integrationen unabhängig voneinander aktualisieren. Ein bequemes Starterpaket bündelt die gängigsten Komponenten für schnelle Prototypen.
LlamaIndex.TS überträgt die Konzepte in die TypeScript-Welt. Das ist interessant für Teams, deren Anwendungen ohnehin in JavaScript-Ökosystemen entstehen, etwa Webportale, Kundenserviceoberflächen oder interne Tools auf Basis moderner Web-Frameworks. In der Praxis zeigt sich allerdings, dass die Python-Version in Funktionsumfang, Integrationsbreite und Dokumentation meist einen Vorsprung hat. Für komplexe Ingestion-Pipelines und fortgeschrittene Retrieval-Techniken empfehlen wir deshalb in der Regel Python im Backend; die TypeScript-Variante spielt ihre Stärken eher bei schlanken, webnahen Anwendungen aus.

LlamaHub: das Verzeichnis der Integrationen

LlamaHub ist der zentrale Katalog für Erweiterungen. Dort finden sich Datenkonnektoren, im Framework als Reader bezeichnet, für Hunderte Quellen: von lokalen Dateien und Netzlaufwerken über SharePoint, Confluence, Google Drive, Notion und Slack bis zu relationalen Datenbanken, Webseiten und Fachanwendungen. Hinzu kommen Anbindungen an Vektorspeicher, Sprach- und Embedding-Modelle, Werkzeugsammlungen für Agenten sowie fertige Beispielpipelines. Die Breite dieses Angebots ist einer der Hauptgründe für die Beliebtheit von LlamaIndex, denn viele Integrationsaufgaben müssen nicht von Grund auf neu programmiert werden.
Ein ehrlicher Hinweis gehört allerdings dazu: Die Qualität der Integrationen ist uneinheitlich. Neben gut gepflegten Paketen, die vom Kernteam oder von Datenbankherstellern betreut werden, gibt es Community-Beiträge, die seltener aktualisiert werden oder nur einen Teil der Funktionen der Zielplattform abdecken. Für produktive Projekte sollte jeder eingesetzte Konnektor geprüft werden: Wie aktiv wird er gepflegt? Werden Berechtigungen und Metadaten der Quelle korrekt übernommen? Unterstützt er inkrementelle Aktualisierungen? Gerade bei Unternehmensquellen wie SharePoint oder Dateiservern entscheidet diese Prüfung darüber, ob ein Konnektor direkt genutzt, angepasst oder durch eine eigene Lösung ersetzt wird.

LlamaCloud und LlamaParse: die kommerzielle Plattform

LlamaParse ist ein Dienst zur Umwandlung komplexer Dokumente in maschinenlesbaren Text. Er wurde entwickelt, weil klassische PDF-Extraktion bei Tabellen, mehrspaltigen Layouts, eingebetteten Grafiken, Formularen oder gescannten Seiten häufig unbrauchbare Ergebnisse liefert. LlamaParse kombiniert Layouterkennung mit Sprach- und Bildmodellen und liefert strukturierten Text, etwa als Markdown mit erhaltenen Tabellen. Für RAG-Projekte mit technischen Datenblättern, Geschäftsberichten oder Normendokumenten kann das die Antwortqualität spürbar verbessern, weil Zahlen und Tabellenzusammenhänge erhalten bleiben.
LlamaCloud erweitert dieses Angebot zu einer gemanagten Plattform. Dazu gehören neben dem Parsing auch Dienste zur strukturierten Datenextraktion aus Dokumenten, gemanagte Ingestion-Pipelines, die Datenquellen regelmäßig synchronisieren, sowie bereitgestellte Retrieval-Endpunkte. Unternehmen können damit den aufwendigsten Teil eines RAG-Projekts, die Datenaufbereitung, an den Anbieter auslagern. Der Preis dafür ist, dass Dokumente zur Verarbeitung an die Plattform des US-Anbieters übermittelt werden. Ob und in welcher Form Datenresidenz in Europa, dedizierte Instanzen oder Betrieb in der eigenen Cloud angeboten werden, ändert sich im Zeitverlauf und ist vor jeder Nutzung beim Anbieter zu prüfen.
Framework und Cloud strikt trennen

Das Open-Source-Framework und die Cloud-Dienste lassen sich unabhängig voneinander nutzen. Man kann LlamaIndex vollständig ohne LlamaCloud betreiben und für das Parsing quelloffene Alternativen einsetzen. Umgekehrt ist LlamaParse auch ohne das Framework über eine Programmierschnittstelle nutzbar. Diese Trennung ist die wichtigste Stellschraube für eine datenschutzfreundliche Architektur.

Kapitel 03 · Kernkonzepte

Loader, Nodes, Indizes, Retriever: wie LlamaIndex denkt

Wer LlamaIndex sinnvoll einsetzen will, muss nicht jede Klasse kennen, aber die zentralen Begriffe verstehen. Sie bilden den Weg der Daten ab: vom Quelldokument über kleine, angereicherte Textabschnitte und deren Indexierung bis zur Abfrage, die eine Antwort mit Quellenangaben erzeugt.

Von Dokumenten zu Nodes: die Ingestion-Pipeline

Am Anfang stehen Data Loader, im Framework Reader genannt. Sie lesen Inhalte aus einer Quelle und erzeugen daraus Documents: Objekte, die Text und Metadaten wie Dateiname, Pfad, Erstellungsdatum oder Autor enthalten. Ein einfacher Verzeichnis-Reader verarbeitet bereits gängige Formate wie PDF, Word, PowerPoint, Markdown und HTML; für komplexere Formate werden spezialisierte Parser angebunden, etwa LlamaParse oder quelloffene Alternativen.
Documents sind für die Suche meist zu groß. Deshalb zerlegen Node Parser sie in kleinere Einheiten, die Nodes. Ein Node ist ein Textabschnitt mit eigenen Metadaten und mit Beziehungen zu seinem Ursprungsdokument sowie zu vorherigen und folgenden Abschnitten. LlamaIndex bietet verschiedene Strategien: Zerlegung nach Satz- oder Tokengrenzen mit Überlappung, Zerlegung entlang der Dokumentstruktur etwa bei Markdown-Überschriften, semantische Zerlegung anhand inhaltlicher Brüche oder hierarchische Zerlegung, bei der große und kleine Abschnitte gleichzeitig erzeugt werden. Die Wahl der Strategie ist einer der wichtigsten Hebel für die Antwortqualität.
Die Ingestion Pipeline fasst diese Schritte zusammen. Sie besteht aus einer Abfolge von Transformationen, zum Beispiel Zerlegen, Metadaten mit einem Sprachmodell anreichern, Titel oder Zusammenfassungen extrahieren und Embeddings berechnen. Die Pipeline kann Zwischenergebnisse zwischenspeichern und über einen Dokumentenspeicher erkennen, welche Dokumente sich seit dem letzten Lauf geändert haben. So werden bei regelmäßigen Aktualisierungen nur neue oder geänderte Inhalte erneut verarbeitet. Für den Betrieb im Unternehmen ist das zentral, denn eine vollständige Neuindexierung großer Bestände kostet Zeit und, bei kostenpflichtigen Embedding-Diensten, auch Geld.

Indizes: unterschiedliche Wege, Wissen zu organisieren

Ein Index ist in LlamaIndex eine Datenstruktur, die Nodes so organisiert, dass sie für eine Anfrage effizient gefunden werden können. Der mit Abstand am häufigsten genutzte Index ist der Vektorindex, doch das Framework kennt weitere Varianten für unterschiedliche Aufgaben.
Indextyp Funktionsweise Typischer Einsatz
VectorStoreIndex Speichert Embeddings der Nodes in einem Vektorspeicher und findet inhaltlich ähnliche Abschnitte Standardfall für RAG über Dokumentensammlungen
SummaryIndex Hält alle Nodes als Liste vor und gibt sie bei Bedarf vollständig an das Modell weiter Zusammenfassungen kleiner Dokumentmengen
DocumentSummaryIndex Erzeugt pro Dokument eine Zusammenfassung und wählt anhand dieser die passenden Dokumente Viele heterogene Dokumente, Auswahl auf Dokumentebene
KeywordTableIndex Ordnet Nodes extrahierten Schlüsselwörtern zu Begriffsgetriebene Suche, Ergänzung zur Vektorsuche
PropertyGraphIndex Baut aus Texten einen Wissensgraphen aus Entitäten und Beziehungen auf Fragen über Zusammenhänge, GraphRAG-Ansätze
Wichtig für die Architektur: Der Index ist in LlamaIndex eine logische Struktur, die Speicherung übernimmt eine austauschbare Komponente. Ein Vektorindex kann seine Daten im Arbeitsspeicher halten, was für Prototypen genügt, oder in einer externen Vektordatenbank ablegen. Für produktive Systeme ist Letzteres praktisch immer die richtige Wahl, da nur so Persistenz, Skalierung, Filter und Zugriffsschutz professionell abgebildet werden. Der sogenannte Storage Context bündelt dabei Vektorspeicher, Dokumentenspeicher und Indexspeicher.

Retriever, Postprozessoren und Query Engines

Auf der Abfrageseite arbeiten drei Bausteinarten zusammen. Ein Retriever holt zu einer Frage die relevantesten Nodes aus einem oder mehreren Indizes, etwa die zehn ähnlichsten Abschnitte, gegebenenfalls eingeschränkt durch Metadatenfilter wie Abteilung, Dokumenttyp oder Gültigkeitsdatum. Fortgeschrittene Retriever kombinieren Vektor- und Schlüsselwortsuche zur Hybrid-Suche, erzeugen aus einer Frage mehrere Suchvarianten und führen deren Ergebnisse zusammen oder holen zu einem gefundenen kleinen Abschnitt automatisch den übergeordneten größeren Kontext nach.
Node-Postprozessoren bearbeiten die gefundenen Treffer, bevor sie an das Sprachmodell gehen. Typische Beispiele sind Reranker, die die Treffer mit einem spezialisierten Modell neu sortieren, Filter, die Treffer unterhalb eines Ähnlichkeitsschwellwerts verwerfen, oder Komponenten, die personenbezogene Daten maskieren. Die Query Engine schließlich verbindet Retriever, Postprozessoren und einen Response Synthesizer, der die Treffer mit der Frage zu einem Prompt zusammenführt und die Antwort erzeugt. Je nach Modus werden die Treffer gemeinsam verarbeitet, schrittweise verfeinert oder hierarchisch zusammengefasst. Das Ergebnis enthält neben dem Antworttext die verwendeten Quellen, was für nachvollziehbare Antworten unverzichtbar ist.
Für Dialoganwendungen gibt es Chat Engines, die den Gesprächsverlauf berücksichtigen und Folgefragen in eigenständige Suchanfragen umformulieren. Für komplexere Szenarien existieren Router, die eine Frage an die passende von mehreren Query Engines weiterleiten, sowie Engines, die eine Frage in Teilfragen zerlegen, diese getrennt beantworten und die Ergebnisse zusammenführen. Diese Bausteine sind der Übergang zu den Agenten, die im nächsten Kapitel beschrieben werden.
Zentrale Konfiguration über Settings

Welche Sprach- und Embedding-Modelle, welche Zerlegungsstrategie und welche Standardparameter verwendet werden, lässt sich in LlamaIndex zentral über ein Settings-Objekt festlegen und bei Bedarf für einzelne Komponenten überschreiben. Für Unternehmen ist das hilfreich, um Vorgaben wie „nur selbst betriebene Modelle“ an einer Stelle durchzusetzen und zu dokumentieren.

Kapitel 04 · Agenten & Workflows

Vom Frage-Antwort-System zum Knowledge Agent

Klassisches RAG folgt einem festen Ablauf: suchen, Kontext bilden, antworten. Viele Unternehmensaufgaben sind jedoch komplexer. Sie erfordern mehrere Suchschritte, Rechenoperationen, Abfragen in Fachsystemen oder Rückfragen an Menschen. LlamaIndex bietet dafür zwei eng verwandte Konzepte: ereignisgesteuerte Workflows und Agenten.

Workflows: ereignisgesteuerte Abläufe mit klarer Struktur

Workflows sind das Fundament, auf dem neuere Teile des Frameworks aufbauen. Ein Workflow besteht aus Schritten, die auf bestimmte Ereignisse reagieren und selbst neue Ereignisse auslösen. Ein Startereignis kann beispielsweise einen Schritt zur Dokumentenklassifikation auslösen, dessen Ergebnis je nach Dokumenttyp unterschiedliche Folgeschritte startet, etwa eine Rechnungsprüfung oder eine Vertragsanalyse. Schritte können parallel laufen, auf mehrere Ereignisse warten, Zwischenergebnisse in einem gemeinsamen Kontext ablegen und Fortschritte an die Benutzeroberfläche streamen.
Gegenüber starren Ketten haben Workflows einen wichtigen Vorteil: Sie machen Verzweigungen, Schleifen und Wiederholungen explizit. Das erleichtert Fehlersuche, Tests und Dokumentation, was gerade in regulierten Umgebungen wichtig ist. Workflows unterstützen zudem Unterbrechungen für menschliche Freigaben. Ein Ablauf kann an einer definierten Stelle anhalten, auf die Bestätigung einer Sachbearbeiterin warten und danach fortfahren. Diese Möglichkeit, den Menschen bewusst in die Schleife zu holen, ist für viele Mittelstandsprozesse eine Voraussetzung, um KI überhaupt in produktive Abläufe zu integrieren.

Agenten: Sprachmodelle, die Werkzeuge nutzen

Ein Agent ist ein Sprachmodell, das selbstständig entscheidet, welche Werkzeuge es in welcher Reihenfolge nutzt, um eine Aufgabe zu lösen. In LlamaIndex kann praktisch jede Komponente zum Werkzeug werden: eine Query Engine über das Qualitätshandbuch, eine Python-Funktion zur Abfrage des Lagerbestands im ERP, eine Suche im Ticketsystem oder ein Rechenmodul. Das Framework stellt Agenten bereit, die die Funktionsaufrufe moderner Sprachmodelle nutzen, sowie Varianten nach dem bekannten ReAct-Muster, bei dem das Modell abwechselnd überlegt und handelt. Werkzeuge lassen sich zudem über das Model Context Protocol einbinden, einen offenen Standard für die Anbindung externer Dienste an Sprachmodelle.
Für komplexere Aufgaben können mehrere spezialisierte Agenten zusammenarbeiten. Ein Rechercheagent sammelt Informationen, ein Analyseagent wertet sie aus, ein Schreibagent formuliert das Ergebnis, und die Übergabe zwischen ihnen wird über einen übergeordneten Workflow gesteuert. Solche Multi-Agenten-Systeme sind leistungsfähig, aber auch schwieriger zu kontrollieren: Jeder zusätzliche Entscheidungsschritt eines Modells erhöht Kosten, Latenz und das Risiko unerwarteten Verhaltens.

Wann Agenten sinnvoll sind – und wann nicht

In der Projektpraxis beobachten wir eine Tendenz, Agenten auch dort einzusetzen, wo ein klar definierter Ablauf besser wäre. Unsere Faustregel: Ist der Lösungsweg im Voraus bekannt, gehört er in einen deterministischen Workflow mit festgelegten Schritten. Agenten lohnen sich dort, wo der Lösungsweg tatsächlich von der Anfrage abhängt, etwa bei Recherchefragen, die mal das Handbuch, mal das ERP und mal beide Quellen erfordern. Auch dann empfiehlt es sich, die Werkzeuge eng zu begrenzen, schreibende Aktionen nur mit Freigabe zu erlauben und jeden Schritt zu protokollieren.
Praxisempfehlung

Starten Sie mit einer guten Query Engine über einen klar abgegrenzten Datenbestand. Erst wenn die Retrieval-Qualität stimmt, lohnt der Schritt zum Agenten. Ein Agent, der auf schlechten Suchergebnissen aufbaut, produziert nur schneller und selbstbewusster falsche Antworten.

Kapitel 05 · Integrationen

Vektordatenbanken, Modelle, Datenquellen: das Ökosystem

Die Stärke von LlamaIndex liegt nicht in einer einzelnen Funktion, sondern in der Breite der Anbindungen. Nahezu jede relevante Vektordatenbank, jedes verbreitete Sprachmodell und eine große Zahl von Datenquellen lassen sich über einheitliche Schnittstellen nutzen. Damit wird das Framework zur Drehscheibe einer modularen RAG-Architektur.

Kategorie Beispiele Hinweis für die Auswahl
Vektordatenbanken Qdrant, Weaviate, Milvus, pgvector, Chroma, Elasticsearch, OpenSearch, Azure AI Search, Pinecone Self-Hosting-Fähigkeit und Filterunterstützung prüfen
Sprachmodelle OpenAI, Azure OpenAI, Anthropic, Mistral, Google, Ollama, vLLM, Hugging Face Datenstandort und Vertragsgrundlage der Inferenz klären
Embedding-Modelle Cloud-Embeddings, Cohere, quelloffene Modelle über Hugging Face oder lokale Server Mehrsprachigkeit und Deutschqualität testen
Datenquellen Dateisysteme, SharePoint, Confluence, Google Drive, Notion, SQL-Datenbanken, Webseiten Pflegezustand und Rechteübernahme des Konnektors prüfen
Beobachtbarkeit Langfuse, Arize Phoenix, OpenTelemetry-basierte Werkzeuge Selbst betreibbare Optionen bevorzugen

Vektordatenbanken: austauschbarer Speicher mit Feinheiten

LlamaIndex abstrahiert Vektordatenbanken über eine gemeinsame Schnittstelle. Das erlaubt einen frühen Prototyp mit einem einfachen lokalen Speicher und einen späteren Wechsel auf eine produktionsreife Datenbank. Für den Mittelstand besonders relevant sind Qdrant und Weaviate als quelloffene, selbst betreibbare Spezialdatenbanken sowie pgvector für Unternehmen, die bereits PostgreSQL betreiben. Auch Elasticsearch und OpenSearch sind attraktiv, wenn eine bestehende Suchinfrastruktur mitgenutzt werden soll.
Die Abstraktion hat jedoch Grenzen. Nicht jede Integration unterstützt alle Fähigkeiten der jeweiligen Datenbank, etwa komplexe Metadatenfilter, native Hybrid-Suche, Multivektoren oder datenbankspezifische Quantisierung. Wer solche Funktionen braucht, sollte vorab prüfen, ob die Integration sie abbildet, oder bewusst an einzelnen Stellen direkt mit dem Client der Datenbank arbeiten. Außerdem gilt: Die Wahl der Vektordatenbank ist eine Betriebsentscheidung mit langer Wirkung. Sie sollte sich an Datenschutz, Betriebsfähigkeit und vorhandenem Know-how orientieren, nicht allein an der Frage, welche Integration am schnellsten lauffähig ist.

Sprach- und Embedding-Modelle: Cloud oder selbst betrieben

Bei den Modellen ist die Bandbreite ähnlich groß. LlamaIndex unterstützt die großen Cloud-Anbieter ebenso wie selbst betriebene Open-Weight-Modelle, etwa über Ollama für einfache Installationen oder über Inferenzserver wie vLLM für produktive Lasten. Für Unternehmen mit hohen Datenschutzanforderungen ist genau diese Flexibilität entscheidend: Die gesamte Pipeline, von den Embeddings bis zur Antwortgenerierung, kann im eigenen Rechenzentrum oder bei einem europäischen Hoster laufen. Alternativ lassen sich Cloud-Modelle in europäischen Regionen nutzen, sofern die Vertragslage dies trägt.
Bei Embedding-Modellen lohnt besondere Sorgfalt. Viele populäre Modelle sind primär auf Englisch optimiert. Für deutschsprachige Dokumente, Fachbegriffe, zusammengesetzte Substantive und gemischtsprachige Bestände sollte die Qualität mit eigenen Testfragen geprüft werden. LlamaIndex erleichtert solche Vergleiche, weil das Embedding-Modell zentral ausgetauscht und die Pipeline mit identischen Daten erneut durchlaufen werden kann. Wichtig: Ein Wechsel des Embedding-Modells erfordert immer eine Neuindexierung, weil Vektoren unterschiedlicher Modelle nicht vergleichbar sind.

Datenquellen, Parsing und Beobachtbarkeit

Auf der Quellenseite verbindet LlamaIndex Dateiablagen, Kollaborationsplattformen, Wikis und Datenbanken. Für das Parsing komplexer Dokumente kann neben LlamaParse auch auf quelloffene Werkzeuge zurückgegriffen werden, etwa Unstructured oder Docling, die sich lokal betreiben lassen. Für den laufenden Betrieb ist die Beobachtbarkeit zentral: LlamaIndex verfügt über ein Instrumentierungssystem, das jeden Schritt einer Anfrage, also Retrieval, Reranking, Prompt und Modellantwort, als Ereignis erfasst. Diese Daten können an Werkzeuge wie Langfuse oder Arize Phoenix weitergegeben werden, die sich ebenfalls selbst betreiben lassen. So wird nachvollziehbar, warum ein System eine bestimmte Antwort gegeben hat.
Souveräner Standardstapel

Eine bewährte Kombination für datenschutzsensible Projekte: LlamaIndex als Framework, ein lokal betriebener Parser, ein mehrsprachiges Open-Source-Embedding-Modell, Qdrant oder pgvector als Vektorspeicher, ein selbst betriebenes oder in der EU gehostetes Sprachmodell und Langfuse für die Beobachtbarkeit. Alle Bausteine lassen sich auf eigener Infrastruktur betreiben.

Kapitel 06 · Abgrenzung

LlamaIndex, LangChain, Haystack: ähnliche Ziele, unterschiedliche Schwerpunkte

LlamaIndex ist nicht das einzige Framework für RAG- und Agenten-Anwendungen. Die häufigsten Alternativen sind LangChain und Haystack. Alle drei sind quelloffen, alle drei unterstützen die gängigen Modelle und Datenbanken, und alle drei haben sich in den vergangenen Jahren aufeinander zubewegt. Dennoch gibt es klare Unterschiede in Philosophie, Schwerpunkt und Herkunft.

Kriterium LlamaIndex LangChain Haystack
Schwerpunkt Daten, Ingestion, Retrieval Orchestrierung, Agenten, Ketten Produktionsreife Such- und RAG-Pipelines
Anbieter US-Unternehmen US-Unternehmen deepset, Berlin
Lizenz MIT MIT Apache 2.0
Sprachen Python, TypeScript Python, JavaScript/TypeScript Python
Dokumentenparsing stark, inkl. LlamaParse über Integrationen über Konverter und Integrationen
Agenten Workflows und Agenten sehr breit, mit LangGraph Agenten-Komponenten vorhanden
Kommerzielles Angebot LlamaCloud, LlamaParse LangSmith, Plattformdienste deepset-Plattform

LlamaIndex und LangChain: Daten zuerst oder Orchestrierung zuerst

LangChain ist das breiteste Framework im Markt. Es entstand mit dem Anspruch, Sprachmodelle mit Werkzeugen, Gedächtnis und externen Diensten zu verketten, und hat mit LangGraph eine leistungsfähige Lösung für zustandsbehaftete Agenten-Abläufe. Das Ökosystem ist sehr groß, mit dem kommerziellen Dienst LangSmith steht eine verbreitete Plattform für Beobachtbarkeit und Evaluierung bereit. Der breite Ansatz hat aber auch eine Kehrseite: Viele Teams empfinden die Abstraktionen als umfangreich und die Lernkurve als steil.
LlamaIndex setzt den Schwerpunkt dagegen traditionell auf die Datenseite. Ingestion, Parsing, Zerlegung, Indexstrukturen und fortgeschrittene Retrieval-Techniken sind tiefer ausgearbeitet und oft mit weniger Code nutzbar. Für Anwendungen, deren Qualität vor allem davon abhängt, ob die richtigen Passagen aus großen, unstrukturierten Dokumentbeständen gefunden werden, ist LlamaIndex deshalb häufig der direktere Weg. Beide Frameworks schließen sich nicht aus: In der Praxis begegnen uns Projekte, die LlamaIndex für die Datenaufbereitung und das Retrieval nutzen und die Agentenlogik mit LangGraph umsetzen. Allerdings verdoppelt eine solche Kombination die Abhängigkeiten und sollte bewusst entschieden werden.

LlamaIndex und Haystack: Flexibilität oder europäische Produktionsnähe

Haystack wird vom Berliner Unternehmen deepset entwickelt und ist eines der ältesten Frameworks für Such- und Frage-Antwort-Systeme. Es arbeitet mit klar typisierten Komponenten und Pipelines, die als Graph beschrieben und serialisiert werden können. Haystack gilt als besonders produktionsorientiert und gut testbar. Für Unternehmen mit europäischem Souveränitätsanspruch ist zudem relevant, dass der Hersteller in Deutschland sitzt und die kommerzielle Plattform entsprechend aufgestellt ist.
LlamaIndex bietet demgegenüber eine größere Vielfalt an Retrieval-Strategien und Indexvarianten, eine breitere Community und mit LlamaParse einen starken, wenn auch US-basierten Parsing-Dienst. Die Wahl zwischen beiden hängt oft weniger von der Technik als von Rahmenbedingungen ab: Welche Erfahrung hat das Team? Wie wichtig ist ein europäischer Anbieter für eine spätere kommerzielle Plattform? Wie stark sollen Pipelines formal beschrieben und versioniert werden? Für reine Open-Source-Projekte auf eigener Infrastruktur sind beide Frameworks gleichermaßen datenschutzfreundlich, weil keines von ihnen Daten an den Hersteller übermittelt.

Wann gar kein Framework die bessere Wahl ist

Ein Punkt kommt in vielen Vergleichen zu kurz: Nicht jedes Projekt braucht ein Framework. Ein einfacher Assistent, der eine überschaubare Dokumentensammlung durchsucht, lässt sich auch mit dem Client der Vektordatenbank, einer Embedding-Bibliothek und einem direkten Modellaufruf in wenigen hundert Zeilen Code umsetzen. Das reduziert Abhängigkeiten und macht jedes Detail transparent. Frameworks wie LlamaIndex spielen ihre Stärken aus, wenn viele Quellen, komplexe Dokumente, fortgeschrittene Retrieval-Techniken oder Agenten-Abläufe ins Spiel kommen, oder wenn ein Team schnell viele Varianten ausprobieren will.
Unsere Entscheidungshilfe

Dokumentenlastiges RAG mit komplexen Formaten und vielen Quellen spricht für LlamaIndex. Komplexe, zustandsbehaftete Agentensysteme sprechen eher für LangChain mit LangGraph. Ein starker Wunsch nach europäischem Hersteller und formal beschriebenen Pipelines spricht für Haystack. Kleine, klar umrissene Anwendungsfälle kommen oft auch ohne Framework aus.

Kapitel 07 · Einführung & Betrieb

Vom Notebook zur Produktion: LlamaIndex sauber betreiben

Ein erster LlamaIndex-Prototyp ist in wenigen Stunden lauffähig. Der Weg zu einem stabilen, sicheren und messbar guten Produktivsystem ist deutlich länger. Dieses Kapitel beschreibt den typischen Pfad und die Punkte, an denen Projekte in der Praxis nachsteuern müssen.

01
Anwendungsfall und Testfragen definieren
Klar umrissener Use Case mit überschaubarem Datenbestand. Gemeinsam mit Fachanwendern entsteht ein Satz realistischer Testfragen samt erwarteter Antworten und Quellen – die Grundlage jeder späteren Qualitätsmessung.
02
Prototyp mit echten Dokumenten
Erste Pipeline mit LlamaIndex: Einlesen, Zerlegen, Indexieren, Abfragen. Bereits hier werden Parser, Zerlegungsstrategie und Embedding-Modell anhand der Testfragen verglichen, nicht anhand von Bauchgefühl.
03
Architektur und Datenschutz festlegen
Entscheidung über Vektordatenbank, Modellbetrieb, Parsing-Weg und Hosting. Klärung, ob Cloud-Dienste wie LlamaParse zulässig sind oder lokale Alternativen genutzt werden. Abstimmung mit Datenschutzbeauftragten.
04
Produktionsreife herstellen
Anwendung als Dienst kapseln, inkrementelle Ingestion einrichten, Berechtigungsfilter umsetzen, Beobachtbarkeit anbinden, automatisierte Evaluierung in die Auslieferung integrieren und Versionen fixieren.
05
Rollout und kontinuierliche Verbesserung
Schrittweiser Rollout an Pilotnutzer, Erfassung von Feedback, regelmäßige Auswertung schlechter Antworten und gezielte Verbesserung von Daten, Zerlegung und Retrieval. Updates zuerst in einer Testumgebung prüfen.

Architektur und Deployment

LlamaIndex ist eine Bibliothek, kein Server. In produktiven Systemen wird sie deshalb in eine eigene Anwendung eingebettet, typischerweise einen Webdienst auf Basis eines Python-Frameworks wie FastAPI, der in einem Container läuft. Bewährt hat sich die Trennung von Ingestion und Abfrage: Ein eigener Prozess, etwa ein zeitgesteuerter Job, liest Quellen regelmäßig ein und aktualisiert die Vektordatenbank. Der Abfragedienst greift nur lesend darauf zu und kann unabhängig skaliert werden. So beeinträchtigen große Importläufe nicht die Antwortzeiten für die Nutzer.
Für Workflows und Agenten bietet das Ökosystem zusätzliche Werkzeuge, um diese als eigenständige Dienste bereitzustellen. Ob man diese nutzt oder Workflows in die eigene Anwendung integriert, hängt von der vorhandenen Plattform ab. Wichtig ist in beiden Fällen, Zustände wie Gesprächsverläufe oder unterbrochene Workflows in einem persistenten Speicher abzulegen, damit Neustarts und Skalierung keine Daten verlieren. Berechtigungen der Endnutzer werden in der Regel über Metadatenfilter abgebildet: Jeder Node trägt die Information, welche Gruppen ihn sehen dürfen, und jede Anfrage filtert entsprechend der Identität des Nutzers.

Qualität messen, beobachten, verbessern

Der häufigste Fehler in RAG-Projekten ist, Qualität nach Gefühl zu beurteilen. LlamaIndex enthält Module zur Evaluierung, mit denen sich etwa prüfen lässt, ob eine Antwort durch die gefundenen Quellen gedeckt ist, ob sie zur Frage passt und ob das Retrieval die erwarteten Dokumente gefunden hat. Ergänzend lassen sich spezialisierte Werkzeuge wie Ragas einsetzen. Entscheidend ist, diese Messungen nicht einmalig, sondern bei jeder Änderung an Parser, Zerlegung, Modell oder Prompt automatisiert durchzuführen.
Ebenso wichtig ist die laufende Beobachtung im Betrieb. Über die Instrumentierung lassen sich Antwortzeiten, Kosten pro Anfrage, gefundene Quellen und Nutzerfeedback erfassen. Schlecht bewertete Antworten werden gesammelt, analysiert und auf ihre Ursache zurückgeführt: Fehlt das Wissen in den Daten? Wurde es falsch zerlegt? Hat das Retrieval versagt oder das Sprachmodell? Diese Ursachenanalyse ist der eigentliche Hebel für bessere Systeme.

Versionierung und Wartung

LlamaIndex entwickelt sich sehr schnell. Neue Versionen erscheinen in kurzen Abständen, und in der Vergangenheit gab es mehrfach größere Umbauten von Schnittstellen und Paketstruktur. Für den Betrieb bedeutet das: Versionen aller Pakete fixieren, Updates bewusst und regelmäßig einplanen, Änderungshinweise lesen und mit der automatisierten Evaluierung absichern. Wer Updates über lange Zeit aufschiebt, steht später vor aufwendigen Migrationen. Hilfreich ist zudem, die Nutzung des Frameworks in der eigenen Anwendung zu kapseln, sodass Änderungen an einer Stelle aufgefangen werden.
Stärken
  • Sehr schneller Weg vom Prototyp zur funktionierenden Pipeline
  • Inkrementelle Ingestion mit Erkennung geänderter Dokumente
  • Austauschbare Komponenten für Modelle und Datenbanken
  • Instrumentierung und Evaluierungsmodule integriert
  • Vollständig selbst betreibbar ohne Lizenzkosten
Einschränkungen
  • Hohe Änderungsfrequenz erfordert aktive Update-Pflege
  • Qualität der Community-Integrationen schwankt
  • Abstraktionen verbergen teils datenbankspezifische Funktionen
  • Kein fertiger Server – Anwendungsschicht muss gebaut werden
  • Cloud-Dienste des US-Anbieters erfordern Datenschutzprüfung
Kapitel 08 · Einsatz im Mittelstand

Wo LlamaIndex im Mittelstand Wirkung entfaltet

Für mittelständische Unternehmen ist nicht die Frage entscheidend, welches Framework die meisten Funktionen hat, sondern welche konkreten Aufgaben sich damit zuverlässig lösen lassen. Die folgenden Anwendungsfälle zeigen, wo LlamaIndex typischerweise als Fundament dient.

Der gemeinsame Nenner ist fast immer derselbe: Wissen liegt verstreut in Handbüchern, Datenblättern, Verträgen, Tickets und Laufwerken, häufig in Formaten, die sich schwer maschinell auswerten lassen. Gescannte Lieferscheine, Tabellen in technischen Spezifikationen oder mehrspaltige Normendokumente sind im Mittelstand die Regel, nicht die Ausnahme. Genau hier spielt LlamaIndex mit seinem Fokus auf Datenaufbereitung seine Stärken aus.

Typische Anwendungsfälle

Interner Wissensassistent

Ein Chat-Assistent beantwortet Fragen zu Richtlinien, Prozessen und Produkten auf Basis von Wiki, Handbüchern und Laufwerken – mit Quellenangaben und Berechtigungsfiltern pro Abteilung.

Weniger Suchzeit
Technische Dokumentation

Servicetechniker fragen Wartungshandbücher, Datenblätter und Störungsberichte ab. Tabellen und Grenzwerte bleiben durch gutes Parsing erhalten und werden korrekt zitiert.

Schnellere Fehlerbehebung
Dokumentenextraktion

Aus Lieferscheinen, Angeboten, Zeugnissen oder Prüfberichten werden strukturierte Daten extrahiert und an ERP oder Qualitätsmanagement übergeben – mit menschlicher Freigabe im Workflow.

Weniger Abtipparbeit
Vertrags- & Ausschreibungsanalyse

Lange Ausschreibungsunterlagen und Verträge werden auf Anforderungen, Fristen und Risiken geprüft. Teilfragen werden getrennt beantwortet und mit Fundstellen zusammengeführt.

Schnellere Angebotsphase
Kundenservice-Unterstützung

Neue Anfragen werden mit gelösten Tickets, FAQ und Produktdokumentation abgeglichen. Mitarbeitende erhalten Antwortentwürfe mit Belegen direkt im Helpdesk.

Kürzere Bearbeitung
Recherche-Agent über mehrere Quellen

Ein Agent kombiniert Handbuch, ERP-Abfrage und Ticketsystem, etwa für die Frage, welche Kunden ein bestimmtes Bauteil verbaut haben und welche bekannten Probleme dazu dokumentiert sind.

Vernetztes Wissen

Eine realistische Referenzarchitektur

Ein typisches Mittelstandsprojekt mit LlamaIndex sieht in unserer Praxis etwa so aus: Ein zeitgesteuerter Ingestion-Dienst liest Dokumente aus Dateiablage, Wiki und Ticketsystem, wandelt komplexe PDFs mit einem lokal betriebenen Parser in strukturierten Text um, zerlegt die Inhalte entlang der Dokumentstruktur und reichert jeden Abschnitt mit Metadaten zu Quelle, Datum, Sprache und Berechtigungsgruppe an. Ein mehrsprachiges Embedding-Modell vektorisiert die Abschnitte, Qdrant oder pgvector speichern sie. Ein Abfragedienst auf Basis von LlamaIndex führt eine Hybrid-Suche mit Berechtigungsfilter aus, sortiert die Treffer mit einem Reranker nach und übergibt die besten Abschnitte an ein Sprachmodell, das in der EU oder im eigenen Rechenzentrum betrieben wird. Langfuse protokolliert jede Anfrage, und ein Evaluierungsjob prüft die Qualität bei jeder Änderung anhand der Testfragen.

Der ehrliche Blick auf Aufwand und Nutzen

LlamaIndex beschleunigt die Entwicklung erheblich, ersetzt aber nicht die eigentliche Arbeit. Die größten Qualitätshebel liegen in der Datenqualität, im Parsing, in der Zerlegung, in sauberen Metadaten und in einer konsequenten Evaluierung. Ein Framework macht diese Arbeit schneller und strukturierter, nicht überflüssig. Hinzu kommt der Aufwand für die Anwendungsschicht, die Integration in Single Sign-on und Berechtigungssysteme sowie für den laufenden Betrieb. Wer mit einem überschaubaren Anwendungsfall startet, Qualität anhand realer Testfragen misst und dann schrittweise erweitert, kommt erfahrungsgemäß deutlich schneller zu belastbaren Ergebnissen als mit einer groß angelegten Plattforminitiative.
Konkrete Preise nennen wir bewusst nicht

Der Aufwand für ein LlamaIndex-basiertes RAG-Projekt hängt stark von Datenlage, Dokumentformaten, Quellsystemen, Berechtigungsmodell und Betriebsanforderungen ab. Pauschale Festpreise wären irreführend. Was wir verlässlich anbieten: einen kompakten Discovery-Workshop, in dem wir Ihre Ausgangslage analysieren, Framework und Komponenten herstellerneutral bewerten und einen transparenten Umsetzungsweg schätzen.

Kapitel 09 · Kosten & DSGVO

Kosten, Datenhoheit und der Umgang mit einem US-Anbieter

Für viele Unternehmen im DACH-Raum ist die Datenschutzfrage bei KI-Projekten mindestens so wichtig wie die Technik. Bei LlamaIndex lautet die Antwort zweigeteilt: Das Open-Source-Framework lässt sich vollständig souverän betreiben. Die Cloud-Dienste LlamaCloud und LlamaParse stammen dagegen von einem US-Anbieter und erfordern eine eigene, sorgfältige Bewertung.

Keine Rechtsberatung

Die folgenden Ausführungen sind eine praxisorientierte Einordnung aus IT- und Projektsicht – keine Rechtsberatung. Für die rechtssichere Bewertung Ihres konkreten Einsatzes, für Auftragsverarbeitungsverträge, Datenschutz-Folgenabschätzungen und die Bewertung von Drittlandtransfers ziehen Sie bitte Ihre Datenschutzbeauftragten oder eine spezialisierte Kanzlei hinzu.

Das Open-Source-Framework: datenschutzfreundlich, wenn die Komponenten stimmen

Das LlamaIndex-Framework ist Programmcode, der in der eigenen Umgebung ausgeführt wird. Es übermittelt bei korrekter Konfiguration keine Inhalte an den Hersteller. Ob eine Lösung datenschutzkonform ist, entscheidet sich deshalb an den angebundenen Komponenten: Wo läuft das Sprachmodell? Wo werden Embeddings berechnet? Wo liegt die Vektordatenbank? Wohin gehen Protokoll- und Beobachtungsdaten? Werden alle Bausteine selbst oder bei europäischen Anbietern betrieben, entsteht eine Architektur, bei der Unternehmensdaten den eigenen Verantwortungsbereich nicht verlassen.
Ein Detail verdient Aufmerksamkeit: Viele Beispiele und Standardeinstellungen im Ökosystem sind auf US-Cloud-Modelle ausgerichtet. Wer nicht explizit konfiguriert, welche Modelle genutzt werden, schickt im Zweifel Daten an einen Dienst, den niemand bewusst ausgewählt hat. Deshalb empfehlen wir, die Modellwahl zentral festzulegen, Standardwerte bewusst zu überschreiben und ausgehende Verbindungen der Anwendung auf freigegebene Ziele zu beschränken. Ebenso sollten optionale Telemetrie- oder Analysefunktionen einzelner Bibliotheken geprüft und gegebenenfalls deaktiviert werden.

LlamaCloud und LlamaParse: Serverstandort, Transfer, Vertrag

Bei LlamaCloud und LlamaParse werden Dokumente zur Verarbeitung an die Infrastruktur des US-Anbieters übermittelt. Damit stellen sich die bekannten Fragen eines Drittlandtransfers: In welcher Region werden die Daten verarbeitet und gespeichert? Gibt es einen Vertrag zur Auftragsverarbeitung? Auf welcher Grundlage erfolgt die Übermittlung, etwa über eine Zertifizierung nach dem EU-US Data Privacy Framework oder über Standardvertragsklauseln? Welche Unterauftragsverarbeiter, insbesondere welche Hyperscaler und Modellanbieter, sind beteiligt? Wie lange werden Dokumente und Ergebnisse gespeichert, und werden sie zum Training genutzt?
Ob der Anbieter eine EU-Region, dedizierte Instanzen oder einen Betrieb in der eigenen Cloud-Umgebung des Kunden anbietet und zu welchen Konditionen, ist vor der Nutzung beim Anbieter zu prüfen, denn solche Angebote ändern sich. Für viele Dokumente, etwa öffentliche Produktdatenblätter, kann die Nutzung nach sorgfältiger Prüfung vertretbar sein. Für Personalakten, Gesundheitsdaten, vertrauliche Verträge oder Konstruktionsunterlagen empfehlen wir dagegen in der Regel lokale Parsing-Alternativen oder eine vertraglich und technisch abgesicherte Betriebsform innerhalb der EU.
Empfehlung: Framework selbst betreiben, Cloud-Dienste gezielt prüfen

Für datenschutzsensible Anwendungen empfehlen wir das Open-Source-Framework auf eigener oder europäischer Infrastruktur, kombiniert mit selbst betriebenen oder in der EU gehosteten Modellen und Datenbanken. LlamaCloud und LlamaParse sollten nur nach dokumentierter Prüfung von Serverstandort, Datentransfer und Vertragslage eingesetzt werden – idealerweise beschränkt auf Dokumentklassen, deren Übermittlung freigegeben ist.

Framework
Self-Hosting auf eigener oder EU-Infrastruktur
Cloud-Dienste
Region, AVV, Transfergrundlage und Unterauftragnehmer prüfen
Modelle
Sprach- und Embedding-Modelle explizit konfigurieren
Parsing
Lokale Alternativen für sensible Dokumente
Löschung
Löschkonzept für Nodes, Vektoren und Protokolle
Freigabe
Datenschutzbeauftragte früh einbinden
Unabhängig vom Betriebsmodell gilt: Auch Nodes, Vektoren und Protokolle sind personenbezogene Daten, sobald die Ursprungstexte es sind. Ein Löschkonzept muss deshalb die gesamte Pipeline umfassen, vom Dokumentenspeicher über die Vektordatenbank bis zu den Aufzeichnungen im Beobachtungswerkzeug. LlamaIndex unterstützt das technisch, indem Nodes über Dokument-IDs nachverfolgt und gezielt gelöscht werden können. Die organisatorische Umsetzung liegt beim Betreiber.

Kosten: Open Source heißt nicht kostenlos

Das Framework verursacht keine Lizenzkosten. Die Kosten entstehen an anderer Stelle: Infrastruktur für Anwendung, Vektordatenbank und gegebenenfalls eigene Modelle, nutzungsabhängige Gebühren für Cloud-Sprachmodelle und Embedding-Dienste sowie die Arbeitszeit für Entwicklung, Betrieb und kontinuierliche Verbesserung. Gerade bei Agenten und bei Anreicherungsschritten in der Ingestion, die für jeden Abschnitt ein Sprachmodell aufrufen, können die Modellkosten schneller steigen als erwartet. Ein Kostenmonitoring pro Anfrage und pro Ingestion-Lauf gehört deshalb von Anfang an dazu.
LlamaCloud und LlamaParse werden nutzungsbasiert abgerechnet, üblicherweise über ein Kontingent an Verarbeitungseinheiten, deren Verbrauch vom gewählten Verarbeitungsmodus und vom Dokumentumfang abhängt. Ein kostenloses Einstiegskontingent ermöglicht Tests; Umfang und Bedingungen ändern sich jedoch und sind ebenso wie die aktuellen Preise beim Anbieter zu prüfen. Als Faustregel gilt: Bei kleinen Dokumentmengen und komplexen Layouts kann ein gemanagter Parser wirtschaftlich sein, weil er Entwicklungsaufwand spart. Bei großen, regelmäßig aktualisierten Beständen oder strengen Datenschutzvorgaben rechnet sich ein lokal betriebener Parser häufig besser – technisch wie rechtlich.
Kapitel 10 · Häufige Fragen

Häufig gestellte Fragen zu LlamaIndex

Diese Fragen tauchen in unseren Beratungsgesprächen rund um RAG-Frameworks und Dokumentenverarbeitung am häufigsten auf – kurz und sachlich beantwortet.

Ist LlamaIndex Open Source?
Ja. Das Framework für Python und TypeScript steht unter der MIT-Lizenz, einer permissiven Open-Source-Lizenz, die auch kommerzielle Nutzung und Anpassung erlaubt. Sie können es ohne Lizenzkosten in Ihrer eigenen Infrastruktur betreiben. Kostenpflichtig sind die gemanagten Dienste LlamaCloud und LlamaParse des US-Anbieters sowie dessen Enterprise-Angebote.
Kann man LlamaIndex DSGVO-konform einsetzen?
Das Open-Source-Framework bietet sehr gute Voraussetzungen, weil es vollständig in der eigenen Umgebung läuft und selbst keine Daten an den Hersteller übermittelt. Entscheidend sind die angebundenen Komponenten wie Sprachmodell, Embedding-Modell, Vektordatenbank und Beobachtungswerkzeuge. Bei LlamaCloud und LlamaParse handelt es sich um Dienste eines US-Anbieters; Serverstandort, Datentransfer, Vertragsgrundlagen und Unterauftragsverarbeiter sind gesondert zu prüfen. Die rechtliche Bewertung gehört in die Hände Ihrer Datenschutzbeauftragten – dies ist keine Rechtsberatung.
Brauche ich LlamaParse, um LlamaIndex zu nutzen?
Nein. LlamaParse ist ein optionaler Cloud-Dienst für das Parsing komplexer Dokumente. Das Framework funktioniert ebenso mit integrierten Readern für gängige Formate und mit quelloffenen, lokal betreibbaren Parsern wie Unstructured oder Docling. Für sensible Dokumente empfehlen wir in der Regel lokale Alternativen; für unkritische Dokumente mit sehr komplexem Layout kann LlamaParse nach Prüfung eine Option sein.
LlamaIndex oder LangChain – was passt besser?
LlamaIndex ist auf Datenanbindung, Parsing, Indexierung und Retrieval spezialisiert und für dokumentenlastige RAG-Anwendungen oft der direktere Weg. LangChain ist breiter auf Orchestrierung ausgelegt und bietet mit LangGraph starke Werkzeuge für komplexe, zustandsbehaftete Agenten. Beide sind quelloffen und lassen sich kombinieren. Die Entscheidung sollte sich am Schwerpunkt des Anwendungsfalls und an der Erfahrung des Teams orientieren.
Welche Vektordatenbank sollte ich mit LlamaIndex nutzen?
LlamaIndex unterstützt nahezu alle gängigen Vektordatenbanken. Für den Mittelstand bewährt sind Qdrant und Weaviate als selbst betreibbare Spezialdatenbanken sowie pgvector, wenn PostgreSQL bereits im Einsatz ist. Prüfen Sie vorab, ob die jeweilige Integration die benötigten Funktionen wie Metadatenfilter und Hybrid-Suche vollständig abbildet, und wählen Sie die Datenbank nach Betriebsfähigkeit und Datenschutz, nicht nur nach Bequemlichkeit.
Funktioniert LlamaIndex gut mit deutschsprachigen Dokumenten?
Das Framework selbst ist sprachneutral. Die Qualität bei deutschen Texten hängt vor allem vom Embedding-Modell, vom Sprachmodell, vom Parser und von der Zerlegungsstrategie ab. Wählen Sie mehrsprachige Embedding-Modelle, testen Sie mit realen Fachbegriffen und zusammengesetzten Wörtern und ergänzen Sie die Vektorsuche bei Bedarf um eine Schlüsselwortsuche, damit Artikelnummern und Fachausdrücke zuverlässig gefunden werden.
Wie aufwendig ist der Betrieb von LlamaIndex?
LlamaIndex ist eine Bibliothek, kein Server. Sie benötigen eine eigene Anwendungsschicht, eine Vektordatenbank, Modellzugänge, Beobachtbarkeit und eine Evaluierung. Wegen der hohen Änderungsfrequenz des Frameworks sollten Versionen fixiert und Updates regelmäßig, getestet und bewusst eingespielt werden. Mit einem klaren Architekturrahmen ist der Betrieb gut beherrschbar, er gehört aber in verantwortliche Hände.
Wie starte ich ein erstes Projekt mit LlamaIndex?
Wählen Sie einen klar umrissenen Anwendungsfall mit überschaubarem Dokumentbestand und erstellen Sie gemeinsam mit Fachanwendern einen Satz realistischer Testfragen. Bauen Sie einen Prototyp mit lokal betriebenen oder vertraglich abgesicherten Modellen, vergleichen Sie Parser und Zerlegungsstrategien anhand dieser Fragen und messen Sie die Treffergüte, bevor Sie skalieren. Klären Sie Betriebsmodell und Datenschutz, bevor produktive Daten einfließen.

Souveräne KI-Suche aufbauen

Bereit für ein RAG-System, das Ihre Daten versteht?

Von der herstellerneutralen Auswahl des passenden Frameworks über Parsing, Chunking und Retrieval bis zum souverän betriebenen, DSGVO-konformen Wissensassistenten – INAGRO begleitet Sie auf jedem Schritt. Mit RAG-Expertise, Datenschutz-Fokus und tiefem Verständnis für den Mittelstand. Pragmatisch, herstellerneutral und mit messbarem Ergebnis.

Seit 2006 am Markt

Erfahrung aus über 100 Digitalprojekten

DSGVO & Souveränität

Datenschutz von Anfang an mitgedacht

Rückmeldung in 24 h

Schnell, direkt, unverbindlich