Wer heute ein Sprachmodell an das eigene Unternehmenswissen anbinden will, steht vor einer handfesten Integrationsaufgabe. Dokumente müssen aus unterschiedlichen Quellen eingelesen, bereinigt und in sinnvolle Abschnitte zerlegt werden. Diese Abschnitte werden in Vektoren übersetzt und in einer Datenbank abgelegt. Zur Laufzeit muss eine Nutzerfrage die passenden Abschnitte finden, diese gegebenenfalls neu sortieren, zu einem Prompt zusammensetzen und an ein Sprachmodell übergeben. Am Ende soll eine Antwort stehen, die nachvollziehbar, belegt und möglichst frei von Halluzinationen ist. Jeder dieser Schritte lässt sich einzeln programmieren – aber das Zusammenspiel sauber, testbar und wartbar zu halten, ist die eigentliche Herausforderung.
Genau hier setzt Haystack an. Das Framework liefert standardisierte Bausteine für jeden dieser Schritte und ein Konzept, um sie zu einem gerichteten Ablauf – einer Pipeline – zu verbinden. Statt eine RAG-Anwendung als lose Sammlung von Skripten zu bauen, beschreibt man sie als System aus klar definierten Komponenten mit festgelegten Ein- und Ausgängen. Das macht Anwendungen lesbar, austauschbar und überprüfbar: Man kann ein Embedding-Modell ersetzen, eine Vektordatenbank wechseln oder einen Reranker ergänzen, ohne den Rest der Anwendung neu schreiben zu müssen.
Haystack ist älter als die große Welle der generativen KI. Die Ursprünge liegen in der sogenannten Extractive Question Answering, also der Aufgabe, in großen Textmengen die Stelle zu finden, die eine Frage beantwortet. Lange bevor Chat-Oberflächen populär wurden, beschäftigte sich deepset mit semantischer Suche, Sprachmodellen für die deutsche Sprache und der Frage, wie man Suchsysteme robust in Unternehmen betreibt. Diese Herkunft prägt das Framework bis heute: Retrieval, also das zuverlässige Finden relevanter Informationen, ist kein Anhängsel, sondern das Herzstück.
Mit dem Aufkommen generativer Modelle hat sich Haystack konsequent weiterentwickelt. Die heutige Generation des Frameworks wurde grundlegend neu konzipiert: weg von starren, vordefinierten Pipeline-Typen, hin zu einem flexiblen Komponentenmodell, in dem sich auch Verzweigungen, Schleifen und agentische Abläufe abbilden lassen. Wer ältere Tutorials oder Codebeispiele findet, sollte deshalb prüfen, auf welche Generation des Frameworks sie sich beziehen – die Konzepte haben sich spürbar verändert. Aktuelle Details zu Versionen und Änderungen sind in der offiziellen Dokumentation und den Release Notes beim Anbieter nachzulesen.
Haystack ist ein Entwickler-Framework. Es richtet sich an Teams, die Python beherrschen und eine LLM-Anwendung selbst bauen, betreiben und weiterentwickeln wollen. Es ist kein fertiges Produkt mit Benutzeroberfläche, das Fachabteilungen ohne IT-Unterstützung einrichten. Diese Unterscheidung ist für den Mittelstand wichtig: Wer eine schlüsselfertige Wissenssuche erwartet, wird mit Haystack allein nicht glücklich. Wer dagegen eine maßgeschneiderte, kontrollierbare und souverän betreibbare RAG-Lösung aufbauen will – selbst oder mit einem Umsetzungspartner –, findet in Haystack eines der solidesten Fundamente am Markt.
Das Geschäftsmodell folgt einem bekannten Muster der Open-Source-Welt, oft als Open-Core-Ansatz bezeichnet: Das Kernprodukt ist frei verfügbar und unter einer permissiven Lizenz nutzbar, während der Hersteller mit ergänzenden Werkzeugen, einer verwalteten Plattform und professionellem Support Geld verdient. Für Anwender ist das grundsätzlich eine komfortable Situation. Man kann ohne Vertragsbindung starten, das Framework gründlich erproben und erst später entscheiden, ob kommerzielle Zusatzleistungen einen Mehrwert bringen.
Das Open-Source-Framework ist der Kern, auf dem alles andere aufbaut. Es steht unter der Apache-2.0-Lizenz, die eine kommerzielle Nutzung, Veränderung und Weitergabe erlaubt, ohne dass eigener Code offengelegt werden muss. Für Unternehmen ist das eine der unkompliziertesten Open-Source-Lizenzen überhaupt. Neben dem Kernpaket gibt es eine Vielzahl offizieller und Community-gepflegter Integrationspakete, die Anbindungen an Vektordatenbanken, Modellanbieter und Werkzeuge bereitstellen. Wer Haystack auf eigener Hardware mit lokalen Modellen betreibt, kommt ohne jegliche Lizenzkosten aus – die Kosten liegen dann ausschließlich bei Infrastruktur und Personal.
Mit deepset Studio adressiert der Hersteller eine typische Hürde: Pipelines in Code zu beschreiben, ist präzise, aber für Abstimmungen mit Fachbereichen oder Architekten wenig anschaulich. Ein visueller Editor macht den Aufbau einer Pipeline sichtbar, erleichtert das Experimentieren mit Varianten und erzeugt am Ende eine Konfiguration, die sich mit dem Open-Source-Framework weiterverwenden lässt. Die deepset AI-Plattform geht weiter und deckt den gesamten Lebenszyklus ab: Datenaufnahme, Pipeline-Entwicklung, Evaluierung, Bereitstellung als API, Überwachung und Zusammenarbeit im Team. Sie richtet sich an Organisationen, die mehrere LLM-Anwendungen professionell betreiben und dafür nicht jede Infrastrukturkomponente selbst bauen wollen.
Welche Funktionen genau in welcher Edition enthalten sind, wie die Plattform lizenziert wird und welche Betriebsvarianten – etwa Software-as-a-Service oder Installation in einer eigenen Cloud-Umgebung – angeboten werden, ändert sich mit der Produktentwicklung. Diese Details sollten Sie stets aktuell beim Anbieter prüfen. Eine vertiefte Betrachtung der Plattform finden Sie in unserem separaten Artikel zu deepset Cloud.
Eine Komponente ist in Haystack eine abgeschlossene Einheit, die eine bestimmte Aufgabe erfüllt und dafür definierte Eingaben erwartet sowie definierte Ausgaben liefert. Das Framework bringt eine große Auswahl vorgefertigter Komponenten mit, die sich grob in Funktionsgruppen ordnen lassen:
Besonders wertvoll ist, dass sich eigene Komponenten mit wenig Aufwand schreiben lassen. Eine eigene Komponente ist im Kern eine Python-Klasse mit einer festgelegten Ausführungsmethode und deklarierten Ein- und Ausgängen. So lassen sich unternehmensspezifische Schritte – etwa der Abgleich mit einem ERP-System, eine Berechtigungsprüfung oder eine branchenspezifische Textbereinigung – nahtlos in eine Pipeline einbauen, ohne das Framework zu verlassen.
Eine Pipeline verbindet Komponenten miteinander. Technisch ist sie ein gerichteter Graph: Die Ausgabe einer Komponente wird mit dem Eingang einer anderen verknüpft. Weil jede Komponente ihre Ein- und Ausgänge deklariert, kann das Framework bereits beim Zusammenbau prüfen, ob die Verbindungen zueinander passen. Fehler fallen dadurch früh auf und nicht erst, wenn ein Nutzer eine Frage stellt. Pipelines sind nicht auf lineare Abläufe beschränkt: Verzweigungen – etwa abhängig von der Art der Frage –, parallele Pfade und auch Schleifen sind möglich. Schleifen sind beispielsweise nützlich, wenn eine Antwort geprüft und bei unzureichender Qualität erneut erzeugt werden soll.
In der Praxis unterscheidet man meist zwei Arten von Pipelines. Die Indexing-Pipeline verarbeitet Dokumente: einlesen, bereinigen, zerlegen, einbetten und speichern. Sie läuft einmalig oder bei jeder Aktualisierung der Wissensbasis. Die Query-Pipeline verarbeitet Anfragen: Frage einbetten, Dokumente finden, neu sortieren, Prompt bauen und Antwort generieren. Diese Trennung ist sauber, verständlich und erleichtert den Betrieb erheblich, weil beide Abläufe unabhängig voneinander skaliert und überwacht werden können.
Ein für den Betrieb wichtiges Merkmal: Haystack-Pipelines lassen sich serialisieren, also als strukturierte Konfigurationsdatei speichern und wieder laden. Damit wird eine Pipeline zu einem versionierbaren Artefakt, das in die übliche Softwareentwicklung mit Code-Review, Versionsverwaltung und automatisierten Tests eingebunden werden kann. Genau diese Eigenschaft unterscheidet ein produktionsreifes Framework von einer Sammlung von Experimentierskripten.
Ein Document Store ist in Haystack die Abstraktion für den Speicherort der Dokumente. Er definiert eine einheitliche Schnittstelle zum Schreiben, Lesen, Filtern und Löschen von Dokumenten – unabhängig davon, welche Datenbank tatsächlich dahintersteht. Für Experimente gibt es einen einfachen In-Memory-Store, für den Produktivbetrieb Anbindungen an zahlreiche Vektordatenbanken und Suchmaschinen. Der Vorteil dieser Abstraktion: Die Wahl der Datenbank ist keine Entscheidung für die Ewigkeit. Wer mit einer Datenbank startet und später auf eine andere wechseln möchte, tauscht im Wesentlichen den Document Store und die zugehörigen Retriever aus, während der Rest der Pipeline unverändert bleibt.
In der Praxis sind die Document Stores allerdings nicht völlig gleichwertig. Unterschiedliche Datenbanken unterstützen unterschiedliche Suchverfahren, Filtermöglichkeiten und Skalierungsmodelle. Hybrid-Suche, also die Kombination aus semantischer und Stichwortsuche, ist bei manchen nativ vorhanden, bei anderen muss sie über zwei Retriever und einen Joiner zusammengesetzt werden. Bei der Auswahl lohnt deshalb ein Blick auf die konkreten Fähigkeiten der jeweiligen Integration und nicht nur auf die Liste unterstützter Systeme.
Moderne Sprachmodelle können strukturierte Funktionsaufrufe erzeugen: Statt nur Text zu liefern, geben sie an, welches Werkzeug mit welchen Parametern aufgerufen werden soll. Haystack nutzt diese Fähigkeit über ein Tool-Konzept, mit dem sich Python-Funktionen, ganze Pipelines oder externe Dienste als Werkzeuge beschreiben lassen. Eine eigene Agent-Komponente kombiniert ein chatfähiges Sprachmodell mit einer Liste solcher Werkzeuge und führt eine Schleife aus: Das Modell entscheidet, welches Werkzeug es braucht, Haystack führt den Aufruf aus, das Ergebnis wandert zurück zum Modell, und so weiter, bis eine Abbruchbedingung erreicht ist – etwa eine fertige Antwort.
Bemerkenswert ist, dass sich Pipelines selbst als Werkzeuge verwenden lassen. Eine sauber evaluierte RAG-Pipeline für die Produktdokumentation kann so zu einem Werkzeug werden, das ein übergeordneter Agent bei Bedarf aufruft – neben anderen Werkzeugen wie einer Abfrage im Warenwirtschaftssystem oder einer Websuche. Das verbindet die Kontrollierbarkeit expliziter Pipelines mit der Flexibilität agentischer Steuerung. Zusätzlich unterstützt Haystack das Model Context Protocol (MCP), sodass sich Werkzeuge aus MCP-Servern einbinden und Haystack-Pipelines ihrerseits als MCP-Werkzeuge bereitstellen lassen. Der genaue Funktionsumfang dieser Integrationen entwickelt sich schnell und sollte in der aktuellen Dokumentation geprüft werden.
Agenten sind faszinierend, aber im Unternehmenseinsatz auch riskant: Sie können in Schleifen geraten, unnötig viele Modellaufrufe erzeugen oder Werkzeuge mit falschen Parametern aufrufen. Haystacks Philosophie hilft hier, weil sich agentische und deterministische Teile kombinieren lassen. Man kann also genau dort einen Agenten einsetzen, wo Flexibilität gebraucht wird, und überall sonst feste Pipeline-Schritte verwenden. Zu den Stellschrauben gehören die Begrenzung der Schritte, die Auswahl der verfügbaren Werkzeuge, Bedingungen für den Abbruch sowie Zwischenprüfungen, etwa durch Router-Komponenten, die eine Ausgabe validieren, bevor sie weitergegeben wird.
Für die Nachvollziehbarkeit bietet Haystack Tracing an: Jeder Komponentenaufruf mit seinen Ein- und Ausgaben lässt sich protokollieren und an gängige Observability-Werkzeuge weiterreichen, etwa über offene Standards wie OpenTelemetry oder über Integrationen mit spezialisierten LLM-Monitoring-Lösungen. Gerade bei Agenten ist das unverzichtbar – nur wer sieht, welche Werkzeuge in welcher Reihenfolge aufgerufen wurden, kann Fehlverhalten analysieren und Kosten kontrollieren.
Ein oft unterschätzter Bereich ist die systematische Bewertung der Antwortqualität. Haystack bringt Evaluator-Komponenten mit, die sowohl klassische Retrieval-Kennzahlen als auch modellbasierte Bewertungen abdecken – etwa ob eine Antwort durch die gefundenen Dokumente gedeckt ist oder ob die Dokumente überhaupt zur Frage passen. Zudem gibt es Integrationen zu externen Evaluierungs-Frameworks. Für den produktiven Einsatz ist das zentral: Jede Änderung an Chunking, Embedding-Modell, Retriever oder Prompt kann gegen einen festen Satz an Testfragen gemessen werden, bevor sie live geht.
Auf der Modellseite unterstützt Haystack die gängigen kommerziellen Anbieter – etwa OpenAI und Azure OpenAI, Anthropic, Google, Mistral, Cohere oder Amazon Bedrock – ebenso wie offene Modelle. Für den souveränen Betrieb besonders relevant sind die Anbindungen an lokale Inferenz-Lösungen: Modelle aus dem Hugging-Face-Ökosystem, Laufzeitumgebungen wie Ollama oder leistungsfähige Inferenz-Server, die eine OpenAI-kompatible Schnittstelle bereitstellen. Das bedeutet in der Praxis: Ein und dieselbe Pipeline kann im Prototyp mit einem Cloud-Modell laufen und im Produktivbetrieb mit einem lokal gehosteten Open-Weights-Modell – der Austausch beschränkt sich auf die Generator- und Embedder-Komponenten.
Diese Modellunabhängigkeit ist strategisch wertvoll. Der Markt für Sprachmodelle verändert sich rasant; das heute beste Modell kann in einigen Monaten überholt sein, ein Anbieter kann seine Preise oder Nutzungsbedingungen ändern. Wer seine Anwendung eng an eine einzelne Modell-API koppelt, macht sich abhängig. Haystack reduziert diese Abhängigkeit, weil die Anwendungslogik von der Modellwahl getrennt bleibt.
Für die Datenhaltung stehen Integrationen zu den verbreiteten Vektordatenbanken und Suchmaschinen bereit. Dazu gehören unter anderem Elasticsearch und OpenSearch als klassische Suchplattformen mit Vektorfunktionen, spezialisierte Vektordatenbanken wie Qdrant, Weaviate, Milvus, Chroma oder Pinecone, sowie relationale und dokumentorientierte Datenbanken mit Vektorerweiterung wie PostgreSQL mit pgvector oder MongoDB Atlas. Welche Integrationen offiziell gepflegt und welche von der Community betreut werden, ist für den Produktivbetrieb relevant und sollte vorab geprüft werden.
Damit eine Pipeline von anderen Systemen genutzt werden kann, muss sie als Dienst erreichbar sein. Dafür gibt es im Haystack-Umfeld ein eigenes Werkzeug namens Hayhooks, das Pipelines als REST-Schnittstelle bereitstellt und sie auch über MCP oder OpenAI-kompatible Endpunkte ansprechbar macht. Alternativ lassen sich Pipelines in jede übliche Python-Webanwendung einbetten. Ergänzend existiert eine aktive Community mit Integrationspaketen, Beispielanwendungen und einer umfangreichen Sammlung an Tutorials und sogenannten Cookbooks. Für Teams, die sich einarbeiten, ist diese Dokumentationsbasis ein spürbarer Vorteil.
Ein Hinweis zur Einordnung: Die Breite des Ökosystems ist bei Haystack groß, aber bewusst kuratierter als bei manchen Wettbewerbern. Nicht jedes Nischenwerkzeug hat eine fertige Integration. Das ist weniger ein Mangel als eine Designentscheidung – und weil eigene Komponenten einfach zu schreiben sind, lassen sich fehlende Anbindungen in der Regel mit überschaubarem Aufwand ergänzen.
LangChain ist das wohl bekannteste LLM-Framework und zeichnet sich durch ein enormes Ökosystem aus. Für nahezu jedes Modell, jede Datenbank und jedes Werkzeug gibt es eine Integration, und die Community ist sehr groß. Diese Breite ist eine Stärke beim schnellen Experimentieren. Sie hat aber auch eine Kehrseite: Es gibt oft mehrere Wege, dasselbe zu tun, Abstraktionen haben sich in der Vergangenheit häufiger verändert, und Anwendungen können schwer durchschaubar werden. Haystack verfolgt den entgegengesetzten Ansatz: weniger Magie, mehr explizite Struktur. Jede Komponente hat klar deklarierte Ein- und Ausgänge, die Pipeline ist als Graph sichtbar und prüfbar. Für Teams, die eine Anwendung über Jahre betreiben wollen, ist diese Klarheit oft wertvoller als die maximale Auswahl an Integrationen.
LlamaIndex hat sich ursprünglich auf die Frage konzentriert, wie man eigene Daten für Sprachmodelle aufbereitet und abfragbar macht. Es bietet viele Indexstrukturen, ausgefeilte Strategien für die Datenaufnahme und vorkonfigurierte Abfrage-Engines, mit denen sich ein RAG-Prototyp sehr schnell aufsetzen lässt. Haystack ist hier etwas expliziter: Statt einer vorgefertigten Abfrage-Engine baut man die Pipeline aus einzelnen Komponenten selbst zusammen. Das kostet anfangs etwas mehr Aufwand, macht aber jeden Schritt sichtbar und einzeln austauschbar. Grob gesagt: LlamaIndex ist stark, wenn die Datenstruktur im Mittelpunkt steht und ein schneller Einstieg gewünscht ist; Haystack ist stark, wenn der gesamte Verarbeitungsablauf kontrolliert, evaluiert und produktiv betrieben werden soll.
Daneben existieren weitere Optionen: spezialisierte Agenten-Frameworks für Multi-Agenten-Systeme, schlanke Bibliotheken für semantische Suche, die All-in-one-Ansätze großer Cloud-Plattformen oder RAG-as-a-Service-Anbieter, die Retrieval vollständig als Dienst bereitstellen. Letztere senken den Entwicklungsaufwand, gehen aber in der Regel mit weniger Kontrolle und häufig mit Datenverarbeitung außerhalb der EU einher. Die Wahl des Frameworks ist am Ende weniger eine Frage des objektiv besten Werkzeugs als der Passung: Wie groß ist das Entwicklerteam, wie wichtig sind Datenhoheit und Langlebigkeit, wie komplex ist der Anwendungsfall? Für produktive, datenschutzsensible RAG-Anwendungen im Mittelstand ist Haystack aus unserer Sicht eine der überzeugendsten Optionen – ohne dass LangChain oder LlamaIndex deshalb schlechte Wahlen wären.
Der souveränste Betriebsweg ist das vollständige Self-Hosting. Dabei laufen Haystack-Pipelines, Vektordatenbank, Embedding-Modell und Sprachmodell auf eigener Hardware oder bei einem europäischen Hosting-Partner. Technisch ist Haystack dafür gut geeignet: Es ist eine Python-Bibliothek ohne zwingende Cloud-Abhängigkeit, Pipelines lassen sich in Container verpacken und in gängigen Orchestrierungsumgebungen betreiben. Die Herausforderung liegt weniger im Framework als in den angrenzenden Komponenten. Insbesondere der Betrieb eines leistungsfähigen Sprachmodells erfordert passende GPU-Ressourcen und Know-how für Inferenz-Server. Der Bedarf hängt stark von Modellgröße, Nutzerzahl und Antwortzeitanforderungen ab und sollte im Rahmen einer Kapazitätsplanung ermittelt werden.
Eine häufige und pragmatische Mischform ist das hybride Modell: Haystack, Vektordatenbank und Embedding-Modell laufen im eigenen Haus, während für die Generierung ein Sprachmodell bei einem Anbieter mit EU-Datenverarbeitung genutzt wird. So bleiben die Dokumente und die Suchindizes vollständig unter eigener Kontrolle, und nur die jeweils relevanten Ausschnitte gehen zur Antwortgenerierung an den Modellanbieter. Ob das für den konkreten Anwendungsfall datenschutzrechtlich tragfähig ist, muss im Einzelfall bewertet werden.
Wer den Infrastrukturaufwand reduzieren möchte, kann Haystack auch in einer Public Cloud betreiben – idealerweise in europäischen Regionen – oder auf die kommerzielle deepset-Plattform zurückgreifen. Letztere übernimmt viele Betriebsaufgaben, bringt Werkzeuge für Evaluierung und Zusammenarbeit mit und ermöglicht einen schnelleren Weg in den Produktivbetrieb. Welche Betriebsvarianten, Rechenzentrumsstandorte und Zertifizierungen der Anbieter aktuell bietet, ist beim Anbieter zu prüfen. Für Organisationen ohne eigenes Plattformteam kann das der effizientere Weg sein; für Organisationen mit strengen Vorgaben zur Datenlokalität bleibt das Self-Hosting die Referenz.
Nehmen wir einen mittelständischen Maschinenbauer mit mehreren Hundert Mitarbeitenden und einem weltweit tätigen Serviceteam. Das Wissen zur Fehlerbehebung steckt in Betriebsanleitungen, Servicebulletins, Ersatzteilkatalogen und tausenden abgeschlossenen Servicetickets. Eine Haystack-Lösung würde hier aus zwei Pipelines bestehen. Die Indexing-Pipeline liest Handbücher und Bulletins ein, zerlegt sie entlang ihrer Kapitelstruktur und reichert jeden Abschnitt mit Metadaten wie Maschinentyp, Baureihe und Sprache an. Servicetickets werden separat verarbeitet, bereinigt und um personenbezogene Daten reduziert. Die Query-Pipeline kombiniert eine semantische Suche mit einer Stichwortsuche – wichtig, weil Techniker oft exakte Fehlercodes oder Teilenummern eingeben –, filtert nach dem angefragten Maschinentyp, sortiert die Kandidaten mit einem Reranker und lässt ein Sprachmodell eine Antwort mit Verweis auf die Quelldokumente formulieren.
Der Mehrwert liegt nicht in einer spektakulären KI, sondern in der sauberen Verbindung bestehender Wissensquellen. Weil jede Komponente einzeln austauschbar ist, kann das Unternehmen klein beginnen – etwa mit einem Produktbereich – und das System schrittweise ausbauen. Und weil die gesamte Lösung auf eigener Infrastruktur laufen kann, verlassen Konstruktionsdetails und Kundendaten das Haus nicht.
Haystack passt gut, wenn ein Unternehmen eine maßgeschneiderte Lösung möchte, Datenhoheit eine hohe Priorität hat und entweder eigene Entwicklungskompetenz vorhanden ist oder ein Umsetzungspartner eingebunden wird. Weniger geeignet ist es, wenn lediglich eine Standardsuche über ein einzelnes System wie das Intranet benötigt wird – hier sind integrierte Suchfunktionen der vorhandenen Software oft ausreichend. Ebenso gilt: Wenn die Dokumente selbst veraltet, widersprüchlich oder unstrukturiert sind, löst kein Framework dieses Problem. Datenqualität bleibt der wichtigste Erfolgsfaktor jedes RAG-Projekts.
Ein Framework verarbeitet selbst keine Daten bei einem Dritten. Haystack ist eine Bibliothek, die auf der Infrastruktur läuft, die Sie wählen. Ob eine Haystack-Anwendung datenschutzkonform betrieben wird, hängt deshalb nicht vom Framework ab, sondern davon, welche Komponenten Sie anbinden und wo diese laufen. Eine Pipeline mit lokal gehostetem Sprachmodell, lokalem Embedding-Modell und selbst betriebener Vektordatenbank verlässt das eigene Rechenzentrum nicht. Eine Pipeline, die Dokumentausschnitte an eine US-Modell-API sendet, wirft dagegen die bekannten Fragen zu Drittlandtransfer, Auftragsverarbeitung und Zugriffsmöglichkeiten ausländischer Behörden auf.
Die große Stärke von Haystack liegt darin, dass es alle Betriebsvarianten gleichermaßen unterstützt. Sie können also für jeden Datenbestand und jeden Anwendungsfall bewusst entscheiden, welcher Grad an Souveränität notwendig ist – und die Pipeline entsprechend zusammenstellen. Für hochsensible Daten wählen Sie lokale Modelle, für unkritische Inhalte darf es auch ein Cloud-Modell sein. Diese Granularität ist in der Praxis wertvoller als eine pauschale Ja-Nein-Antwort.
Wenn Unternehmen kommerzielle Leistungen von deepset beziehen – etwa die Plattform oder Support –, haben sie es mit einem Vertragspartner zu tun, der deutschem und europäischem Recht unterliegt. Das vereinfacht vieles: Ansprechpartner, Vertragssprache, Gerichtsstand und das Verständnis für europäische Datenschutzanforderungen liegen nah. Gerade im Vergleich zu Frameworks und Plattformen von US-Anbietern, bei denen Fragen des Datenzugriffs durch Behörden des Herkunftslands immer wieder diskutiert werden, ist das ein strategischer Pluspunkt. Wichtig ist dennoch: Auch bei einem deutschen Anbieter sind Hosting-Standort, eingesetzte Unterauftragsverarbeiter und Vertragsbedingungen im Detail zu prüfen. Herkunft ersetzt keine Due Diligence.
Das Framework selbst verursacht keine Lizenzkosten. Die Gesamtkosten einer Haystack-Lösung setzen sich jedoch aus mehreren Blöcken zusammen. Erstens die Entwicklung: Konzeption, Aufbau der Pipelines, Anbindung der Datenquellen, Oberfläche und Evaluierung – intern oder durch einen Partner. Zweitens die Infrastruktur: Server oder Cloud-Ressourcen für Anwendung und Vektordatenbank sowie gegebenenfalls GPU-Kapazität für lokale Modelle. Drittens die Modellnutzung: Bei Cloud-Modellen fallen nutzungsabhängige Gebühren an, bei lokalen Modellen stattdessen Hardware- und Energiekosten. Viertens der laufende Betrieb: Monitoring, Updates, Weiterentwicklung und Pflege der Wissensbasis. Hinzu kommen gegebenenfalls Lizenz- oder Abonnementkosten für die kommerzielle deepset-Plattform; deren Konditionen sind beim Anbieter zu erfragen.
Welche Variante wirtschaftlich günstiger ist, hängt von Nutzungsvolumen, Datenschutzanforderungen und vorhandener Kompetenz ab. Bei geringem Volumen und unkritischen Daten können Cloud-Modelle insgesamt günstiger sein, weil keine eigene GPU-Infrastruktur vorgehalten werden muss. Bei hohem Volumen und sensiblen Daten verschiebt sich die Rechnung häufig zugunsten lokaler Modelle, deren Kosten planbar bleiben. Konkrete Preisangaben nennen wir bewusst nicht, da sie sich schnell ändern und vom Einzelfall abhängen.