Wissensdatenbank · RAG-Plattform · KI-Agenten

deepset Cloud – Enterprise-RAG aus Berlin auf Haystack-Basis.

deepset Cloud, inzwischen als deepset AI Platform vermarktet, ist die kommerzielle Enterprise-Plattform des Berliner Unternehmens hinter dem Open-Source-Framework Haystack. Sie bündelt Pipeline-Design, Evaluierung, Deployment und Betrieb von RAG-Anwendungen und KI-Agenten in einer Umgebung – mit europäischer Herkunft als strategischem Argument. Dieser Fachartikel ordnet Funktionsumfang, Editionen, Wettbewerb, Betrieb und DSGVO-Fragen herstellerneutral ein.

Dieser Artikel wurde mithilfe künstlicher Intelligenz erstellt und redaktionell geprüft.

27 Min. Lesezeit
Aktualisiert · Oktober 2026
Fachartikel · Expertenbeitrag
deepset Cloud / AI Platform
deepset GmbH · Berlin, Deutschland
Typ
Enterprise-Plattform für RAG & Agenten
Basis
Haystack (Open Source)
Herkunft
Deutschland / EU
Betrieb
SaaS, VPC, On-Prem (prüfen)
Einstieg
Studio-Edition, Enterprise
Modelle
Modellagnostisch
INAGRO Eignung souveränes Enterprise-RAG
★★★★★
Kapitel 01 · Überblick

Was ist deepset Cloud – und warum lohnt der Blick nach Berlin?

deepset Cloud ist die kommerzielle Plattform des Berliner Softwareunternehmens deepset, mit der Unternehmen Anwendungen auf Basis großer Sprachmodelle entwerfen, testen, ausrollen und betreiben. Im Mittelpunkt stehen Retrieval-Augmented Generation (RAG), also KI-Antworten auf Grundlage eigener Dokumente, sowie zunehmend agentische Abläufe. Technisches Fundament ist Haystack, das quelloffene Framework desselben Herstellers.

Wer sich mit RAG im Unternehmen beschäftigt, stößt früher oder später auf zwei Namen aus Berlin: Haystack und deepset. Haystack ist ein frei verfügbares Python-Framework, mit dem Entwicklerinnen und Entwickler Such- und Frage-Antwort-Systeme, RAG-Pipelines und Agenten aus einzelnen Bausteinen zusammensetzen. deepset ist das Unternehmen, das Haystack entwickelt und pflegt. Um dieses Open-Source-Projekt herum hat deepset eine kommerzielle Plattform aufgebaut, die lange unter dem Namen deepset Cloud bekannt war und inzwischen als deepset AI Platform auftritt. In diesem Artikel verwenden wir beide Bezeichnungen synonym, weil in Ausschreibungen, Projektunterlagen und Gesprächen noch häufig vom älteren Namen die Rede ist.
Die Grundidee der Plattform ist schnell erklärt: Haystack liefert die Bausteine, die Plattform liefert alles, was ein Unternehmen braucht, um aus diesen Bausteinen ein verlässlich betriebenes Produkt zu machen. Dazu gehören ein visueller Pipeline-Designer, eine Verwaltung für Dateien und Indizes, Werkzeuge zur systematischen Qualitätsmessung, eine Umgebung zum Ausprobieren von Prompts, Schnittstellen zur Einbindung in eigene Anwendungen sowie Funktionen für Rechteverwaltung, Protokollierung und Überwachung. Kurz gesagt: Die Plattform deckt den Weg vom Prototyp bis zum Produktivbetrieb ab, den viele Teams mit reinem Open-Source-Code mühsam selbst bauen müssten.

Herkunft und Selbstverständnis des Anbieters

deepset wurde in Berlin gegründet und hat sich früh auf Sprachverarbeitung und semantische Suche spezialisiert – also auf Themen, die heute unter dem Schlagwort RAG zusammengefasst werden. Lange bevor generative KI zum Massenthema wurde, arbeitete das Team an Frage-Antwort-Systemen über Dokumentbeständen und an deutschsprachigen Sprachmodellen. Diese Herkunft prägt die Plattform bis heute: Sie ist weniger ein Chatbot-Baukasten als eine Ingenieursumgebung für Retrieval, Bewertung und Betrieb, die das Thema Suchqualität ernst nimmt.
Für Unternehmen im deutschsprachigen Raum ist ein Aspekt besonders interessant: deepset ist ein europäischer Anbieter mit Sitz in Deutschland. In einem Markt, der bei KI-Plattformen stark von US-Hyperscalern und US-Start-ups geprägt ist, gehört deepset zu den wenigen ernst zu nehmenden Enterprise-Anbietern mit europäischem Hauptsitz. Das ist kein Freifahrtschein in Sachen Datenschutz – darauf gehen wir in Kapitel 09 ausführlich ein –, aber ein relevantes Argument für Organisationen, die digitale Souveränität und kurze Wege zum Hersteller schätzen.

Wofür die Plattform typischerweise eingesetzt wird

Die Einsatzszenarien ähneln denen anderer RAG-Plattformen, haben aber einen klaren Schwerpunkt auf dokumentenlastigen, wissensintensiven Prozessen. Typisch sind interne Wissensassistenten, die Fragen von Mitarbeitenden auf Basis von Handbüchern, Richtlinien und Projektdokumentation beantworten. Ebenso verbreitet sind Rechercheanwendungen für Fachabteilungen, etwa im Vertragswesen, in der Qualitätssicherung oder im technischen Kundendienst. Hinzu kommen Such- und Antwortfunktionen in eigenen Produkten oder Kundenportalen sowie zunehmend Agenten, die mehrere Schritte planen, Werkzeuge aufrufen und Ergebnisse zusammenführen.
  • Wissensassistenten: Antworten auf Basis interner Dokumente mit Quellenangabe.
  • Fachrecherche: Durchsuchen und Zusammenfassen großer Bestände an Verträgen, Normen oder Berichten.
  • Produktsuche und Support: Semantische Suche und Antworten in Kundenportalen.
  • Agentische Abläufe: Mehrstufige Prozesse mit Werkzeugaufrufen und Entscheidungslogik.
Gemeinsam ist all diesen Szenarien, dass die Qualität der Antworten unmittelbar vom Zusammenspiel aus Datenaufbereitung, Suche und Sprachmodell abhängt. Genau dieses Zusammenspiel sichtbar, messbar und steuerbar zu machen, ist der eigentliche Kern des Plattformversprechens – und der Grund, warum deepset Cloud vor allem dort interessant wird, wo aus einem ersten Experiment eine dauerhaft betriebene Unternehmensanwendung werden soll.
INAGRO-Einschätzung

deepset Cloud ist keine fertige Fachanwendung, sondern eine Entwicklungs- und Betriebsplattform. Sie richtet sich an Organisationen, die eigene RAG- und Agenten-Lösungen professionell bauen wollen – mit europäischem Anbieter, offener technischer Basis und spürbar weniger Eigenbau als bei reinem Open Source.

Kapitel 02 · Editionen & Positionierung

Studio, Enterprise und Haystack Open Source

Rund um deepset gibt es mehrere Angebotsebenen, die man auseinanderhalten sollte: das freie Framework Haystack, einen kostenlosen bzw. niedrigschwelligen Einstieg in die Plattform sowie die eigentliche Enterprise-Plattform mit Betriebs- und Governance-Funktionen. Produktnamen und Zuschnitte hat der Anbieter in der Vergangenheit mehrfach angepasst – aktuelle Bezeichnungen und Leistungsumfänge sollten Sie daher immer direkt beim Anbieter prüfen.

Namensänderungen richtig einordnen

Wer ältere Unterlagen liest, begegnet dem Begriff deepset Cloud. Mit der strategischen Erweiterung über klassisches RAG hinaus – hin zu Agenten und allgemeinen KI-Anwendungen – hat deepset die Plattform als deepset AI Platform neu positioniert. Daneben gab es mit deepset Studio ein Angebot, das insbesondere den visuellen Pipeline-Designer für einen breiteren Kreis zugänglich machen sollte, sowie Unterstützungs- und Lizenzangebote rund um Haystack für Unternehmen, die das Open-Source-Framework selbst betreiben, aber professionellen Rückhalt wünschen. Für die Praxis ist weniger der exakte Name entscheidend als die Frage, welche Funktionen in welcher Vertragsform enthalten sind. Genau diese Zuordnung ändert sich bei schnell wachsenden Plattformen regelmäßig.
Ebene Charakter Typische Zielgruppe Betrieb
Haystack (Open Source) Python-Framework, frei verfügbar Entwicklerteams mit eigenem Betrieb Vollständig selbst verantwortet
Haystack mit Hersteller-Support Open Source plus kommerzielle Unterstützung Unternehmen mit eigener Plattform, die Rückhalt wollen Selbst betrieben, Support vom Hersteller
Studio-Edition Einstieg in Designer und Plattform, eingeschränkt Erkundung, Prototypen, Lernphase Vom Anbieter gehostet
Enterprise-Plattform Voller Funktionsumfang inkl. Governance Produktive Unternehmensanwendungen SaaS, ggf. VPC oder On-Prem

Das Verhältnis zwischen Plattform und Haystack

Das Besondere an deepset ist die enge Verzahnung von Open Source und kommerziellem Produkt. Pipelines in der Plattform basieren auf Haystack-Komponenten und lassen sich in einem deklarativen Format beschreiben. Das hat zwei praktische Konsequenzen. Erstens profitieren Plattformkunden direkt von der Weiterentwicklung des Frameworks und von dessen breitem Integrationsökosystem. Zweitens ist der Lock-in-Effekt geringer als bei vollständig proprietären Plattformen: Das Wissen über Pipeline-Architektur, Komponenten und Konzepte ist übertragbar, und eine Pipeline lässt sich grundsätzlich auch außerhalb der Plattform mit Haystack nachbauen.
Ganz ohne Bindung ist man aber auch hier nicht. Plattformspezifische Funktionen – etwa die Benutzeroberfläche, die Evaluierungsumgebung, die Verwaltung von Workspaces, die Rechteverwaltung oder die gehosteten Indizes – existieren in Haystack nicht in derselben Form. Wer die Plattform verlässt, nimmt seine Pipeline-Logik mit, muss aber Betrieb, Überwachung und Benutzerführung neu aufbauen. Diese realistische Einschätzung gehört in jede Plattformentscheidung.

Positionierung im Markt

deepset positioniert die Plattform als Enterprise-Lösung für Organisationen, die KI-Anwendungen mit hoher Anforderung an Qualität, Nachvollziehbarkeit und Kontrolle betreiben wollen. Sie konkurriert damit einerseits mit Cloud-Diensten der großen Hyperscaler, andererseits mit spezialisierten RAG-Plattformen und mit Observability-Werkzeugen aus anderen Framework-Ökosystemen. Ihr Profil lässt sich auf drei Punkte verdichten: modellagnostisch, auf einem verbreiteten Open-Source-Framework aufbauend und von einem europäischen Anbieter. Wie gut dieses Profil zum eigenen Bedarf passt, zeigt Kapitel 06 im direkten Vergleich.
Für die Auswahl der passenden Ebene hat sich in unseren Projekten eine einfache Leitfrage bewährt: Wer soll die Anwendung in zwei Jahren betreiben? Liegt die Antwort klar bei einem internen Entwicklerteam mit Cloud- und Python-Erfahrung, ist Haystack mit optionalem Hersteller-Support oft ausreichend. Sollen dagegen mehrere Fachbereiche eigenständig an Pipelines arbeiten, Qualität regelmäßig nachweisen und neue Anwendungsfälle ohne großen Entwicklungsaufwand ergänzen, spricht vieles für die Enterprise-Plattform. Die Studio-Variante eignet sich als risikoarmer Zwischenschritt, um genau diese Frage auf Basis echter Erfahrung zu beantworten.
Beim Anbieter prüfen

Editionsnamen, Funktionszuschnitte, Nutzungsgrenzen der Einstiegsvariante und verfügbare Betriebsmodelle können sich ändern. Lassen Sie sich vor einer Entscheidung den aktuellen Leistungsumfang schriftlich bestätigen – insbesondere zu Hosting-Region, VPC- und On-Prem-Optionen sowie Support-Leveln.

Kapitel 03 · Funktionsumfang

Pipeline-Designer, Evaluierung und Deployment

Der Funktionsumfang der Plattform folgt dem Lebenszyklus einer KI-Anwendung: Daten aufnehmen und indexieren, Pipelines entwerfen, Qualität messen, ausrollen und im Betrieb beobachten. Jede dieser Phasen ist in der Plattform abgebildet – mit unterschiedlicher Tiefe, aber durchgängig verbunden.

Pipelines entwerfen: visuell und deklarativ

Herzstück ist der Pipeline-Designer. Eine Pipeline beschreibt den Weg einer Anfrage durch das System: Die Frage wird gegebenenfalls umformuliert, in einen Vektor übersetzt, gegen einen Index abgefragt, die Treffer werden neu sortiert, in einen Prompt eingebettet und an ein Sprachmodell übergeben, dessen Antwort schließlich formatiert und mit Quellen versehen wird. In der Plattform lassen sich diese Schritte als Komponenten auf einer Arbeitsfläche anordnen und verbinden. Parallel existiert eine textbasierte, deklarative Beschreibung der Pipeline, die sich versionieren und in Code-Prozesse einbinden lässt.
Diese doppelte Darstellung ist ein echter Vorteil in gemischten Teams. Fachlich orientierte Personen können die Logik einer Pipeline nachvollziehen und mitdiskutieren, ohne Python zu lesen. Entwicklerinnen und Entwickler behalten die Kontrolle über Details und können Änderungen sauber nachverfolgen. Hinzu kommen Vorlagen für gängige Muster – etwa einfache RAG-Abläufe, hybride Suche aus Stichwort- und Vektorsuche, Abläufe mit Reranking oder Chat-Szenarien mit Gesprächsverlauf –, die den Einstieg erheblich beschleunigen.
Neben den Anfrage-Pipelines gibt es Indexierungs-Pipelines. Sie legen fest, wie Dokumente aufgenommen, in Text umgewandelt, bereinigt, in Abschnitte zerlegt, mit Metadaten angereichert und in Vektoren übersetzt werden. Gerade in mittelständischen Datenlandschaften mit PDF-Handbüchern, gescannten Formularen, Office-Dokumenten und Tabellen entscheidet diese Vorverarbeitung maßgeblich über die spätere Antwortqualität. Dass sie in derselben Umgebung gestaltet und getestet werden kann, ist ein praktischer Gewinn.
Ergänzend bietet die Plattform eine Umgebung, in der Prompts und Modellvarianten interaktiv ausprobiert werden können, bevor sie in eine Pipeline übernommen werden. Das klingt nach einem Detail, spart in der Praxis aber viel Zeit: Statt Prompt-Änderungen im Code vorzunehmen, neu auszurollen und dann zu testen, lassen sich Formulierungen, Systemanweisungen und Modellparameter direkt an realen Dokumenten vergleichen. Erfolgreiche Varianten wandern anschließend kontrolliert in die Pipeline und durchlaufen dort die reguläre Evaluierung.

Evaluierung: Qualität messbar machen

Ein Bereich, in dem deepset traditionell stark ist, ist die systematische Bewertung. Viele RAG-Projekte scheitern nicht an der Technik, sondern daran, dass niemand verlässlich sagen kann, ob eine Änderung die Antworten besser oder schlechter gemacht hat. Die Plattform unterstützt deshalb Testdatensätze mit Fragen und erwarteten Antworten oder relevanten Dokumenten, gegen die sich Pipelines automatisiert prüfen lassen. Gemessen werden typischerweise zwei Ebenen: die Qualität des Retrievals – findet das System die richtigen Dokumente? – und die Qualität der generierten Antwort – ist sie korrekt, vollständig und durch die Quellen gedeckt?
Ergänzend gibt es Möglichkeiten, Pipeline-Varianten nebeneinander zu vergleichen und Ergebnisse von Fachexpertinnen und Fachexperten bewerten zu lassen. Diese Kombination aus automatisierten Metriken und menschlichem Urteil entspricht dem, was sich in der Praxis bewährt hat. Wer bereits mit Werkzeugen wie Ragas arbeitet, findet dort verwandte Konzepte; die Plattform integriert solche Messansätze aber in den durchgängigen Arbeitsablauf, statt sie als separaten Schritt zu behandeln. Welche Metriken im Detail verfügbar sind, entwickelt sich laufend weiter und sollte aktuell geprüft werden.

Deployment, Schnittstellen und Betrieb

Ist eine Pipeline überzeugend, lässt sie sich aus der Plattform heraus ausrollen und über eine Programmierschnittstelle ansprechen. Eigene Anwendungen, Intranetportale oder Fachsysteme rufen die Pipeline dann wie einen Dienst auf. Für schnelle Pilotphasen bietet die Plattform zudem einfache Oberflächen, über die Testnutzer mit der Anwendung arbeiten und Feedback geben können – ein unterschätzter Hebel, um früh echte Nutzungsdaten zu sammeln.
Im Betrieb stehen Protokollierung, Nachvollziehbarkeit einzelner Anfragen und Überwachung im Vordergrund. Für jede Anfrage lässt sich verfolgen, welche Dokumente gefunden, welcher Prompt gebaut und welche Antwort erzeugt wurde. Das ist nicht nur für die Fehlersuche wichtig, sondern auch für Revisionssicherheit und interne Freigabeprozesse. Hinzu kommen Funktionen für Workspaces, Benutzer- und Rollenverwaltung sowie die Trennung von Entwicklungs- und Produktivumgebungen.
Pipeline-Designer
Kern

Visuelle und deklarative Gestaltung von Indexierungs- und Anfrage-Pipelines auf Basis von Haystack-Komponenten, inklusive Vorlagen.

ZielgruppeDev & Fachbereich
NutzenSchneller Prototyp
Evaluierung
Qualität

Testdatensätze, automatisierte Metriken für Retrieval und Antwort, Variantenvergleich und menschliches Feedback in einem Ablauf.

ZielgruppeDev & QA
NutzenMessbare Qualität
Deployment & Betrieb
Produktion

Ausrollen als API, Protokollierung, Nachvollziehbarkeit, Rollen und Rechte sowie getrennte Umgebungen für Entwicklung und Produktion.

ZielgruppeIT-Betrieb
NutzenVerlässlicher Betrieb
Kapitel 04 · KI, Agenten & Automatisierung

Vom RAG-Assistenten zum KI-Agenten

Klassisches RAG folgt einem festen Ablauf: Frage, Suche, Antwort. Agenten gehen einen Schritt weiter – sie entscheiden selbst, welche Werkzeuge sie in welcher Reihenfolge nutzen, um ein Ziel zu erreichen. deepset hat sein Angebot in diese Richtung erweitert, und auch Haystack bringt inzwischen eigene Agenten-Bausteine mit.

Wie Agenten auf der Plattform funktionieren

Ein Agent besteht im Kern aus einem Sprachmodell, einer Zielbeschreibung und einer Menge von Werkzeugen. Werkzeuge können Suchpipelines über unterschiedliche Wissensbestände sein, Abfragen an Datenbanken, Aufrufe externer Schnittstellen oder Berechnungsfunktionen. Das Sprachmodell entscheidet anhand der Anfrage, welches Werkzeug es aufruft, wertet das Ergebnis aus und plant den nächsten Schritt – so lange, bis es eine Antwort formulieren kann oder eine Abbruchbedingung erreicht ist.
Der Charme des Haystack-Ansatzes liegt darin, dass bestehende Pipelines selbst zu Werkzeugen werden können. Eine bereits evaluierte RAG-Pipeline über das Qualitätshandbuch lässt sich so als ein Werkzeug unter mehreren einem Agenten zur Verfügung stellen, der zusätzlich etwa auf eine Artikeldatenbank oder ein Ticketsystem zugreift. Das fördert einen schrittweisen Aufbau: Erst werden belastbare Einzelpipelines geschaffen, dann werden sie zu agentischen Abläufen verbunden. Zudem unterstützt das Ökosystem offene Protokolle zur Werkzeuganbindung, etwa das Model Context Protocol (MCP), was die Integration in bestehende Agenten-Landschaften erleichtern kann. Den konkreten Reifegrad dieser Anbindungen sollten Sie im eigenen Szenario prüfen.

Kontrolle statt Blackbox

Agenten sind mächtig, aber schwerer zu kontrollieren als feste Pipelines. Ein Agent kann unnötig viele Schritte gehen, falsche Werkzeuge wählen oder sich in Schleifen verfangen. Für den Unternehmenseinsatz ist deshalb entscheidend, dass jeder Schritt nachvollziehbar bleibt. Die Plattform setzt hier auf dieselben Prinzipien wie bei RAG: Protokollierung jedes Werkzeugaufrufs, Nachvollziehbarkeit der Zwischenergebnisse und Evaluierung gegen Testfälle. Hinzu kommen Begrenzungen – etwa maximale Schrittzahlen oder freigegebene Werkzeuglisten –, die das Verhalten eingrenzen.
Aus unserer Projekterfahrung ist dieser Kontrollaspekt wichtiger als die reine Leistungsfähigkeit. Mittelständische Unternehmen brauchen selten den maximal autonomen Agenten, sondern einen gut eingegrenzten Assistenten, der zuverlässig zwei oder drei definierte Aufgaben erledigt und dabei transparent bleibt. Wer Agenten einführt, sollte deshalb mit engen Zuständigkeiten starten und die Autonomie erst mit wachsender Erfahrung erweitern.

Automatisierung im Prozesskontext

Neben dialogorientierten Anwendungen lassen sich Pipelines und Agenten auch in automatisierte Prozesse einbinden. Beispiele sind die Vorab-Klassifizierung eingehender Dokumente, die Extraktion strukturierter Informationen aus Verträgen oder Lieferscheinen, das Erstellen von Zusammenfassungen für Fachabteilungen oder die Vorbereitung von Antwortentwürfen im Kundenservice. Über die Programmierschnittstelle lassen sich solche Abläufe aus Workflow-Werkzeugen, Fachanwendungen oder eigenen Skripten anstoßen.
  • Dokumentenverarbeitung: Klassifizieren, extrahieren und zusammenfassen im Batch.
  • Assistierte Bearbeitung: Antwortentwürfe mit Quellen, die ein Mensch prüft und freigibt.
  • Mehrquellen-Recherche: Agenten, die mehrere Wissensbestände kombinieren.
  • Wiederkehrende Analysen: Regelmäßige Auswertungen von Berichten oder Rückmeldungen.
Wichtig ist dabei das Prinzip „Mensch im Prozess“: Gerade bei Entscheidungen mit rechtlicher oder finanzieller Tragweite sollte ein Agent vorbereiten, aber nicht abschließend entscheiden. Die Nachvollziehbarkeit der Plattform hilft, diese Freigabeschritte sauber zu dokumentieren und bei Bedarf zu belegen, auf welcher Grundlage ein Vorschlag entstanden ist.
Praxis-Tipp

Bauen Sie Agenten auf bereits evaluierten RAG-Pipelines auf. Ein Agent ist nur so gut wie seine Werkzeuge – wenn die Suche über das Handbuch unzuverlässig ist, wird der Agent es auch sein, nur schwerer nachvollziehbar.

Kapitel 05 · Integrationen & Ökosystem

Sprachmodelle, Vektordatenbanken und Cloud-Umgebungen

Eine der größten Stärken der Plattform ist ihre Offenheit gegenüber Modellen und Infrastruktur. Weil sie auf Haystack aufbaut, erbt sie dessen breites Integrationsökosystem. Unternehmen können ihre Sprachmodelle, Embedding-Modelle und Dokumentenspeicher weitgehend frei wählen – und diese Wahl später ändern.

Modellagnostisch: freie Wahl der Sprachmodelle

Die Plattform bindet sich nicht an einen bestimmten Modellanbieter. Über die Haystack-Integrationen lassen sich gängige kommerzielle Modelle ansprechen – etwa von OpenAI, Anthropic, Google, Cohere oder Mistral –, ebenso Modelle über die Dienste der Hyperscaler wie Azure OpenAI, Amazon Bedrock oder Google Vertex AI. Hinzu kommen offene Modelle, die über Hugging Face oder über eigene Inferenzserver wie vLLM oder Ollama betrieben werden. Für Embeddings und Reranking gilt das Gleiche: Kommerzielle Dienste stehen ebenso zur Verfügung wie offene Modelle, die im eigenen Rechenzentrum laufen.
Diese Freiheit ist strategisch wertvoll. Der Markt für Sprachmodelle verändert sich in hohem Tempo; was heute das beste Preis-Leistungs-Verhältnis bietet, kann in einem halben Jahr überholt sein. Eine modellagnostische Plattform erlaubt es, Modelle auszutauschen und die Auswirkungen über die Evaluierung messbar zu machen, ohne die gesamte Anwendung neu zu bauen. Zugleich ist sie der zentrale Hebel für Datenschutz: Welche Daten wohin fließen, entscheidet maßgeblich die Modellwahl – nicht die Plattform allein.

Dokumentenspeicher und Vektordatenbanken

In der gehosteten Variante stellt die Plattform eigene Indizes bereit, sodass Kunden sich nicht zwingend um eine separate Vektordatenbank kümmern müssen. Darüber hinaus unterstützt das Haystack-Ökosystem eine breite Palette an Dokumentenspeichern, darunter OpenSearch und Elasticsearch, spezialisierte Vektordatenbanken wie Qdrant, Weaviate, Pinecone oder Milvus sowie relationale bzw. dokumentorientierte Datenbanken mit Vektorerweiterung wie PostgreSQL mit pgvector oder MongoDB. Welche dieser Optionen in der jeweiligen Plattformedition und im jeweiligen Betriebsmodell konkret nutzbar sind, sollte im Einzelfall geklärt werden.
Für mittelständische Unternehmen ist das vor allem dann relevant, wenn bereits eine Such- oder Datenbankinfrastruktur existiert. Wer etwa schon Elasticsearch oder PostgreSQL produktiv einsetzt, möchte diese Kompetenz nutzen und keine weitere Datenbank einführen. Die Offenheit von Haystack ermöglicht hier pragmatische Architekturen, die an Bestehendes anknüpfen.

Datenquellen, Formate und Cloud-Anbindung

Für die Aufnahme von Inhalten unterstützt das Ökosystem die üblichen Formate wie PDF, Office-Dokumente, HTML, Markdown und Text, zudem Konverter und Vorverarbeitungswerkzeuge für komplexere Layouts. Spezialisierte Werkzeuge zur Dokumentzerlegung lassen sich als Komponenten einbinden. Für die Anbindung von Unternehmensquellen wie Dateiablagen, Wikis oder Ticketsystemen braucht es je nach Quelle fertige Konnektoren oder eine eigene Ingestion-Strecke, die Dokumente regelmäßig synchronisiert. Hier lohnt ein genauer Blick, welche Konnektoren für die eigene Systemlandschaft wirklich vorhanden sind – und wo eigener Integrationsaufwand anfällt.
Ein oft unterschätzter Punkt ist die Abbildung von Zugriffsrechten. Wenn ein Wissensassistent auf Dokumente aus unterschiedlichen Abteilungen zugreift, muss sichergestellt sein, dass Nutzer nur Antworten auf Basis von Dokumenten erhalten, die sie auch selbst einsehen dürften. Technisch geschieht das meist über Metadaten und Filter in der Suche, die mit den Berechtigungen der Quellsysteme synchron gehalten werden. Diese Aufgabe nimmt keine Plattform vollständig ab; sie gehört von Anfang an in die Architekturplanung.
Bereich Beispiele im Ökosystem Hinweis für die Praxis
Sprachmodelle (kommerziell) OpenAI, Anthropic, Google, Cohere, Mistral Datenfluss und Hosting-Region je Anbieter prüfen
Hyperscaler-Dienste Azure OpenAI, Amazon Bedrock, Vertex AI EU-Regionen verfügbar, Vertragslage prüfen
Offene Modelle Hugging Face, vLLM, Ollama Maximale Datenhoheit, eigener Betrieb nötig
Dokumentenspeicher OpenSearch, Elasticsearch, Qdrant, Weaviate, pgvector An vorhandene Infrastruktur anknüpfen
Evaluierung & Beobachtung Integrierte Plattformwerkzeuge, Ragas-Konzepte Testdatensätze früh aufbauen
Kapitel 06 · Abgrenzung

deepset Cloud vs. Azure AI Search, Vectara, LangSmith und Eigenbau

Die Plattform steht nicht allein. Wer eine Entscheidung trifft, vergleicht sie typischerweise mit einem Hyperscaler-Dienst, einer spezialisierten RAG-as-a-Service-Plattform, einem Observability-Werkzeug aus einem anderen Framework-Ökosystem oder dem vollständigen Eigenbau. Die folgende Gegenüberstellung ist qualitativ und herstellerneutral; konkrete Leistungsdaten sind stets im eigenen Test zu ermitteln.

Kriterium deepset Cloud Azure AI Search Vectara LangSmith Eigenbau (OSS)
Kernfokus Pipeline-Plattform für RAG & Agenten Such- und Indexdienst RAG als Dienst Tracing & Evaluierung Frei gestaltbar
Technische Basis Haystack (offen) Proprietär (Microsoft) Proprietär LangChain-Ökosystem Frameworks nach Wahl
Modellwahl sehr frei Azure-zentriert eingeschränkter frei vollständig frei
Anbieter-Herkunft Deutschland USA USA USA Eigene Hoheit
Eigenaufwand mittel mittel gering mittel bis hoch hoch
Stärke Durchgängiger Lebenszyklus, EU-Anbieter Integration ins Microsoft-Ökosystem Schneller Start ohne Team Tiefe Einblicke in LLM-Abläufe Maximale Kontrolle

Azure AI Search und Vectara: Dienste statt Plattform

Azure AI Search ist in erster Linie ein leistungsfähiger Such- und Indexdienst mit Vektor- und Hybridsuche, eingebettet in das Microsoft-Ökosystem. Für Unternehmen, die bereits stark auf Azure setzen, ist er naheliegend: Identitäten, Netzwerke und Abrechnung sind schon vorhanden, und die Verbindung zu Azure OpenAI ist eng. Die eigentliche RAG-Logik, Evaluierung und Agentensteuerung muss allerdings mit weiteren Diensten oder eigenem Code ergänzt werden. deepset Cloud setzt eine Ebene höher an: Sie orchestriert den gesamten Ablauf und kann dabei grundsätzlich auch mit verschiedenen Such-Backends arbeiten.
Vectara verfolgt einen anderen Ansatz: RAG als weitgehend fertiger Dienst. Man lädt Dokumente hoch und erhält eine Such- und Antwortschnittstelle, ohne sich um Chunking, Embeddings oder Pipeline-Gestaltung kümmern zu müssen. Das ist bequem und schnell, schränkt aber die Gestaltungsfreiheit ein. Wer die Pipeline gezielt optimieren, eigene Modelle einsetzen oder ungewöhnliche Dokumenttypen speziell verarbeiten will, stößt bei einem stark gekapselten Dienst eher an Grenzen. deepset liegt hier zwischen den Polen: mehr Kontrolle als ein fertiger Dienst, weniger Eigenbau als reines Open Source.

LangSmith und Eigenbau: Werkzeug oder Plattform?

LangSmith stammt aus dem LangChain-Ökosystem und konzentriert sich auf Nachverfolgung, Fehlersuche, Evaluierung und Überwachung von LLM-Anwendungen. Es ist kein vollständiger Ersatz für eine Pipeline-Plattform, sondern ein Beobachtungs- und Testwerkzeug, das man mit eigenem Anwendungscode kombiniert. Wer bereits auf LangChain oder LangGraph setzt, findet in LangSmith eine natürliche Ergänzung. Wer dagegen auf Haystack aufbaut oder eine integrierte Umgebung inklusive Designer, Hosting und Rechteverwaltung sucht, ist bei deepset näher am Ziel. Die Entscheidung ist daher oft eine Frage des bevorzugten Framework-Ökosystems.
Der vollständige Eigenbau mit Haystack, LangChain oder LlamaIndex bietet maximale Kontrolle und vermeidet Plattformkosten. Dafür trägt das eigene Team die gesamte Verantwortung: Betrieb der Komponenten, Evaluierungsinfrastruktur, Benutzeroberflächen, Rechteverwaltung, Überwachung, Sicherheitsupdates. Für Unternehmen mit starker Entwicklungsabteilung und speziellen Anforderungen kann das der richtige Weg sein. Für viele Mittelständler übersteigt der dauerhafte Betriebsaufwand jedoch die eingesparten Lizenzkosten – gerade wenn mehrere Anwendungen parallel betreut werden müssen.
In der Praxis schließen sich die Optionen übrigens nicht vollständig aus. Denkbar ist etwa, deepset als Orchestrierungs- und Evaluierungsschicht zu nutzen und dabei Sprachmodelle über einen Hyperscaler in einer EU-Region anzubinden oder einen bereits vorhandenen Suchindex weiterzuverwenden. Entscheidend ist, die Rollen der einzelnen Bausteine klar zu definieren, statt mehrere Plattformen mit überlappendem Funktionsumfang parallel aufzubauen.
Faustregel zur Abgrenzung

Microsoft-zentrierte IT mit reinem Suchbedarf: Azure AI Search prüfen. Schneller RAG-Start ohne eigenes Team: Vectara prüfen. LangChain-Projekte mit Bedarf an Tracing: LangSmith. Durchgängige, modelloffene Plattform mit europäischem Anbieter und Haystack-Basis: deepset. Starkes Dev-Team mit Sonderanforderungen: Eigenbau.

Kapitel 07 · Einführung & Betrieb

SaaS, VPC oder On-Prem – Betriebsmodelle und Einführungspfad

Die Frage, wo die Plattform läuft, ist für viele Unternehmen im DACH-Raum mindestens so wichtig wie die Frage, was sie kann. deepset adressiert unterschiedliche Anforderungen mit mehreren Betriebsmodellen – deren genaue Verfügbarkeit und Konditionen jedoch im Einzelfall verhandelt werden.

Drei Betriebsmodelle im Vergleich

Im SaaS-Modell betreibt deepset die Plattform in seiner eigenen Cloud-Umgebung. Für Kunden bedeutet das den geringsten Aufwand: kein eigener Betrieb, automatische Aktualisierungen, schneller Start. Entscheidend sind hier die Hosting-Region, die Unterauftragsverarbeiter und die vertraglichen Zusicherungen zum Umgang mit Daten. Für viele Anwendungsfälle mit nicht übermäßig sensiblen Daten ist das der pragmatische Weg.
Im VPC-Modell läuft die Plattform oder zumindest ihre datenverarbeitenden Teile in einer abgeschotteten Umgebung im Cloud-Konto des Kunden. Daten verlassen damit nicht die eigene Cloud-Infrastruktur, während der Anbieter weiterhin Teile des Betriebs übernehmen kann. Das ist interessant für Organisationen, die ohnehin eine Cloud-Strategie verfolgen, aber Daten nicht in eine fremde Umgebung geben wollen.
Ein On-Premises-Betrieb im eigenen Rechenzentrum bietet maximale Kontrolle, verlangt aber auch eigene Betriebskompetenz, passende Infrastruktur und bei offenen Sprachmodellen entsprechende GPU-Kapazität. Ob und in welcher Form ein solcher Betrieb angeboten wird, hängt von Edition, Vertrag und Projektgröße ab und sollte vorab beim Anbieter geklärt werden. Alternativ bleibt immer der Weg über Haystack Open Source im Eigenbetrieb – dann allerdings ohne die plattformspezifischen Funktionen.
Stärken
  • Mehrere Betriebsmodelle von SaaS bis zu abgeschotteten Umgebungen
  • Durchgängiger Lebenszyklus von Prototyp bis Produktion in einer Umgebung
  • Nachvollziehbarkeit jeder Anfrage für Fehlersuche und Revision
  • Offene Haystack-Basis reduziert die Abhängigkeit vom Anbieter
  • Europäischer Hersteller mit kurzen Wegen und deutschsprachigem Umfeld
Einschränkungen
  • Enterprise-Konditionen sind individuell und nicht öffentlich transparent
  • VPC- und On-Prem-Varianten erfordern eigene Betriebskompetenz
  • Plattformspezifische Funktionen sind nicht ohne Weiteres portierbar
  • Konnektoren für spezielle Unternehmensquellen ggf. selbst zu bauen
  • Fachkräfte mit Haystack-Erfahrung sind am Markt begrenzt

Ein realistischer Einführungspfad

Unabhängig vom Betriebsmodell hat sich ein schrittweises Vorgehen bewährt, das früh Klarheit über Nutzen und Aufwand schafft und Fehlinvestitionen vermeidet.
01
Use Case und Datenlage klären
Einen konkreten Anwendungsfall mit messbarem Nutzen auswählen, die relevanten Dokumentbestände sichten und Datenschutzklassen festlegen. Ohne diese Grundlage ist jede Plattformwahl verfrüht.
02
Testdatensatz aufbauen
Gemeinsam mit dem Fachbereich realistische Fragen und erwartete Antworten sammeln. Dieser Satz ist der Maßstab für alle späteren Entscheidungen zu Modellen, Chunking und Pipeline-Varianten.
03
Prototyp in der Einstiegsvariante
Eine erste Pipeline mit Vorlagen aufbauen, gegen den Testdatensatz evaluieren und mit wenigen Testnutzern erproben. Hier zeigt sich schnell, ob der Ansatz trägt.
04
Betriebsmodell und Vertrag festlegen
Auf Basis der Erkenntnisse SaaS, VPC oder On-Prem wählen, Modellanbieter festlegen, Auftragsverarbeitung regeln und Rollen sowie Rechte definieren.
05
Produktivsetzung und Monitoring
Die Anwendung schrittweise ausrollen, Nutzung und Qualität überwachen, Feedback auswerten und die Pipeline kontinuierlich verbessern – immer messbar über die Evaluierung.
Organisatorisch braucht ein solches Vorhaben mindestens drei Rollen: eine fachliche Verantwortung, die Anwendungsfall, Testfragen und Qualitätskriterien definiert; eine technische Verantwortung für Pipelines, Integration und Betrieb; sowie eine Datenschutz- und Governance-Rolle, die Freigaben, Verträge und Löschkonzepte im Blick behält. In kleineren Unternehmen können diese Rollen gebündelt oder teilweise durch einen externen Partner übernommen werden – fehlen sollten sie nicht.
Kapitel 08 · Einsatz im Mittelstand

Wo deepset im Mittelstand seine Stärken ausspielt

Für mittelständische Unternehmen ist die zentrale Frage nicht, ob eine Plattform technisch beeindruckt, sondern ob sie mit vertretbarem Aufwand einen spürbaren Nutzen stiftet. deepset Cloud ist kein Massenprodukt für den schnellen Chatbot, sondern eine professionelle Plattform – das hat Folgen für die passende Unternehmensgröße und die richtigen Anwendungsfälle.

Am besten passt die Plattform zu Unternehmen, die mehr als eine einzelne KI-Anwendung planen, über eine gewisse IT- oder Entwicklungskompetenz verfügen und hohe Anforderungen an Datenschutz und Nachvollziehbarkeit haben. Typisch sind Industrieunternehmen mit umfangreicher technischer Dokumentation, Finanzdienstleister und Versicherungen mit regulatorischen Anforderungen, Rechts- und Beratungsunternehmen mit großen Textbeständen sowie Organisationen der öffentlichen Hand oder öffentlichkeitsnahe Unternehmen, für die ein europäischer Anbieter ein klares Plus ist.

Typische Anwendungsfälle

Technischer Wissensassistent

Servicetechniker und Konstrukteure fragen Handbücher, Datenblätter und Wartungsanleitungen in natürlicher Sprache ab und erhalten Antworten mit Verweis auf die Quelle.

Schnellere Lösungen
Vertrags- und Richtlinienrecherche

Einkauf, Recht und Compliance durchsuchen Verträge und interne Richtlinien gezielt nach Klauseln, Fristen und Pflichten – mit nachvollziehbaren Belegstellen.

Weniger Suchzeit
Kundenservice mit Antwortentwürfen

Eingehende Anfragen werden analysiert, passende Wissensartikel gefunden und Antwortentwürfe vorbereitet, die Mitarbeitende prüfen und freigeben.

Entlastung im Service
Qualitäts- und Reklamationswissen

Frühere Reklamationen, Prüfberichte und 8D-Reports werden durchsuchbar, sodass ähnliche Fälle und bewährte Lösungen schneller gefunden werden.

Erfahrungswissen nutzen
Onboarding und internes Wissen

Neue Mitarbeitende finden Antworten zu Prozessen, Systemen und Zuständigkeiten, ohne Kolleginnen und Kollegen ständig unterbrechen zu müssen.

Schnellere Einarbeitung
Plattform für mehrere KI-Projekte

Statt jede Anwendung einzeln zu bauen, entsteht eine gemeinsame Basis mit einheitlicher Evaluierung, Governance und Betrieb für mehrere Fachbereiche.

Skaleneffekte

Wann die Plattform eher nicht passt

Ehrlicherweise ist deepset Cloud nicht für jedes mittelständische Unternehmen die beste Wahl. Wer lediglich einen einfachen Chat über eine Handvoll Dokumente benötigt, ist mit den integrierten Funktionen gängiger Office- oder Kollaborationssuiten oft schneller und günstiger bedient. Wer keinerlei interne Entwicklungs- oder IT-Kapazität hat und auch keinen Partner einbinden möchte, wird das Potenzial einer Pipeline-Plattform kaum ausschöpfen. Und wer ausschließlich im Microsoft-Kosmos lebt, sollte die Integrationsvorteile der dortigen Dienste ernsthaft gegen die Offenheit von deepset abwägen.
Umgekehrt gilt: Sobald mehrere Anwendungen, sensible Daten, unterschiedliche Modelle und die Notwendigkeit messbarer Qualität zusammenkommen, spielt die Plattform ihre Stärken aus. Dann zahlt sich aus, dass Evaluierung, Betrieb und Governance nicht für jede Anwendung neu erfunden werden müssen.
Unsere Empfehlung

Starten Sie mit einem klar umrissenen Anwendungsfall und einem Testdatensatz. Erst wenn sich der Nutzen messbar zeigt, lohnt die Entscheidung für eine Enterprise-Plattform. Ein kompakter Discovery-Workshop klärt, ob deepset, ein Hyperscaler-Dienst oder ein schlanker Eigenbau für Ihre Situation am besten passt.

Kapitel 09 · Kosten & DSGVO

Kosten, Datenschutz und der Vorteil des europäischen Anbieters

deepset ist ein deutsches Unternehmen – ein echtes Argument in Fragen der digitalen Souveränität. Doch die Herkunft des Plattformanbieters ist nur ein Teil der Datenschutzrechnung. Mindestens ebenso wichtig ist, welche Sprach- und Embedding-Modelle in den Pipelines arbeiten und wo diese betrieben werden.

Keine Rechtsberatung

Die folgenden Ausführungen sind eine praxisorientierte Einordnung aus IT- und Projektsicht – keine Rechtsberatung. Für die rechtssichere Bewertung Ihres konkreten Einsatzes, für Auftragsverarbeitungsverträge, Datenschutz-Folgenabschätzungen und Drittlandtransfers ziehen Sie bitte Ihre Datenschutzbeauftragten oder eine spezialisierte Kanzlei hinzu.

EU-Souveränität als Stärke – mit einer wichtigen Einschränkung

Ein europäischer Plattformanbieter bringt handfeste Vorteile: Vertragspartner, Gerichtsstand und Unternehmenssitz liegen in der EU, die Kommunikation findet im gleichen Rechts- und Kulturraum statt, und die Sensibilität für DSGVO-Anforderungen ist in der Regel hoch. Für Ausschreibungen, Datenschutzbeauftragte und Betriebsräte ist das häufig ein wichtiges Signal. Prüfen sollten Sie dennoch, in welcher Cloud-Infrastruktur und Region die gehostete Plattform läuft und welche Unterauftragsverarbeiter eingebunden sind – auch ein europäischer Anbieter kann Infrastruktur von US-Hyperscalern nutzen.
Die wichtigste Einschränkung betrifft die Modellwahl. Wenn eine Pipeline Anfragen und Dokumentausschnitte an ein Sprachmodell eines US-Anbieters schickt, verlassen diese Daten die Plattform – unabhängig davon, wo deepset seinen Sitz hat. Die Datenschutzbewertung hängt dann maßgeblich von diesem Modellanbieter ab: von dessen Hosting-Region, von den vertraglichen Zusagen zur Nichtverwendung für Training, von der Speicherdauer und von der Rechtsgrundlage für einen möglichen Drittlandtransfer. Wer die Souveränitätsvorteile des Plattformanbieters voll ausschöpfen will, kombiniert ihn mit Modellen, die in der EU oder in der eigenen Umgebung betrieben werden.
Checkliste für einen souveränen Einsatz

Die Plattform eines deutschen Anbieters ist ein guter Ausgangspunkt. Datenschutzkonform wird die Lösung aber erst durch die Summe der Entscheidungen zu Hosting, Modellen, Verträgen und Prozessen.

Hosting
Region, Infrastruktur und Unterauftragsverarbeiter klären
Modellwahl
EU-gehostete oder eigene Modelle für sensible Daten bevorzugen
Verträge
AVV mit Plattform- und Modellanbietern abschließen
Berechtigungen
Zugriffsrechte der Quelldokumente in der Suche abbilden
Protokolle
Speicherdauer von Anfragen und Logs festlegen
Freigabe
Datenschutzbeauftragte und ggf. Betriebsrat früh einbinden

EU AI Act und Nachvollziehbarkeit

Neben der DSGVO gewinnt die europäische KI-Verordnung an Bedeutung. Für die meisten RAG-Assistenten im Mittelstand dürften vor allem Transparenzpflichten und organisatorische Anforderungen relevant sein, während Hochrisiko-Szenarien eher die Ausnahme sind. Unabhängig von der genauen Einstufung helfen die Protokollierungs- und Evaluierungsfunktionen der Plattform, Entscheidungen nachvollziehbar zu dokumentieren und Qualität systematisch nachzuweisen. Die rechtliche Einordnung des konkreten Anwendungsfalls bleibt Aufgabe der Fachleute im eigenen Haus oder externer Beratung.

Kosten realistisch einschätzen

Konkrete Listenpreise für die Enterprise-Plattform sind öffentlich in der Regel nicht transparent; Konditionen werden individuell nach Nutzungsumfang, Betriebsmodell, Anzahl der Anwendungen und Support-Level vereinbart. Die Einstiegsvariante ermöglicht erste Erfahrungen mit begrenztem Risiko – deren aktuelle Bedingungen und Nutzungsgrenzen sollten Sie beim Anbieter prüfen. Wir nennen bewusst keine Zahlen, weil sie sich ändern und im Einzelfall stark variieren.
Für eine ehrliche Gesamtkostenbetrachtung gehören mehrere Posten zusammen: die Plattformlizenz, die nutzungsabhängigen Kosten der Sprach- und Embedding-Modelle, gegebenenfalls Infrastruktur für VPC- oder On-Prem-Betrieb und für selbst gehostete Modelle, der interne oder externe Aufwand für Aufbau und Pflege der Pipelines sowie die Arbeit an Datenqualität und Testdatensätzen. Dem gegenüber stehen die eingesparten Aufwände für den Eigenbau von Betrieb, Evaluierung und Governance. Gerade bei mehreren Anwendungen kann sich eine Plattform dadurch rechnen – bei einem einzelnen, kleinen Anwendungsfall eher nicht.
Plattform
Individuell
Enterprise-Vertrag, beim Anbieter prüfen
  • Abhängig von Nutzungsumfang, Betriebsmodell und Support-Level.
Modelle
Nutzungsabhängig
Token-, Anfrage- oder Infrastrukturkosten
  • Bei kommerziellen APIs pro Nutzung, bei eigenen Modellen über GPU-Infrastruktur.
Umsetzung
Projektabhängig
Intern oder mit Partner
  • Datenaufbereitung, Pipeline-Design, Evaluierung, Integration in Fachsysteme.
Kapitel 10 · Häufige Fragen

Häufig gestellte Fragen zu deepset Cloud

Diese Fragen begegnen uns in Beratungsgesprächen rund um deepset, Haystack und Enterprise-RAG am häufigsten – kurz und sachlich beantwortet.

Ist deepset Cloud dasselbe wie die deepset AI Platform?
Im Wesentlichen ja. deepset Cloud ist die ältere Bezeichnung für die kommerzielle Plattform, deepset AI Platform die neuere, die den erweiterten Fokus auf Agenten und allgemeine KI-Anwendungen widerspiegelt. Da der Anbieter Produktnamen und Editionszuschnitte mehrfach angepasst hat, sollten Sie die aktuelle Bezeichnung und den konkreten Leistungsumfang immer direkt beim Anbieter prüfen.
Brauche ich die Plattform, wenn Haystack doch Open Source ist?
Nicht zwingend. Haystack allein genügt, wenn ein eigenes Entwicklerteam Betrieb, Evaluierung, Benutzeroberflächen, Rechteverwaltung und Überwachung selbst aufbaut und pflegt. Die Plattform lohnt sich, wenn diese Bausteine fertig verfügbar sein sollen, mehrere Anwendungen parallel betrieben werden oder Fachbereiche aktiv an der Gestaltung mitwirken sollen. Viele Unternehmen beginnen mit Haystack und wechseln bei wachsendem Umfang auf die Plattform – oder umgekehrt.
Ist deepset Cloud DSGVO-konform?
Als deutscher Anbieter mit EU-Fokus bringt deepset gute Voraussetzungen mit. Die Konformität einer konkreten Lösung hängt aber von mehreren Faktoren ab: Hosting-Region und Infrastruktur, Auftragsverarbeitungsvertrag, Unterauftragsverarbeiter und vor allem die gewählten Sprach- und Embedding-Modelle. Werden Daten an ein US-Modell geschickt, ist dessen Datenschutzbewertung maßgeblich. Die rechtliche Prüfung gehört in die Hände Ihrer Datenschutzbeauftragten – dies ist keine Rechtsberatung.
Welche Sprachmodelle kann ich einsetzen?
Die Plattform ist modellagnostisch. Über die Haystack-Integrationen lassen sich kommerzielle Modelle gängiger Anbieter, Modelle über Hyperscaler-Dienste wie Azure OpenAI oder Amazon Bedrock sowie offene Modelle über eigene Inferenzserver einbinden. Welche Integrationen in Ihrer Edition und Ihrem Betriebsmodell konkret verfügbar sind, sollten Sie im Einzelfall klären.
Kann ich die Plattform im eigenen Rechenzentrum betreiben?
deepset adressiert neben dem SaaS-Betrieb auch abgeschottete Umgebungen wie VPC-Installationen im Cloud-Konto des Kunden und – je nach Vertrag – On-Premises-Szenarien. Verfügbarkeit, Voraussetzungen und Konditionen hängen von Edition und Projektgröße ab und sollten vorab beim Anbieter geklärt werden. Als Alternative bleibt Haystack Open Source im vollständigen Eigenbetrieb.
Wie unterscheidet sich deepset von Vectara und Azure AI Search?
Vectara bietet RAG als weitgehend fertigen Dienst mit geringem Eigenaufwand, aber weniger Gestaltungsfreiheit. Azure AI Search ist ein leistungsstarker Such- und Indexdienst im Microsoft-Ökosystem, bei dem die RAG-Logik ergänzt werden muss. deepset liegt dazwischen: Es orchestriert den gesamten Lebenszyklus von Pipelines und Agenten, ist modellagnostisch, basiert auf offenem Code und kommt von einem europäischen Anbieter.
Wie stark binde ich mich an den Anbieter?
Weniger als bei vollständig proprietären Plattformen, aber nicht gar nicht. Pipeline-Logik und Konzepte basieren auf Haystack und sind grundsätzlich übertragbar. Plattformspezifische Funktionen wie Oberfläche, Evaluierungsumgebung, Workspaces, Rechteverwaltung und gehostete Indizes müssten bei einem Wechsel neu aufgebaut werden. Eine saubere Dokumentation der Pipelines und eigene Testdatensätze erleichtern einen späteren Wechsel deutlich.
Welche Kompetenzen braucht mein Team?
Für den produktiven Einsatz sind Grundkenntnisse in RAG-Konzepten wie Chunking, Embeddings, Retrieval und Prompting hilfreich, dazu Erfahrung mit Programmierschnittstellen und der Integration in bestehende Systeme. Python- und Haystack-Kenntnisse sind von Vorteil, aber dank Designer und Vorlagen nicht für jede Rolle zwingend. Fachbereiche sollten vor allem beim Aufbau von Testdatensätzen und bei der Qualitätsbewertung eingebunden werden.
Was kostet deepset Cloud?
Enterprise-Konditionen werden individuell vereinbart und sind öffentlich in der Regel nicht transparent. Hinzu kommen Kosten für Sprach- und Embedding-Modelle, gegebenenfalls Infrastruktur sowie Aufwand für Aufbau und Pflege. Für eine belastbare Einschätzung empfehlen wir, einen konkreten Anwendungsfall zu definieren, die Einstiegsvariante zu testen und ein Angebot auf Basis realistischer Nutzungszahlen einzuholen.

Enterprise-RAG strategisch aufbauen

Bereit für eine souveräne KI-Plattform?

Von der ehrlichen Analyse Ihres Anwendungsfalls über die Auswahl der passenden Plattform bis zum sicher betriebenen, DSGVO-konformen System – INAGRO begleitet Sie auf jedem Schritt. Mit RAG-Expertise, Datenschutz-Fokus und tiefem Verständnis für den Mittelstand. Pragmatisch, herstellerneutral und mit messbarem Ergebnis.

Seit 2006 am Markt

Erfahrung aus über 100 Digitalprojekten

DSGVO & Souveränität

Datenschutz von Anfang an mitgedacht

Rückmeldung in 24 h

Schnell, direkt, unverbindlich