Wer sich mit RAG im Unternehmen beschäftigt, stößt früher oder später auf zwei Namen aus Berlin: Haystack und deepset. Haystack ist ein frei verfügbares Python-Framework, mit dem Entwicklerinnen und Entwickler Such- und Frage-Antwort-Systeme, RAG-Pipelines und Agenten aus einzelnen Bausteinen zusammensetzen. deepset ist das Unternehmen, das Haystack entwickelt und pflegt. Um dieses Open-Source-Projekt herum hat deepset eine kommerzielle Plattform aufgebaut, die lange unter dem Namen deepset Cloud bekannt war und inzwischen als deepset AI Platform auftritt. In diesem Artikel verwenden wir beide Bezeichnungen synonym, weil in Ausschreibungen, Projektunterlagen und Gesprächen noch häufig vom älteren Namen die Rede ist.
Die Grundidee der Plattform ist schnell erklärt: Haystack liefert die Bausteine, die Plattform liefert alles, was ein Unternehmen braucht, um aus diesen Bausteinen ein verlässlich betriebenes Produkt zu machen. Dazu gehören ein visueller Pipeline-Designer, eine Verwaltung für Dateien und Indizes, Werkzeuge zur systematischen Qualitätsmessung, eine Umgebung zum Ausprobieren von Prompts, Schnittstellen zur Einbindung in eigene Anwendungen sowie Funktionen für Rechteverwaltung, Protokollierung und Überwachung. Kurz gesagt: Die Plattform deckt den Weg vom Prototyp bis zum Produktivbetrieb ab, den viele Teams mit reinem Open-Source-Code mühsam selbst bauen müssten.
deepset wurde in Berlin gegründet und hat sich früh auf Sprachverarbeitung und semantische Suche spezialisiert – also auf Themen, die heute unter dem Schlagwort RAG zusammengefasst werden. Lange bevor generative KI zum Massenthema wurde, arbeitete das Team an Frage-Antwort-Systemen über Dokumentbeständen und an deutschsprachigen Sprachmodellen. Diese Herkunft prägt die Plattform bis heute: Sie ist weniger ein Chatbot-Baukasten als eine Ingenieursumgebung für Retrieval, Bewertung und Betrieb, die das Thema Suchqualität ernst nimmt.
Für Unternehmen im deutschsprachigen Raum ist ein Aspekt besonders interessant: deepset ist ein europäischer Anbieter mit Sitz in Deutschland. In einem Markt, der bei KI-Plattformen stark von US-Hyperscalern und US-Start-ups geprägt ist, gehört deepset zu den wenigen ernst zu nehmenden Enterprise-Anbietern mit europäischem Hauptsitz. Das ist kein Freifahrtschein in Sachen Datenschutz – darauf gehen wir in Kapitel 09 ausführlich ein –, aber ein relevantes Argument für Organisationen, die digitale Souveränität und kurze Wege zum Hersteller schätzen.
Die Einsatzszenarien ähneln denen anderer RAG-Plattformen, haben aber einen klaren Schwerpunkt auf dokumentenlastigen, wissensintensiven Prozessen. Typisch sind interne Wissensassistenten, die Fragen von Mitarbeitenden auf Basis von Handbüchern, Richtlinien und Projektdokumentation beantworten. Ebenso verbreitet sind Rechercheanwendungen für Fachabteilungen, etwa im Vertragswesen, in der Qualitätssicherung oder im technischen Kundendienst. Hinzu kommen Such- und Antwortfunktionen in eigenen Produkten oder Kundenportalen sowie zunehmend Agenten, die mehrere Schritte planen, Werkzeuge aufrufen und Ergebnisse zusammenführen.
Gemeinsam ist all diesen Szenarien, dass die Qualität der Antworten unmittelbar vom Zusammenspiel aus Datenaufbereitung, Suche und Sprachmodell abhängt. Genau dieses Zusammenspiel sichtbar, messbar und steuerbar zu machen, ist der eigentliche Kern des Plattformversprechens – und der Grund, warum deepset Cloud vor allem dort interessant wird, wo aus einem ersten Experiment eine dauerhaft betriebene Unternehmensanwendung werden soll.
Wer ältere Unterlagen liest, begegnet dem Begriff deepset Cloud. Mit der strategischen Erweiterung über klassisches RAG hinaus – hin zu Agenten und allgemeinen KI-Anwendungen – hat deepset die Plattform als deepset AI Platform neu positioniert. Daneben gab es mit deepset Studio ein Angebot, das insbesondere den visuellen Pipeline-Designer für einen breiteren Kreis zugänglich machen sollte, sowie Unterstützungs- und Lizenzangebote rund um Haystack für Unternehmen, die das Open-Source-Framework selbst betreiben, aber professionellen Rückhalt wünschen. Für die Praxis ist weniger der exakte Name entscheidend als die Frage, welche Funktionen in welcher Vertragsform enthalten sind. Genau diese Zuordnung ändert sich bei schnell wachsenden Plattformen regelmäßig.
Das Besondere an deepset ist die enge Verzahnung von Open Source und kommerziellem Produkt. Pipelines in der Plattform basieren auf Haystack-Komponenten und lassen sich in einem deklarativen Format beschreiben. Das hat zwei praktische Konsequenzen. Erstens profitieren Plattformkunden direkt von der Weiterentwicklung des Frameworks und von dessen breitem Integrationsökosystem. Zweitens ist der Lock-in-Effekt geringer als bei vollständig proprietären Plattformen: Das Wissen über Pipeline-Architektur, Komponenten und Konzepte ist übertragbar, und eine Pipeline lässt sich grundsätzlich auch außerhalb der Plattform mit Haystack nachbauen.
Ganz ohne Bindung ist man aber auch hier nicht. Plattformspezifische Funktionen – etwa die Benutzeroberfläche, die Evaluierungsumgebung, die Verwaltung von Workspaces, die Rechteverwaltung oder die gehosteten Indizes – existieren in Haystack nicht in derselben Form. Wer die Plattform verlässt, nimmt seine Pipeline-Logik mit, muss aber Betrieb, Überwachung und Benutzerführung neu aufbauen. Diese realistische Einschätzung gehört in jede Plattformentscheidung.
deepset positioniert die Plattform als Enterprise-Lösung für Organisationen, die KI-Anwendungen mit hoher Anforderung an Qualität, Nachvollziehbarkeit und Kontrolle betreiben wollen. Sie konkurriert damit einerseits mit Cloud-Diensten der großen Hyperscaler, andererseits mit spezialisierten RAG-Plattformen und mit Observability-Werkzeugen aus anderen Framework-Ökosystemen. Ihr Profil lässt sich auf drei Punkte verdichten: modellagnostisch, auf einem verbreiteten Open-Source-Framework aufbauend und von einem europäischen Anbieter. Wie gut dieses Profil zum eigenen Bedarf passt, zeigt Kapitel 06 im direkten Vergleich.
Für die Auswahl der passenden Ebene hat sich in unseren Projekten eine einfache Leitfrage bewährt: Wer soll die Anwendung in zwei Jahren betreiben? Liegt die Antwort klar bei einem internen Entwicklerteam mit Cloud- und Python-Erfahrung, ist Haystack mit optionalem Hersteller-Support oft ausreichend. Sollen dagegen mehrere Fachbereiche eigenständig an Pipelines arbeiten, Qualität regelmäßig nachweisen und neue Anwendungsfälle ohne großen Entwicklungsaufwand ergänzen, spricht vieles für die Enterprise-Plattform. Die Studio-Variante eignet sich als risikoarmer Zwischenschritt, um genau diese Frage auf Basis echter Erfahrung zu beantworten.
Herzstück ist der Pipeline-Designer. Eine Pipeline beschreibt den Weg einer Anfrage durch das System: Die Frage wird gegebenenfalls umformuliert, in einen Vektor übersetzt, gegen einen Index abgefragt, die Treffer werden neu sortiert, in einen Prompt eingebettet und an ein Sprachmodell übergeben, dessen Antwort schließlich formatiert und mit Quellen versehen wird. In der Plattform lassen sich diese Schritte als Komponenten auf einer Arbeitsfläche anordnen und verbinden. Parallel existiert eine textbasierte, deklarative Beschreibung der Pipeline, die sich versionieren und in Code-Prozesse einbinden lässt.
Diese doppelte Darstellung ist ein echter Vorteil in gemischten Teams. Fachlich orientierte Personen können die Logik einer Pipeline nachvollziehen und mitdiskutieren, ohne Python zu lesen. Entwicklerinnen und Entwickler behalten die Kontrolle über Details und können Änderungen sauber nachverfolgen. Hinzu kommen Vorlagen für gängige Muster – etwa einfache RAG-Abläufe, hybride Suche aus Stichwort- und Vektorsuche, Abläufe mit Reranking oder Chat-Szenarien mit Gesprächsverlauf –, die den Einstieg erheblich beschleunigen.
Neben den Anfrage-Pipelines gibt es Indexierungs-Pipelines. Sie legen fest, wie Dokumente aufgenommen, in Text umgewandelt, bereinigt, in Abschnitte zerlegt, mit Metadaten angereichert und in Vektoren übersetzt werden. Gerade in mittelständischen Datenlandschaften mit PDF-Handbüchern, gescannten Formularen, Office-Dokumenten und Tabellen entscheidet diese Vorverarbeitung maßgeblich über die spätere Antwortqualität. Dass sie in derselben Umgebung gestaltet und getestet werden kann, ist ein praktischer Gewinn.
Ergänzend bietet die Plattform eine Umgebung, in der Prompts und Modellvarianten interaktiv ausprobiert werden können, bevor sie in eine Pipeline übernommen werden. Das klingt nach einem Detail, spart in der Praxis aber viel Zeit: Statt Prompt-Änderungen im Code vorzunehmen, neu auszurollen und dann zu testen, lassen sich Formulierungen, Systemanweisungen und Modellparameter direkt an realen Dokumenten vergleichen. Erfolgreiche Varianten wandern anschließend kontrolliert in die Pipeline und durchlaufen dort die reguläre Evaluierung.
Ein Bereich, in dem deepset traditionell stark ist, ist die systematische Bewertung. Viele RAG-Projekte scheitern nicht an der Technik, sondern daran, dass niemand verlässlich sagen kann, ob eine Änderung die Antworten besser oder schlechter gemacht hat. Die Plattform unterstützt deshalb Testdatensätze mit Fragen und erwarteten Antworten oder relevanten Dokumenten, gegen die sich Pipelines automatisiert prüfen lassen. Gemessen werden typischerweise zwei Ebenen: die Qualität des Retrievals – findet das System die richtigen Dokumente? – und die Qualität der generierten Antwort – ist sie korrekt, vollständig und durch die Quellen gedeckt?
Ergänzend gibt es Möglichkeiten, Pipeline-Varianten nebeneinander zu vergleichen und Ergebnisse von Fachexpertinnen und Fachexperten bewerten zu lassen. Diese Kombination aus automatisierten Metriken und menschlichem Urteil entspricht dem, was sich in der Praxis bewährt hat. Wer bereits mit Werkzeugen wie Ragas arbeitet, findet dort verwandte Konzepte; die Plattform integriert solche Messansätze aber in den durchgängigen Arbeitsablauf, statt sie als separaten Schritt zu behandeln. Welche Metriken im Detail verfügbar sind, entwickelt sich laufend weiter und sollte aktuell geprüft werden.
Ist eine Pipeline überzeugend, lässt sie sich aus der Plattform heraus ausrollen und über eine Programmierschnittstelle ansprechen. Eigene Anwendungen, Intranetportale oder Fachsysteme rufen die Pipeline dann wie einen Dienst auf. Für schnelle Pilotphasen bietet die Plattform zudem einfache Oberflächen, über die Testnutzer mit der Anwendung arbeiten und Feedback geben können – ein unterschätzter Hebel, um früh echte Nutzungsdaten zu sammeln.
Im Betrieb stehen Protokollierung, Nachvollziehbarkeit einzelner Anfragen und Überwachung im Vordergrund. Für jede Anfrage lässt sich verfolgen, welche Dokumente gefunden, welcher Prompt gebaut und welche Antwort erzeugt wurde. Das ist nicht nur für die Fehlersuche wichtig, sondern auch für Revisionssicherheit und interne Freigabeprozesse. Hinzu kommen Funktionen für Workspaces, Benutzer- und Rollenverwaltung sowie die Trennung von Entwicklungs- und Produktivumgebungen.
Ein Agent besteht im Kern aus einem Sprachmodell, einer Zielbeschreibung und einer Menge von Werkzeugen. Werkzeuge können Suchpipelines über unterschiedliche Wissensbestände sein, Abfragen an Datenbanken, Aufrufe externer Schnittstellen oder Berechnungsfunktionen. Das Sprachmodell entscheidet anhand der Anfrage, welches Werkzeug es aufruft, wertet das Ergebnis aus und plant den nächsten Schritt – so lange, bis es eine Antwort formulieren kann oder eine Abbruchbedingung erreicht ist.
Der Charme des Haystack-Ansatzes liegt darin, dass bestehende Pipelines selbst zu Werkzeugen werden können. Eine bereits evaluierte RAG-Pipeline über das Qualitätshandbuch lässt sich so als ein Werkzeug unter mehreren einem Agenten zur Verfügung stellen, der zusätzlich etwa auf eine Artikeldatenbank oder ein Ticketsystem zugreift. Das fördert einen schrittweisen Aufbau: Erst werden belastbare Einzelpipelines geschaffen, dann werden sie zu agentischen Abläufen verbunden. Zudem unterstützt das Ökosystem offene Protokolle zur Werkzeuganbindung, etwa das Model Context Protocol (MCP), was die Integration in bestehende Agenten-Landschaften erleichtern kann. Den konkreten Reifegrad dieser Anbindungen sollten Sie im eigenen Szenario prüfen.
Agenten sind mächtig, aber schwerer zu kontrollieren als feste Pipelines. Ein Agent kann unnötig viele Schritte gehen, falsche Werkzeuge wählen oder sich in Schleifen verfangen. Für den Unternehmenseinsatz ist deshalb entscheidend, dass jeder Schritt nachvollziehbar bleibt. Die Plattform setzt hier auf dieselben Prinzipien wie bei RAG: Protokollierung jedes Werkzeugaufrufs, Nachvollziehbarkeit der Zwischenergebnisse und Evaluierung gegen Testfälle. Hinzu kommen Begrenzungen – etwa maximale Schrittzahlen oder freigegebene Werkzeuglisten –, die das Verhalten eingrenzen.
Aus unserer Projekterfahrung ist dieser Kontrollaspekt wichtiger als die reine Leistungsfähigkeit. Mittelständische Unternehmen brauchen selten den maximal autonomen Agenten, sondern einen gut eingegrenzten Assistenten, der zuverlässig zwei oder drei definierte Aufgaben erledigt und dabei transparent bleibt. Wer Agenten einführt, sollte deshalb mit engen Zuständigkeiten starten und die Autonomie erst mit wachsender Erfahrung erweitern.
Neben dialogorientierten Anwendungen lassen sich Pipelines und Agenten auch in automatisierte Prozesse einbinden. Beispiele sind die Vorab-Klassifizierung eingehender Dokumente, die Extraktion strukturierter Informationen aus Verträgen oder Lieferscheinen, das Erstellen von Zusammenfassungen für Fachabteilungen oder die Vorbereitung von Antwortentwürfen im Kundenservice. Über die Programmierschnittstelle lassen sich solche Abläufe aus Workflow-Werkzeugen, Fachanwendungen oder eigenen Skripten anstoßen.
Wichtig ist dabei das Prinzip „Mensch im Prozess“: Gerade bei Entscheidungen mit rechtlicher oder finanzieller Tragweite sollte ein Agent vorbereiten, aber nicht abschließend entscheiden. Die Nachvollziehbarkeit der Plattform hilft, diese Freigabeschritte sauber zu dokumentieren und bei Bedarf zu belegen, auf welcher Grundlage ein Vorschlag entstanden ist.
Die Plattform bindet sich nicht an einen bestimmten Modellanbieter. Über die Haystack-Integrationen lassen sich gängige kommerzielle Modelle ansprechen – etwa von OpenAI, Anthropic, Google, Cohere oder Mistral –, ebenso Modelle über die Dienste der Hyperscaler wie Azure OpenAI, Amazon Bedrock oder Google Vertex AI. Hinzu kommen offene Modelle, die über Hugging Face oder über eigene Inferenzserver wie vLLM oder Ollama betrieben werden. Für Embeddings und Reranking gilt das Gleiche: Kommerzielle Dienste stehen ebenso zur Verfügung wie offene Modelle, die im eigenen Rechenzentrum laufen.
Diese Freiheit ist strategisch wertvoll. Der Markt für Sprachmodelle verändert sich in hohem Tempo; was heute das beste Preis-Leistungs-Verhältnis bietet, kann in einem halben Jahr überholt sein. Eine modellagnostische Plattform erlaubt es, Modelle auszutauschen und die Auswirkungen über die Evaluierung messbar zu machen, ohne die gesamte Anwendung neu zu bauen. Zugleich ist sie der zentrale Hebel für Datenschutz: Welche Daten wohin fließen, entscheidet maßgeblich die Modellwahl – nicht die Plattform allein.
In der gehosteten Variante stellt die Plattform eigene Indizes bereit, sodass Kunden sich nicht zwingend um eine separate Vektordatenbank kümmern müssen. Darüber hinaus unterstützt das Haystack-Ökosystem eine breite Palette an Dokumentenspeichern, darunter OpenSearch und Elasticsearch, spezialisierte Vektordatenbanken wie Qdrant, Weaviate, Pinecone oder Milvus sowie relationale bzw. dokumentorientierte Datenbanken mit Vektorerweiterung wie PostgreSQL mit pgvector oder MongoDB. Welche dieser Optionen in der jeweiligen Plattformedition und im jeweiligen Betriebsmodell konkret nutzbar sind, sollte im Einzelfall geklärt werden.
Für mittelständische Unternehmen ist das vor allem dann relevant, wenn bereits eine Such- oder Datenbankinfrastruktur existiert. Wer etwa schon Elasticsearch oder PostgreSQL produktiv einsetzt, möchte diese Kompetenz nutzen und keine weitere Datenbank einführen. Die Offenheit von Haystack ermöglicht hier pragmatische Architekturen, die an Bestehendes anknüpfen.
Für die Aufnahme von Inhalten unterstützt das Ökosystem die üblichen Formate wie PDF, Office-Dokumente, HTML, Markdown und Text, zudem Konverter und Vorverarbeitungswerkzeuge für komplexere Layouts. Spezialisierte Werkzeuge zur Dokumentzerlegung lassen sich als Komponenten einbinden. Für die Anbindung von Unternehmensquellen wie Dateiablagen, Wikis oder Ticketsystemen braucht es je nach Quelle fertige Konnektoren oder eine eigene Ingestion-Strecke, die Dokumente regelmäßig synchronisiert. Hier lohnt ein genauer Blick, welche Konnektoren für die eigene Systemlandschaft wirklich vorhanden sind – und wo eigener Integrationsaufwand anfällt.
Ein oft unterschätzter Punkt ist die Abbildung von Zugriffsrechten. Wenn ein Wissensassistent auf Dokumente aus unterschiedlichen Abteilungen zugreift, muss sichergestellt sein, dass Nutzer nur Antworten auf Basis von Dokumenten erhalten, die sie auch selbst einsehen dürften. Technisch geschieht das meist über Metadaten und Filter in der Suche, die mit den Berechtigungen der Quellsysteme synchron gehalten werden. Diese Aufgabe nimmt keine Plattform vollständig ab; sie gehört von Anfang an in die Architekturplanung.
Azure AI Search ist in erster Linie ein leistungsfähiger Such- und Indexdienst mit Vektor- und Hybridsuche, eingebettet in das Microsoft-Ökosystem. Für Unternehmen, die bereits stark auf Azure setzen, ist er naheliegend: Identitäten, Netzwerke und Abrechnung sind schon vorhanden, und die Verbindung zu Azure OpenAI ist eng. Die eigentliche RAG-Logik, Evaluierung und Agentensteuerung muss allerdings mit weiteren Diensten oder eigenem Code ergänzt werden. deepset Cloud setzt eine Ebene höher an: Sie orchestriert den gesamten Ablauf und kann dabei grundsätzlich auch mit verschiedenen Such-Backends arbeiten.
Vectara verfolgt einen anderen Ansatz: RAG als weitgehend fertiger Dienst. Man lädt Dokumente hoch und erhält eine Such- und Antwortschnittstelle, ohne sich um Chunking, Embeddings oder Pipeline-Gestaltung kümmern zu müssen. Das ist bequem und schnell, schränkt aber die Gestaltungsfreiheit ein. Wer die Pipeline gezielt optimieren, eigene Modelle einsetzen oder ungewöhnliche Dokumenttypen speziell verarbeiten will, stößt bei einem stark gekapselten Dienst eher an Grenzen. deepset liegt hier zwischen den Polen: mehr Kontrolle als ein fertiger Dienst, weniger Eigenbau als reines Open Source.
LangSmith stammt aus dem LangChain-Ökosystem und konzentriert sich auf Nachverfolgung, Fehlersuche, Evaluierung und Überwachung von LLM-Anwendungen. Es ist kein vollständiger Ersatz für eine Pipeline-Plattform, sondern ein Beobachtungs- und Testwerkzeug, das man mit eigenem Anwendungscode kombiniert. Wer bereits auf LangChain oder LangGraph setzt, findet in LangSmith eine natürliche Ergänzung. Wer dagegen auf Haystack aufbaut oder eine integrierte Umgebung inklusive Designer, Hosting und Rechteverwaltung sucht, ist bei deepset näher am Ziel. Die Entscheidung ist daher oft eine Frage des bevorzugten Framework-Ökosystems.
Der vollständige Eigenbau mit Haystack, LangChain oder LlamaIndex bietet maximale Kontrolle und vermeidet Plattformkosten. Dafür trägt das eigene Team die gesamte Verantwortung: Betrieb der Komponenten, Evaluierungsinfrastruktur, Benutzeroberflächen, Rechteverwaltung, Überwachung, Sicherheitsupdates. Für Unternehmen mit starker Entwicklungsabteilung und speziellen Anforderungen kann das der richtige Weg sein. Für viele Mittelständler übersteigt der dauerhafte Betriebsaufwand jedoch die eingesparten Lizenzkosten – gerade wenn mehrere Anwendungen parallel betreut werden müssen.
In der Praxis schließen sich die Optionen übrigens nicht vollständig aus. Denkbar ist etwa, deepset als Orchestrierungs- und Evaluierungsschicht zu nutzen und dabei Sprachmodelle über einen Hyperscaler in einer EU-Region anzubinden oder einen bereits vorhandenen Suchindex weiterzuverwenden. Entscheidend ist, die Rollen der einzelnen Bausteine klar zu definieren, statt mehrere Plattformen mit überlappendem Funktionsumfang parallel aufzubauen.
Im SaaS-Modell betreibt deepset die Plattform in seiner eigenen Cloud-Umgebung. Für Kunden bedeutet das den geringsten Aufwand: kein eigener Betrieb, automatische Aktualisierungen, schneller Start. Entscheidend sind hier die Hosting-Region, die Unterauftragsverarbeiter und die vertraglichen Zusicherungen zum Umgang mit Daten. Für viele Anwendungsfälle mit nicht übermäßig sensiblen Daten ist das der pragmatische Weg.
Im VPC-Modell läuft die Plattform oder zumindest ihre datenverarbeitenden Teile in einer abgeschotteten Umgebung im Cloud-Konto des Kunden. Daten verlassen damit nicht die eigene Cloud-Infrastruktur, während der Anbieter weiterhin Teile des Betriebs übernehmen kann. Das ist interessant für Organisationen, die ohnehin eine Cloud-Strategie verfolgen, aber Daten nicht in eine fremde Umgebung geben wollen.
Ein On-Premises-Betrieb im eigenen Rechenzentrum bietet maximale Kontrolle, verlangt aber auch eigene Betriebskompetenz, passende Infrastruktur und bei offenen Sprachmodellen entsprechende GPU-Kapazität. Ob und in welcher Form ein solcher Betrieb angeboten wird, hängt von Edition, Vertrag und Projektgröße ab und sollte vorab beim Anbieter geklärt werden. Alternativ bleibt immer der Weg über Haystack Open Source im Eigenbetrieb – dann allerdings ohne die plattformspezifischen Funktionen.
Unabhängig vom Betriebsmodell hat sich ein schrittweises Vorgehen bewährt, das früh Klarheit über Nutzen und Aufwand schafft und Fehlinvestitionen vermeidet.
Organisatorisch braucht ein solches Vorhaben mindestens drei Rollen: eine fachliche Verantwortung, die Anwendungsfall, Testfragen und Qualitätskriterien definiert; eine technische Verantwortung für Pipelines, Integration und Betrieb; sowie eine Datenschutz- und Governance-Rolle, die Freigaben, Verträge und Löschkonzepte im Blick behält. In kleineren Unternehmen können diese Rollen gebündelt oder teilweise durch einen externen Partner übernommen werden – fehlen sollten sie nicht.
Am besten passt die Plattform zu Unternehmen, die mehr als eine einzelne KI-Anwendung planen, über eine gewisse IT- oder Entwicklungskompetenz verfügen und hohe Anforderungen an Datenschutz und Nachvollziehbarkeit haben. Typisch sind Industrieunternehmen mit umfangreicher technischer Dokumentation, Finanzdienstleister und Versicherungen mit regulatorischen Anforderungen, Rechts- und Beratungsunternehmen mit großen Textbeständen sowie Organisationen der öffentlichen Hand oder öffentlichkeitsnahe Unternehmen, für die ein europäischer Anbieter ein klares Plus ist.
Ehrlicherweise ist deepset Cloud nicht für jedes mittelständische Unternehmen die beste Wahl. Wer lediglich einen einfachen Chat über eine Handvoll Dokumente benötigt, ist mit den integrierten Funktionen gängiger Office- oder Kollaborationssuiten oft schneller und günstiger bedient. Wer keinerlei interne Entwicklungs- oder IT-Kapazität hat und auch keinen Partner einbinden möchte, wird das Potenzial einer Pipeline-Plattform kaum ausschöpfen. Und wer ausschließlich im Microsoft-Kosmos lebt, sollte die Integrationsvorteile der dortigen Dienste ernsthaft gegen die Offenheit von deepset abwägen.
Umgekehrt gilt: Sobald mehrere Anwendungen, sensible Daten, unterschiedliche Modelle und die Notwendigkeit messbarer Qualität zusammenkommen, spielt die Plattform ihre Stärken aus. Dann zahlt sich aus, dass Evaluierung, Betrieb und Governance nicht für jede Anwendung neu erfunden werden müssen.
Ein europäischer Plattformanbieter bringt handfeste Vorteile: Vertragspartner, Gerichtsstand und Unternehmenssitz liegen in der EU, die Kommunikation findet im gleichen Rechts- und Kulturraum statt, und die Sensibilität für DSGVO-Anforderungen ist in der Regel hoch. Für Ausschreibungen, Datenschutzbeauftragte und Betriebsräte ist das häufig ein wichtiges Signal. Prüfen sollten Sie dennoch, in welcher Cloud-Infrastruktur und Region die gehostete Plattform läuft und welche Unterauftragsverarbeiter eingebunden sind – auch ein europäischer Anbieter kann Infrastruktur von US-Hyperscalern nutzen.
Die wichtigste Einschränkung betrifft die Modellwahl. Wenn eine Pipeline Anfragen und Dokumentausschnitte an ein Sprachmodell eines US-Anbieters schickt, verlassen diese Daten die Plattform – unabhängig davon, wo deepset seinen Sitz hat. Die Datenschutzbewertung hängt dann maßgeblich von diesem Modellanbieter ab: von dessen Hosting-Region, von den vertraglichen Zusagen zur Nichtverwendung für Training, von der Speicherdauer und von der Rechtsgrundlage für einen möglichen Drittlandtransfer. Wer die Souveränitätsvorteile des Plattformanbieters voll ausschöpfen will, kombiniert ihn mit Modellen, die in der EU oder in der eigenen Umgebung betrieben werden.
Neben der DSGVO gewinnt die europäische KI-Verordnung an Bedeutung. Für die meisten RAG-Assistenten im Mittelstand dürften vor allem Transparenzpflichten und organisatorische Anforderungen relevant sein, während Hochrisiko-Szenarien eher die Ausnahme sind. Unabhängig von der genauen Einstufung helfen die Protokollierungs- und Evaluierungsfunktionen der Plattform, Entscheidungen nachvollziehbar zu dokumentieren und Qualität systematisch nachzuweisen. Die rechtliche Einordnung des konkreten Anwendungsfalls bleibt Aufgabe der Fachleute im eigenen Haus oder externer Beratung.
Konkrete Listenpreise für die Enterprise-Plattform sind öffentlich in der Regel nicht transparent; Konditionen werden individuell nach Nutzungsumfang, Betriebsmodell, Anzahl der Anwendungen und Support-Level vereinbart. Die Einstiegsvariante ermöglicht erste Erfahrungen mit begrenztem Risiko – deren aktuelle Bedingungen und Nutzungsgrenzen sollten Sie beim Anbieter prüfen. Wir nennen bewusst keine Zahlen, weil sie sich ändern und im Einzelfall stark variieren.
Für eine ehrliche Gesamtkostenbetrachtung gehören mehrere Posten zusammen: die Plattformlizenz, die nutzungsabhängigen Kosten der Sprach- und Embedding-Modelle, gegebenenfalls Infrastruktur für VPC- oder On-Prem-Betrieb und für selbst gehostete Modelle, der interne oder externe Aufwand für Aufbau und Pflege der Pipelines sowie die Arbeit an Datenqualität und Testdatensätzen. Dem gegenüber stehen die eingesparten Aufwände für den Eigenbau von Betrieb, Evaluierung und Governance. Gerade bei mehreren Anwendungen kann sich eine Plattform dadurch rechnen – bei einem einzelnen, kleinen Anwendungsfall eher nicht.