Wissensdatenbank · Vektordatenbanken · Open-Source-Embedding-Datenbank

Chroma – die Embedding-Datenbank für den schnellen Weg vom RAG-Prototyp zur Anwendung.

Chroma, oft auch ChromaDB genannt, ist eine quelloffene Datenbank für Embeddings, Dokumente und Metadaten. Sie startet mit wenigen Zeilen Code direkt in einer Python- oder JavaScript-Anwendung, lässt sich als eigenständiger Server betreiben und ist als gemanagter Dienst Chroma Cloud verfügbar. Dieser Fachartikel ordnet Betriebsmodi, Funktionen, Ökosystem, Wettbewerb, Betrieb und die DSGVO-Frage herstellerneutral ein.

Dieser Artikel wurde mithilfe künstlicher Intelligenz erstellt und redaktionell geprüft.

27 Min. Lesezeit
Aktualisiert · Oktober 2026
Fachartikel · Expertenbeitrag
Chroma
Chroma, Inc. (USA) · Open Source & Chroma Cloud
Typ
Embedding-/Vektordatenbank
Kern
Rust, Clients für Python & JS/TS
Lizenz
Apache 2.0
Schnittstelle
Python, JS/TS, HTTP-API
Betrieb
Eingebettet, Server, Cloud
Stärke
Einfachheit, Entwicklerfreundlichkeit
INAGRO Eignung souveränes RAG im Mittelstand
★★★★★
Kapitel 01 · Überblick

Was ist Chroma – und warum starten so viele RAG-Projekte damit?

Chroma ist eine quelloffene Datenbank, die speziell für das Speichern und Durchsuchen von Embeddings entwickelt wurde. Ihr Markenzeichen ist die radikale Einfachheit: Ein Paket installieren, einen Client anlegen, eine Collection erzeugen, Dokumente hinzufügen – und schon lässt sich semantisch suchen. Genau deshalb ist Chroma in Tutorials, Prototypen und vielen produktiven KI-Anwendungen zu einem der bekanntesten Namen im Vektordatenbank-Markt geworden.

Um Chroma einzuordnen, hilft ein Blick auf die Grundidee moderner KI-Suche. Embedding-Modelle übersetzen Texte, Bilder oder andere Inhalte in Vektoren, also lange Zahlenreihen, die die Bedeutung eines Inhalts mathematisch abbilden. Inhaltlich ähnliche Texte liegen im Vektorraum nah beieinander. Fragt ein Mitarbeiter „Welche Kündigungsfrist gilt für Rahmenverträge?“, findet die semantische Suche jene Vertragspassage, in der von „Laufzeit und Beendigung der Vereinbarung“ die Rede ist – obwohl kein einziges Suchwort wörtlich vorkommt. Eine Datenbank, die solche Vektoren effizient speichert und die nächsten Nachbarn eines Anfragevektors schnell findet, ist das Herzstück jeder Retrieval-Augmented-Generation-Architektur.
Chroma bezeichnet sich selbst gern als Embedding-Datenbank oder als Suchinfrastruktur für KI-Anwendungen. Der Unterschied zu manchen anderen Vektordatenbanken liegt in der Perspektive: Chroma denkt nicht primär in Vektoren, sondern in Dokumenten. Man übergibt Texte samt Metadaten und eindeutigen Kennungen, und Chroma kümmert sich auf Wunsch selbst darum, diese Texte mit einer konfigurierten Embedding-Funktion in Vektoren zu übersetzen. Bei einer Suche reicht es entsprechend, den Fragetext zu übergeben. Wer möchte, kann Vektoren aber auch selbst berechnen und direkt einspielen – etwa wenn das Embedding-Modell zentral in einer eigenen Pipeline läuft.

Herkunft: ein Start-up mit Fokus auf Entwicklererfahrung

Hinter Chroma steht das gleichnamige Unternehmen Chroma, Inc. mit Sitz in San Francisco. Das Projekt entstand in der frühen Phase des Booms um große Sprachmodelle und verbreitete sich rasch, weil es in Beispielen und Lernmaterialien populärer Frameworks wie LangChain und LlamaIndex als unkomplizierter Standardspeicher auftauchte. Lizenziert ist die Datenbank unter der Apache-2.0-Lizenz, einer freizügigen Open-Source-Lizenz, die kommerzielle Nutzung, Anpassung und Weitergabe erlaubt. Finanziert wird das Unternehmen durch Wagniskapital; das kommerzielle Standbein ist der gemanagte Dienst Chroma Cloud.
Technisch hat Chroma eine bemerkenswerte Entwicklung hinter sich. Die ersten Versionen waren stark Python-zentriert und setzten auf bewährte Bibliotheken für die Vektorindizierung und die Ablage von Metadaten. Mit wachsender Verbreitung wurde der Kern schrittweise in Rust neu geschrieben, um Geschwindigkeit, Speichereffizienz und Parallelität zu verbessern und eine gemeinsame Codebasis für den lokalen Betrieb und die verteilte Cloud-Architektur zu schaffen. Für Anwender bleibt die Oberfläche dabei bewusst schlicht: Die Client-Bibliotheken für Python und JavaScript beziehungsweise TypeScript sind der zentrale Zugang. Welche Funktionen in welcher Version enthalten sind und welche Änderungen beim Upgrade zu beachten sind, sollte stets in der offiziellen Dokumentation und den Versionshinweisen geprüft werden – die API hat sich in der Vergangenheit spürbar weiterentwickelt.

Die Rolle von Chroma in einer RAG-Architektur

In einer RAG-Architektur übernimmt Chroma die Rolle des Wissensspeichers. Dokumente aus Dateiablagen, Wikis, Handbüchern oder Ticketsystemen werden in sinnvolle Abschnitte zerlegt, mit Metadaten wie Quelle, Abteilung, Sprache oder Gültigkeitsdatum versehen und in eine Collection geschrieben. Stellt ein Nutzer eine Frage, sucht Chroma die inhaltlich passendsten Abschnitte heraus, optional eingeschränkt durch Metadatenfilter oder Volltextbedingungen. Ein Sprachmodell formuliert anschließend auf Basis dieser Abschnitte die Antwort, idealerweise mit nachvollziehbaren Quellenverweisen.
Der besondere Reiz liegt darin, dass dieselbe Anwendung ohne Codeänderungen in sehr unterschiedlichen Umgebungen laufen kann: zunächst als eingebettete Datenbank auf dem Entwickler-Laptop, dann als Server-Container im Testsystem und schließlich – je nach Anforderung – als selbst betriebener Server im eigenen Rechenzentrum oder als gemanagte Collection in Chroma Cloud. Diese Durchgängigkeit senkt die Einstiegshürde für Teams, die zum ersten Mal mit Vektorsuche arbeiten, erheblich.
INAGRO-Einschätzung

Chroma ist aus unserer Sicht einer der schnellsten Wege zu einem funktionierenden RAG-Prototyp und eine solide Wahl für kleine bis mittlere Produktivsysteme, die selbst betrieben werden. Die Open-Source-Variante lässt sich vollständig im eigenen Rechenzentrum oder bei einem deutschen Hoster betreiben. Für hochverfügbare, stark wachsende Systeme mit komplexen Berechtigungs- und Mandantenanforderungen prüfen wir zusätzlich Alternativen wie Qdrant, Weaviate, Milvus oder pgvector. Chroma Cloud ist komfortabel, wird aber von einem US-Unternehmen betrieben – für sensible Daten ist das sorgfältig zu bewerten.

Kapitel 02 · Betriebsmodi & Positionierung

Ein Produkt, mehrere Gesichter: eingebettet, Server und Chroma Cloud

Chroma kennt keine klassischen Editionen mit gestaffeltem Funktionsumfang. Stattdessen gibt es mehrere Betriebsmodi, die sich vor allem darin unterscheiden, wo die Daten liegen und wer den Betrieb verantwortet. Die Übersicht ist bewusst qualitativ; aktuelle Details, Grenzen und Konditionen sind stets beim Anbieter zu prüfen.

Eingebetteter Client
Open Source

Chroma läuft im Prozess der Anwendung, wahlweise flüchtig im Arbeitsspeicher oder persistent in einem lokalen Verzeichnis. Ideal für Prototypen, Notebooks, Tests und lokale Werkzeuge.

Betriebin der Anwendung
Datenstandortlokal
Lizenzkostenkeine
Selbst betriebener Server
Souverän

Chroma als eigenständiger Dienst, typischerweise im Docker-Container oder auf Kubernetes. Mehrere Anwendungen greifen über die HTTP-Schnittstelle mit den Client-Bibliotheken zu.

Betriebvollständig selbst
Datenstandortfrei wählbar
ArchitekturEinzelknoten
Chroma Cloud
Managed

Gemanagter, serverloser Dienst des Herstellers auf einer verteilten Architektur mit Objektspeicher. Abrechnung nutzungsabhängig, zusätzliche Suchfunktionen und komfortable Verwaltung.

Betriebdurch Chroma
Regionenbeim Anbieter prüfen
Kostennutzungsabhängig
Unternehmensbetrieb
Enterprise

Für größere Organisationen bietet der Hersteller individuelle Vereinbarungen, etwa dedizierte Umgebungen oder Betrieb in eigener Cloud-Infrastruktur. Umfang und Bedingungen sind anfrageabhängig.

Betriebnach Vereinbarung
Datenstandortverhandelbar
Konditionenauf Anfrage

Eingebettet und als Server: die Open-Source-Varianten

Im eingebetteten Modus wird Chroma als Bibliothek in die Anwendung geladen. Ein flüchtiger Client hält alles im Arbeitsspeicher und verliert die Daten beim Beenden – praktisch für Tests und Experimente. Ein persistenter Client schreibt die Daten in ein lokales Verzeichnis, sodass sie beim nächsten Start wieder verfügbar sind. Dieser Modus eignet sich hervorragend für Notebooks, Kommandozeilenwerkzeuge, Desktop-Anwendungen oder kleine Dienste, bei denen genau ein Prozess auf die Daten zugreift. Mehrere Prozesse, die gleichzeitig in dasselbe Verzeichnis schreiben, sind dagegen kein vorgesehenes Szenario.
Sobald mehrere Anwendungen, Nutzer oder Container auf denselben Datenbestand zugreifen sollen, kommt der Client-Server-Modus ins Spiel. Chroma läuft dann als eigenständiger Dienst, meist aus einem offiziellen Container-Image, und die Anwendungen verbinden sich über einen HTTP-Client. Für Kubernetes existieren Community-Ressourcen und Konfigurationsbeispiele. Wichtig für die Einordnung: Der selbst betriebene Open-Source-Server ist im Kern ein Einzelknoten-System. Eingebaute Replikation, automatisches Failover oder horizontale Verteilung über mehrere Knoten bietet diese Variante nicht in dem Maße, wie man es von verteilten Vektordatenbanken kennt. Für viele Mittelstandsszenarien ist das ausreichend; wer hohe Verfügbarkeitsanforderungen hat, muss Backup, Wiederherstellung und gegebenenfalls Redundanz selbst konzipieren.

Chroma Cloud und Unternehmensangebote

Chroma Cloud ist das gemanagte Angebot des Herstellers. Es basiert auf einer verteilten Architektur, die Rechenleistung und Speicher trennt: Daten werden dauerhaft in Objektspeicher abgelegt, während Abfrageknoten häufig genutzte Daten zwischenspeichern und neue Schreibvorgänge über ein Protokoll und nachgelagerte Verdichtungsprozesse in die Indizes eingearbeitet werden. Für Anwender bedeutet das: kein Server-Management, automatische Skalierung und eine Abrechnung, die sich an Schreib-, Speicher- und Abfragevolumen orientiert. Hinzu kommen Funktionen, die teilweise zuerst oder ausschließlich in der Cloud verfügbar sind, etwa erweiterte Hybrid- und Volltextsuche, das schnelle Kopieren beziehungsweise Abzweigen ganzer Collections oder eine Web-Oberfläche zur Verwaltung.
Für Unternehmen im DACH-Raum ist bei Chroma Cloud vor allem die Frage nach dem Datenstandort entscheidend. Chroma, Inc. ist ein US-Unternehmen. In welchen Regionen der Dienst aktuell betrieben wird, ob eine EU-Region wählbar ist und welche Unterauftragsverarbeiter eingebunden sind, sollte vor jeder Nutzung mit personenbezogenen oder vertraulichen Daten beim Anbieter geprüft und vertraglich festgehalten werden. Für größere Kunden bietet der Hersteller nach eigenen Angaben individuelle Modelle an, bis hin zum Betrieb in der Cloud-Umgebung des Kunden. Umfang, Voraussetzungen und Preise solcher Vereinbarungen sind anfrageabhängig.
Gleiche API, unterschiedliche Funktionstiefe

Die Client-Schnittstelle ist über alle Betriebsmodi hinweg weitgehend gleich, sodass Anwendungen leicht vom Laptop auf einen Server oder in die Cloud wandern können. Allerdings sind nicht alle Funktionen überall identisch verfügbar. Wer heute in der Cloud entwickelt und später selbst betreiben möchte – oder umgekehrt –, sollte vorab prüfen, ob alle genutzten Such- und Verwaltungsfunktionen in der Zielumgebung zur Verfügung stehen.

Kapitel 03 · Funktionsumfang

Collections, Metadatenfilter und Vektorindex

Chroma setzt auf ein kleines, gut verständliches Datenmodell. Wer die Begriffe Collection, Dokument, Metadaten und Embedding verstanden hat, kann bereits produktiv arbeiten. Dahinter stecken dennoch einige Konzepte, die für Qualität und Performance entscheidend sind.

Das Datenmodell: Tenants, Datenbanken, Collections und Einträge

Die zentrale Organisationseinheit in Chroma ist die Collection. Sie entspricht grob einer Tabelle in einer relationalen Datenbank und enthält Einträge, die jeweils aus einer eindeutigen Kennung, einem Embedding, optional dem Originaldokument als Text und optional einem Satz an Metadaten bestehen. Metadaten sind einfache Schlüssel-Wert-Paare mit Zeichenketten, Zahlen oder Wahrheitswerten; neuere Versionen erweitern die unterstützten Typen. Eine Collection ist an eine bestimmte Embedding-Funktion und eine Distanzmetrik gebunden – beides wird beim Anlegen festgelegt.
Oberhalb der Collections kennt Chroma eine Hierarchie aus Tenants und Datenbanken. Ein Tenant steht typischerweise für eine Organisation oder einen Kunden, darunter liegen eine oder mehrere Datenbanken, die wiederum Collections enthalten. Diese Struktur ist vor allem für mandantenfähige Anwendungen und für Chroma Cloud relevant. In selbst betriebenen Installationen arbeiten viele Teams mit dem Standard-Tenant und organisieren die Trennung über separate Collections oder Metadatenfelder. Welcher Weg sinnvoll ist, hängt davon ab, wie streng Daten voneinander isoliert werden müssen – dazu mehr im Kapitel zum Betrieb.
Die Grundoperationen sind bewusst schlicht gehalten: Einträge hinzufügen, aktualisieren, per Upsert einfügen oder überschreiben, abrufen und löschen. Für die Suche gibt es zwei Wege. Ein Abruf liefert Einträge anhand von Kennungen oder Filterbedingungen, ganz ohne Ähnlichkeitsberechnung. Eine Abfrage sucht die ähnlichsten Einträge zu einem oder mehreren Anfragetexten beziehungsweise Anfragevektoren und gibt Dokumente, Metadaten und Distanzen zurück. Mehrere Anfragen lassen sich in einem Aufruf bündeln, was bei Auswertungen und Batch-Verarbeitung Zeit spart.

Filter auf Metadaten und Dokumentinhalt

Reine Ähnlichkeitssuche reicht in Unternehmensanwendungen selten aus. Fast immer müssen Ergebnisse eingeschränkt werden – auf eine Produktlinie, eine Sprache, einen Gültigkeitszeitraum oder die Dokumente, die ein bestimmter Nutzer sehen darf. Chroma bietet dafür Metadatenfilter mit Vergleichsoperatoren für Gleichheit, Ungleichheit, größer und kleiner, Mengenzugehörigkeit sowie logischen Verknüpfungen mit Und und Oder. Damit lassen sich auch verschachtelte Bedingungen formulieren, etwa: Dokumente der Abteilung Service, in deutscher Sprache, mit Gültigkeitsdatum nach einem bestimmten Stichtag.
Zusätzlich gibt es Filter auf den Dokumentinhalt. Damit lässt sich verlangen, dass ein Dokument eine bestimmte Zeichenkette enthält oder nicht enthält; neuere Versionen unterstützen auch reguläre Ausdrücke. Das ist nützlich, wenn bestimmte Fachbegriffe, Artikelnummern oder Normbezeichnungen zwingend vorkommen sollen. Ein Inhaltsfilter ist allerdings keine vollwertige Schlüsselwortsuche mit Relevanzgewichtung – er schränkt die Treffermenge ein, sortiert aber nicht nach Wortrelevanz. Für echte Hybrid-Suche braucht es weitere Bausteine, die im nächsten Kapitel beschrieben werden.
Ein praktischer Hinweis aus Projekten: Filter sind nur so gut wie die Metadaten, auf die sie zugreifen. Wer Berechtigungen, Dokumenttypen, Versionen und Sprachen von Anfang an sauber als Metadaten pflegt, spart sich später aufwendige Neuindizierungen. Gleichzeitig sollte man Metadaten schlank halten und keine großen Textblöcke darin ablegen; dafür ist das Dokumentfeld vorgesehen.

Vektorindex, Distanzmetriken und Speicherung

Für die schnelle Nachbarsuche setzt Chroma auf einen HNSW-Index (Hierarchical Navigable Small World), das in der Branche am weitesten verbreitete Verfahren für näherungsweise Nachbarsuche. HNSW baut einen mehrschichtigen Graphen auf, in dem sich ähnliche Vektoren gegenseitig referenzieren, und erreicht damit sehr gute Trefferquoten bei kurzen Antwortzeiten. Parameter für den Aufbau und die Suche – etwa wie viele Nachbarn pro Knoten gespeichert und wie viele Kandidaten bei einer Suche betrachtet werden – lassen sich pro Collection konfigurieren. In der Cloud-Architektur kommen je nach Konfiguration weitere, auf Objektspeicher optimierte Indexverfahren zum Einsatz; Details sind der Dokumentation zu entnehmen.
Als Distanzmaße stehen die quadrierte euklidische Distanz, die Kosinus-Distanz und das Skalarprodukt zur Verfügung. Welche Metrik passt, gibt in aller Regel das Embedding-Modell vor; viele Textmodelle sind auf Kosinus-Ähnlichkeit ausgelegt. Ein häufiger Fehler in Prototypen besteht darin, die Standardmetrik unverändert zu lassen, obwohl das Modell eine andere erwartet. Da die Metrik beim Anlegen der Collection festgelegt wird, ist ein späterer Wechsel mit einem Neuaufbau verbunden. Neben dem Vektorindex verwaltet Chroma intern Metadaten und Dokumente in eigenen Strukturen und protokolliert Schreibvorgänge, damit Daten auch nach einem Absturz konsistent bleiben.
Stärken
  • Sehr niedrige Einstiegshürde, in Minuten lauffähig
  • Gleiche API vom Laptop bis zur Cloud
  • Dokumentzentriertes Modell mit integrierten Embedding-Funktionen
  • Freizügige Apache-2.0-Lizenz, vollständig selbst betreibbar
  • Breite Unterstützung in KI-Frameworks und großer Community
Einschränkungen
  • Selbst betriebener Server ohne eingebaute Hochverfügbarkeit
  • Rechte- und Mandantenkonzept im Selbstbetrieb vergleichsweise schlicht
  • Erweiterte Hybrid-Suche teils stärker an Chroma Cloud gebunden
  • API-Änderungen zwischen Versionen erfordern Aufmerksamkeit
  • Hersteller mit Sitz in den USA – relevant für Cloud-Nutzung
Kapitel 04 · KI- & RAG-Funktionen

Embedding-Funktionen, Hybrid-Suche und Retrieval-Qualität

Chroma versteht sich als Retrieval-Baustein für KI-Anwendungen. Neben dem reinen Speichern und Suchen bietet die Datenbank Funktionen, die den Aufbau einer RAG-Pipeline vereinfachen – von der automatischen Vektorisierung bis zu kombinierten Suchverfahren.

Integrierte Embedding-Funktionen

Eine der praktischsten Eigenschaften von Chroma sind die Embedding-Funktionen. Beim Anlegen einer Collection lässt sich festlegen, welches Modell Texte in Vektoren übersetzt. Ohne weitere Angabe nutzt Chroma ein kleines, lokal ausgeführtes Standardmodell, das ohne externe Dienste auskommt und für erste Experimente genügt. Für produktive Anwendungen – und insbesondere für deutschsprachige Inhalte – empfiehlt es sich jedoch fast immer, bewusst ein leistungsfähigeres, mehrsprachiges Modell zu wählen. Das Standardmodell ist primär auf Englisch trainiert und bildet die Feinheiten deutscher Fachsprache häufig nur unzureichend ab.
Chroma bringt fertige Anbindungen für zahlreiche Modellquellen mit: Open-Source-Modelle über Sentence-Transformers und Hugging Face, lokal betriebene Modelle über Ollama sowie kommerzielle Schnittstellen wie OpenAI, Cohere, Google, Voyage oder Jina. Hinzu kommen Anbindungen für multimodale Modelle, mit denen sich Bilder und Texte im selben Vektorraum durchsuchen lassen. Eigene Embedding-Funktionen lassen sich mit wenig Code ergänzen, etwa um ein selbst betriebenes Modell im eigenen Rechenzentrum anzubinden. Aus Datenschutzsicht ist genau das ein wichtiger Punkt: Wird eine Cloud-Embedding-Schnittstelle konfiguriert, verlassen die Texte bei jedem Einfügen und jeder Suche das Unternehmen – unabhängig davon, wo Chroma selbst läuft.
Die integrierten Funktionen sind bequem, aber nicht immer die beste Architekturentscheidung. In größeren Projekten trennen wir häufig die Vektorisierung von der Datenbank: Eine eigene Ingestion-Pipeline berechnet Embeddings zentral, protokolliert Modellversionen und schreibt fertige Vektoren in Chroma. Das erleichtert Modellwechsel, Batch-Verarbeitung und Kostenkontrolle und macht die Datenbank austauschbarer.

Volltext, Sparse-Vektoren und Hybrid-Suche

Rein semantische Suche hat bekannte Schwächen: Artikelnummern, Normbezeichnungen, Eigennamen oder seltene Fachbegriffe werden von dichten Embeddings oft nicht zuverlässig erfasst. Die bewährte Antwort ist die Hybrid-Suche, die semantische Ähnlichkeit und Schlüsselwortrelevanz kombiniert. Chroma hat seine Fähigkeiten in diesem Bereich in den letzten Versionen deutlich ausgebaut. Neben den bereits erwähnten Inhaltsfiltern mit Zeichenketten und regulären Ausdrücken gibt es Unterstützung für Sparse-Vektoren, wie sie etwa durch BM25-ähnliche Gewichtungen oder gelernte Sparse-Modelle entstehen, sowie Möglichkeiten, Ergebnislisten verschiedener Suchverfahren zu fusionieren, etwa per Reciprocal Rank Fusion.
Wie weit diese Funktionen im selbst betriebenen Open-Source-Server und in Chroma Cloud jeweils reichen, unterscheidet sich und entwickelt sich laufend weiter. Für Projekte, die auf Hybrid-Suche angewiesen sind – und das sind im deutschsprachigen Unternehmensumfeld die meisten –, empfehlen wir, den gewünschten Funktionsumfang in der Zielumgebung früh mit realen Daten zu testen. Alternativ lässt sich eine Hybrid-Suche auch auf Anwendungsebene umsetzen: Eine separate Volltextsuche liefert Schlüsselworttreffer, Chroma die semantischen, und eine Fusionslogik führt beide zusammen. Frameworks wie LangChain, LlamaIndex oder Haystack bieten dafür fertige Bausteine.

Retrieval-Qualität messen und verbessern

Chroma hat sich als Unternehmen auffallend stark mit der Frage beschäftigt, wie gutes Retrieval eigentlich gemessen wird. Das Team hat Forschungsberichte unter anderem zur Bewertung von Chunking-Strategien und zur nachlassenden Leistung von Sprachmodellen bei sehr langen Kontexten veröffentlicht. Die Botschaft dahinter ist für die Praxis wertvoll: Mehr Kontext ist nicht automatisch besser. Wer einem Sprachmodell wenige, präzise ausgewählte Abschnitte liefert, erhält oft bessere Antworten als mit einem überladenen Kontextfenster.
Für die eigene Anwendung heißt das: Chunking-Strategie, Embedding-Modell, Filter, Hybrid-Gewichtung und ein nachgelagertes Reranking sollten anhand eines Satzes realer Testfragen systematisch verglichen werden. Chroma selbst übernimmt kein Reranking im klassischen Sinne, lässt sich aber problemlos mit Reranking-Modellen kombinieren, die die Kandidatenliste nach der Vektorsuche neu sortieren. Für die Bewertung kompletter RAG-Pipelines eignen sich Evaluationswerkzeuge wie Ragas, die Antworttreue, Kontextrelevanz und Trefferqualität messbar machen.
Praxistipp für deutschsprachige Inhalte

Ersetzen Sie das Standard-Embedding-Modell bewusst durch ein mehrsprachiges Modell, das auf Deutsch gute Ergebnisse liefert, und betreiben Sie es nach Möglichkeit selbst. Kombinieren Sie die semantische Suche mit einer Schlüsselwortkomponente für Artikelnummern und Fachbegriffe und messen Sie die Wirkung mit echten Fragen aus dem Fachbereich. Diese drei Maßnahmen bringen in der Regel mehr als jede Feinjustierung von Indexparametern.

Kapitel 05 · Integrationen & Ökosystem

Frameworks, Modelle und Datenquellen rund um Chroma

Ein Grund für die große Verbreitung von Chroma ist seine nahtlose Einbindung in das KI-Ökosystem. Kaum ein Framework für RAG oder Agenten kommt ohne Chroma-Anbindung aus, und viele Lernmaterialien verwenden Chroma als Standardbeispiel.

RAG- und Agenten-Frameworks

LangChain und LlamaIndex unterstützen Chroma als Vektorspeicher seit ihren frühen Versionen. In beiden Frameworks lässt sich eine Chroma-Collection mit wenigen Zeilen als Retriever einbinden, inklusive Metadatenfiltern und der Möglichkeit, bestehende Collections wiederzuverwenden. Auch Haystack bietet eine Integration, mit der Chroma als Dokumentenspeicher in Pipelines eingesetzt werden kann. Darüber hinaus findet sich Chroma in vielen Agenten-Frameworks als Langzeitgedächtnis, in Low-Code-Werkzeugen für KI-Workflows sowie in zahlreichen Open-Source-Chat-Oberflächen, die lokale Wissensdatenbanken anbieten.
Für Projekte bedeutet das eine angenehme Flexibilität: Wer mit einem Framework beginnt, kann Chroma später gegen eine andere Vektordatenbank austauschen, ohne die gesamte Anwendung umzubauen – vorausgesetzt, man nutzt die Abstraktionen des Frameworks konsequent und verzichtet auf zu viele datenbankspezifische Sonderfunktionen. Umgekehrt lässt sich Chroma auch ohne Framework direkt über die eigene Client-Bibliothek ansprechen, was bei schlanken Diensten oft die übersichtlichere Lösung ist.

Embedding-Modelle, Sprachmodelle und Datenaufbereitung

Auf der Modellseite ist Chroma weitgehend neutral. Neben den bereits genannten Embedding-Anbindungen lässt sich jedes Modell nutzen, dessen Vektoren man selbst berechnet. Für souveräne Architekturen sind insbesondere Open-Source-Modelle wie die BGE-Familie oder andere Sentence-Transformers-Modelle interessant, die auf eigener Hardware laufen. Die Wahl des Sprachmodells für die Antwortgenerierung ist von Chroma vollständig unabhängig – ob ein selbst betriebenes Open-Source-Modell, ein europäischer Anbieter oder ein großes Modell eines US-Hyperscalers zum Einsatz kommt, entscheidet allein die Anwendung.
Für die Datenaufbereitung kommen typischerweise eigene Werkzeuge hinzu. Bibliotheken wie Unstructured extrahieren Text und Struktur aus PDFs, Office-Dokumenten, E-Mails und HTML-Seiten. Chunking-Strategien zerlegen die Inhalte in sinnvolle Abschnitte, und Metadaten aus den Quellsystemen werden ergänzt. Chroma selbst konzentriert sich auf Speichern und Suchen; die Aufbereitung bleibt bewusst Aufgabe der Pipeline. Ergänzend bietet der Hersteller in der Cloud Komfortfunktionen, etwa zur Synchronisation bestimmter Quellen wie Code-Repositories, deren Umfang beim Anbieter zu prüfen ist.

Werkzeuge für Entwicklung und Betrieb

Neben den Client-Bibliotheken für Python und JavaScript beziehungsweise TypeScript gibt es eine Kommandozeile zum Starten eines lokalen Servers und – je nach Version – zum Kopieren von Daten zwischen lokaler Instanz und Cloud. Community-Projekte ergänzen Clients für weitere Sprachen sowie grafische Oberflächen zum Durchsuchen von Collections. Für den Server-Betrieb stellt Chroma Endpunkte für Health-Checks bereit und unterstützt Telemetrie über OpenTelemetry, sodass sich Metriken und Traces in bestehende Monitoring-Lösungen einbinden lassen. Die Weitergabe anonymisierter Nutzungsstatistiken an den Hersteller ist in Open-Source-Versionen konfigurierbar; welche Daten aktuell erfasst werden und wie sich das abschalten lässt, sollte in der Dokumentation geprüft werden.
Kapitel 06 · Abgrenzung

Chroma im Vergleich zu pgvector, Qdrant, Weaviate, Milvus und Pinecone

Der Vektordatenbank-Markt ist dicht besetzt. Jede Lösung hat ein eigenes Profil, und die richtige Wahl hängt stärker vom Einsatzszenario ab als von Benchmarks. Die folgende Übersicht ist bewusst qualitativ und herstellerneutral.

Lösung Profil Selbstbetrieb Skalierung Typischer Einsatz
Chroma Dokumentzentrierte Embedding-Datenbank mit sehr einfacher API Apache 2.0 Einzelknoten, verteilt in der Cloud Prototypen, lokale Apps, kleine bis mittlere RAG-Systeme
pgvector Vektorsuche als PostgreSQL-Erweiterung PostgreSQL-Lizenz Mit Postgres-Mitteln Vorhandene Postgres-Landschaft, enge Verknüpfung mit Geschäftsdaten
Qdrant Leistungsstarke Vektordatenbank in Rust, Hersteller in Berlin Apache 2.0 Verteilt, Replikation Produktive RAG-Systeme mit Filtern, Hybrid- und Multivektor-Suche
Weaviate Vektordatenbank mit Modulsystem und Hybrid-Suche BSD-3 Verteilt, Mandantenfähigkeit Mandantenfähige Anwendungen, integrierte Modellanbindung
Milvus Verteilte Vektordatenbank für sehr große Bestände Apache 2.0 Hoch skalierbar Große Bestände, viele Indexverfahren, hohe Last
Pinecone Vollständig gemanagter Vektordienst Nur Cloud Serverlos Teams ohne eigenen Betrieb, schnelle Skalierung

Chroma versus pgvector und Qdrant

Gegenüber pgvector punktet Chroma mit seiner spezialisierten, dokumentzentrierten API und den integrierten Embedding-Funktionen. Wer keine PostgreSQL-Erfahrung hat oder einen schnellen, eigenständigen Prototyp bauen will, ist mit Chroma oft schneller am Ziel. pgvector dagegen spielt seine Stärke aus, wenn Vektoren eng mit relationalen Daten verknüpft werden sollen – Berechtigungen per Join, Änderungen in einer Transaktion, Backups und Hochverfügbarkeit über bewährte PostgreSQL-Mechanismen. In Unternehmen, die PostgreSQL ohnehin professionell betreiben, ist pgvector deshalb häufig die naheliegendere Wahl für den Produktivbetrieb.
Qdrant ist ebenfalls in Rust geschrieben, aber von Beginn an stärker auf produktive Lasten ausgelegt: verteilter Betrieb mit Sharding und Replikation, ausgefeilte Filterung während der Suche, Quantisierung, Multivektor- und Hybrid-Suche sowie ein differenziertes Zugriffsmodell. Der Hersteller hat seinen Sitz in Berlin, was für Souveränitätsfragen ein Pluspunkt sein kann. Chroma ist demgegenüber einfacher im Einstieg und in kleineren Projekten schneller aufgesetzt. Ein häufig gesehenes Muster: Prototyp mit Chroma, Produktivsystem mit Qdrant oder pgvector – erleichtert durch Frameworks, die beide Datenbanken unterstützen.

Chroma versus Weaviate, Milvus, Pinecone und Bibliotheken

Weaviate bietet ein umfangreiches Modulsystem, eingebaute Hybrid-Suche, ein Schema mit Datentypen und eine ausgereifte Mandantenfähigkeit. Es ist mächtiger, aber auch komplexer als Chroma. Milvus zielt auf sehr große Datenmengen und hohe Lasten und bietet dafür eine verteilte Architektur mit zahlreichen Indexverfahren – ein Overkill für viele Mittelstandsszenarien, aber die richtige Wahl, wenn Bestände in sehr große Größenordnungen wachsen. Pinecone ist ein reiner Cloud-Dienst ohne Selbstbetriebsoption; Chroma Cloud konkurriert hier direkt, mit dem Unterschied, dass Chroma zusätzlich eine vollwertige Open-Source-Variante anbietet, auf die man jederzeit ausweichen kann.
Schließlich lohnt die Abgrenzung zu Bibliotheken wie FAISS oder Annoy sowie zu eingebetteten Alternativen wie LanceDB. FAISS und Annoy sind reine Indexbibliotheken ohne Datenbankfunktionen wie Persistenz, Metadatenfilter oder Mehrbenutzerbetrieb. LanceDB verfolgt wie Chroma einen eingebetteten Ansatz, setzt aber auf ein spaltenorientiertes Dateiformat und eignet sich besonders für multimodale und analytische Workloads. Chroma liegt zwischen diesen Welten: einfacher als ein verteiltes System, aber deutlich mehr Datenbank als eine reine Indexbibliothek.
Entscheidungshilfe in einem Satz

Chroma wählen Sie, wenn Einfachheit, schnelle Iteration und Selbstbetrieb im Vordergrund stehen und die Verfügbarkeitsanforderungen moderat sind; eine dedizierte, verteilte Vektordatenbank oder pgvector wählen Sie, wenn Hochverfügbarkeit, differenzierte Berechtigungen oder sehr große Bestände den Ausschlag geben.

Kapitel 07 · Einführung & Betrieb

Vom Notebook zum Produktivsystem: Chroma sicher einführen und betreiben

Der Einstieg in Chroma ist trivial – der verlässliche Betrieb ist es nicht automatisch. Wer Chroma produktiv einsetzt, sollte Architektur, Sicherheit, Backup und Updates genauso ernst nehmen wie bei jeder anderen Datenbank.

01
Anwendungsfall und Daten klären
Welche Fragen sollen beantwortet werden, welche Dokumente gehören dazu, wer darf was sehen? Ein klar umrissener Use Case mit überschaubarem Dokumentbestand ist der beste Startpunkt.
02
Prototyp im eingebetteten Modus
Persistenter Client, mehrsprachiges Embedding-Modell, saubere Metadaten. Schnelle Iteration über Chunking und Filter mit einem Satz realer Testfragen.
03
Betriebsmodell festlegen
Selbst betriebener Server im eigenen Rechenzentrum, bei einem deutschen Hoster oder Chroma Cloud – abhängig von Datenschutz, Verfügbarkeit und internem Know-how.
04
Sicherheit und Mandantentrennung umsetzen
Netzwerkabschottung, TLS über einen vorgeschalteten Proxy, Authentifizierung, Trennung über Tenants, Datenbanken oder Collections und Berechtigungsprüfung in der Anwendung.
05
Backup, Monitoring und Updates
Regelmäßige Sicherung des Datenverzeichnisses, getestete Wiederherstellung, Metriken über OpenTelemetry und ein geordneter Upgrade-Prozess mit Testumgebung.
06
Qualität messen und ausbauen
Laufende Auswertung von Treffern und Nutzerfeedback, Evaluierung mit Testfragen, schrittweise Erweiterung um weitere Quellen und Anwendungsfälle.

Architektur und Sicherheit im Selbstbetrieb

Im produktiven Selbstbetrieb läuft Chroma in aller Regel als Server-Container auf einer virtuellen Maschine oder in einem Kubernetes-Cluster, mit einem persistenten Volume für das Datenverzeichnis. Der Dienst sollte nicht direkt aus dem Internet erreichbar sein, sondern nur aus dem internen Netz oder über einen vorgeschalteten Reverse Proxy, der TLS-Verschlüsselung, Zugriffskontrolle und gegebenenfalls Ratenbegrenzung übernimmt. Chroma bietet konfigurierbare Authentifizierungsmechanismen, deren Umfang und Konfiguration sich zwischen Versionen verändert hat; die aktuelle Dokumentation ist hier maßgeblich. Ein feingranulares Rollen- und Rechtemodell auf Dokumentebene, wie man es aus Unternehmenssuchmaschinen kennt, bringt der Open-Source-Server nicht mit.
Daraus folgt ein wichtiger Architekturgrundsatz: Berechtigungen gehören in die Anwendung. Die Suchschicht ermittelt anhand des angemeldeten Nutzers, auf welche Dokumentgruppen er zugreifen darf, und übergibt diese als Metadatenfilter an jede Abfrage. Wo eine harte Trennung erforderlich ist – etwa zwischen Mandanten, Tochtergesellschaften oder besonders sensiblen Bereichen wie Personal –, empfehlen wir getrennte Collections, Datenbanken oder sogar getrennte Instanzen. Nutzer sollten niemals direkt auf Chroma zugreifen, sondern stets über eine kontrollierte Anwendungsschicht.

Backup, Updates und Skalierung

Da der selbst betriebene Server ein Einzelknoten-System ist, kommt dem Backup besondere Bedeutung zu. Die Daten liegen im konfigurierten Persistenzverzeichnis; konsistente Sicherungen erfordern je nach Version das kurzzeitige Anhalten von Schreibvorgängen oder Snapshot-Mechanismen auf Speicherebene. Mindestens ebenso wichtig: Die Wiederherstellung muss regelmäßig getestet werden. Da sich Vektoren aus den Quelldokumenten jederzeit neu berechnen lassen, ist eine dokumentierte und automatisierte Neuindizierung ein zusätzliches Sicherheitsnetz – vorausgesetzt, die Quelldaten sind selbst gesichert.
Updates verdienen Aufmerksamkeit, weil Chroma sich schnell weiterentwickelt. Neue Versionen können Datenformate migrieren oder API-Details ändern. Ein geordneter Prozess mit Testumgebung, Sicherung vor dem Update und gepinnten Versionen von Server und Client verhindert böse Überraschungen. Für die Skalierung gilt: Ein einzelner Chroma-Server bewältigt für viele typische Wissensassistenten im Mittelstand die anfallenden Datenmengen und Abfragen, solange ausreichend Arbeitsspeicher für die Indizes zur Verfügung steht. Wächst der Bedarf darüber hinaus, bieten sich die Aufteilung auf mehrere Instanzen nach Fachbereich, der Wechsel in Chroma Cloud oder eine verteilte Vektordatenbank an. Belastbare Kapazitätsaussagen ergeben sich nur aus Tests mit den eigenen Daten.
Kapitel 08 · Einsatz im Mittelstand

Wo Chroma im Mittelstand echten Nutzen stiftet

Mittelständische Unternehmen brauchen Lösungen, die schnell Ergebnisse liefern, mit überschaubarem Personal betrieben werden können und die Datenhoheit wahren. Chroma erfüllt diese Anforderungen in vielen Szenarien gut – mit klaren Grenzen, die man kennen sollte.

Interner Wissensassistent

Fragen zu Richtlinien, Prozessen, Handbüchern und Projektdokumentation in natürlicher Sprache beantworten – mit Quellenangabe und Berechtigungsfilter.

Weniger Suchzeit
Service & Technik

Servicetechniker finden passende Passagen aus Wartungsanleitungen, Fehlerdatenbanken und früheren Tickets, gefiltert nach Baureihe und Sprache.

Schnellere Lösungen
Lokale KI-Werkzeuge

Eingebettete Chroma-Instanzen in Desktop- oder Edge-Anwendungen, die vollständig offline arbeiten – etwa für Außendienst, Labor oder Produktion.

Volle Datenhoheit
Innovationsprojekte & Piloten

Schnelle Machbarkeitsnachweise für RAG, semantische Suche oder Agenten-Gedächtnis, bevor über eine langfristige Plattform entschieden wird.

Kurze Time-to-Value

Typische Architektur in einem Mittelstandsprojekt

Ein typisches Projekt mit Chroma sieht in unserer Praxis so aus: Ein Chroma-Server läuft als Container auf einer virtuellen Maschine im eigenen Rechenzentrum oder bei einem deutschen Hoster. Ein Ingestion-Dienst liest neue und geänderte Dokumente aus Dateiablagen, Wiki und Ticketsystem, extrahiert Text, zerlegt ihn in Abschnitte und lässt diese von einem selbst betriebenen, mehrsprachigen Embedding-Modell vektorisieren. Jeder Abschnitt wird mit Quelle, Dokumenttyp, Sprache, Datum und Berechtigungsgruppe in einer Collection gespeichert. Die Suchschicht nimmt Fragen entgegen, ergänzt automatisch den Berechtigungsfilter des Nutzers, kombiniert semantische und Schlüsselwortsuche, sortiert die Treffer mit einem Reranker nach und übergibt die besten Abschnitte an ein Sprachmodell. Fragen, Treffer und Feedback werden protokolliert, um die Qualität laufend zu verbessern.
Der Charme dieser Architektur liegt in ihrer Überschaubarkeit. Chroma ist schnell aufgesetzt, das Team kann sich auf Datenqualität und Nutzererlebnis konzentrieren, und die Abhängigkeit von externen Diensten bleibt gering. Gleichzeitig bleibt der Weg offen: Wenn Datenmenge oder Verfügbarkeitsanforderungen deutlich steigen, lässt sich die Vektorsuche auf eine verteilte Datenbank verlagern, ohne Pipeline und Oberfläche grundlegend umzubauen.

Grenzen ehrlich einschätzen

Chroma ist kein Allheilmittel. Wo ein Wissensassistent geschäftskritisch wird und rund um die Uhr verfügbar sein muss, wird das Fehlen eingebauter Hochverfügbarkeit im Selbstbetrieb zum Thema. Wo viele Mandanten mit strikter Trennung oder komplexe, dokumentgenaue Berechtigungen gefordert sind, stoßen schlichte Metadatenfilter an konzeptionelle Grenzen. Und wo Vektoren eng mit ERP- oder CRM-Daten verknüpft werden sollen, ist eine relationale Lösung wie pgvector oft eleganter. Ebenso wichtig: Die Datenbank ist selten der Engpass eines RAG-Projekts. Die größten Qualitätshebel liegen in Datenaufbereitung, Chunking, Modellwahl, Hybrid-Suche und systematischer Evaluierung – unabhängig davon, welche Vektordatenbank zum Einsatz kommt.
Konkrete Preise nennen wir bewusst nicht

Der Aufwand für ein Chroma-basiertes RAG-Projekt hängt stark von Datenlage, Quellsystemen, Berechtigungsmodell und Betriebsanforderungen ab. Pauschale Festpreise wären irreführend. Was wir verlässlich anbieten: einen kompakten Discovery-Workshop, in dem wir Ihre Ausgangslage analysieren, die passende Vektordatenbank herstellerneutral bewerten und einen transparenten Umsetzungsweg schätzen.

Kapitel 09 · Kosten & DSGVO

Kosten, Datenhoheit und die Frage nach dem Betriebsort

Bei Chroma ist die Datenschutzbewertung eng an das Betriebsmodell gekoppelt. Die Open-Source-Variante lässt sich vollständig unter eigener Kontrolle betreiben, Chroma Cloud dagegen ist ein Dienst eines US-Unternehmens. Diese Unterscheidung prägt sowohl die Kosten als auch die rechtliche Einordnung.

Keine Rechtsberatung

Die folgenden Ausführungen sind eine praxisorientierte Einordnung aus IT- und Projektsicht – keine Rechtsberatung. Für die rechtssichere Bewertung Ihres konkreten Einsatzes, für Auftragsverarbeitungsverträge, Datenschutz-Folgenabschätzungen und die Bewertung von Drittlandtransfers ziehen Sie bitte Ihre Datenschutzbeauftragten oder eine spezialisierte Kanzlei hinzu.

Selbstbetrieb versus Chroma Cloud

Beim Selbstbetrieb im eigenen Rechenzentrum oder auf Servern eines deutschen beziehungsweise europäischen Hosters verbleiben Vektoren, Dokumente, Metadaten und Abfragen im eigenen Verantwortungsbereich. Chroma ist in diesem Fall reine Software; der Hersteller verarbeitet keine Inhaltsdaten. Zu prüfen ist lediglich die konfigurierbare Weitergabe anonymisierter Nutzungsstatistiken, die sich nach Dokumentation abschalten lässt – ein Punkt, den wir in Projekten standardmäßig in die Konfiguration aufnehmen. Wird ein Hoster genutzt, ist dieser Auftragsverarbeiter; ein entsprechender Vertrag ist abzuschließen. Liegen Unternehmenssitz und Rechenzentren im europäischen Rechtsraum, vereinfacht das die Bewertung erheblich.
Bei Chroma Cloud ist die Lage anders. Der Dienst wird von Chroma, Inc. mit Sitz in den USA betrieben, und die Infrastruktur nutzt Cloud-Ressourcen, deren Regionen und Unterauftragsverarbeiter beim Anbieter zu erfragen sind. Damit stellen sich die bekannten Fragen: In welcher Region werden Daten gespeichert und verarbeitet? Ist eine EU-Region verfügbar und vertraglich zugesichert? Welche Auftragsverarbeitungsvereinbarung und welche Standardvertragsklauseln liegen vor? Zusätzlich unterliegen US-Unternehmen dem US CLOUD Act, der US-Behörden unter bestimmten Voraussetzungen Zugriff auf Daten ermöglichen kann, die von US-Unternehmen kontrolliert werden – unabhängig vom Speicherort. Wie dieses Risiko zu bewerten ist und welche Rolle aktuelle Angemessenheitsbeschlüsse spielen, gehört in die Prüfung durch Datenschutzbeauftragte.

Vektoren sind keine anonymen Daten

Unabhängig vom Betriebsmodell gilt: Embeddings sind nicht automatisch anonym. Aus Vektoren lassen sich unter Umständen Rückschlüsse auf die Ursprungstexte ziehen, und in Chroma liegt neben dem Vektor häufig ohnehin das Originaldokument im Klartext. Wer personenbezogene Daten indexiert, muss Zweckbindung, Zugriffskontrolle, Löschkonzepte und Aufbewahrungsfristen auch für die Vektordatenbank umsetzen. Chroma unterstützt Löschungen über Kennungen und Filter; entscheidend ist, dass Löschungen im Quellsystem zuverlässig in die Collection übertragen werden und Backups in das Löschkonzept einbezogen sind. Und nicht zuletzt gehört die gesamte Pipeline auf den Prüfstand: Ein extern aufgerufenes Embedding- oder Sprachmodell kann den Datenschutzgewinn eines selbst betriebenen Chroma-Servers vollständig zunichtemachen.
Empfehlung: Chroma selbst betreiben – im eigenen oder deutschen Rechenzentrum

Für datenschutzsensible Anwendungen empfehlen wir die Open-Source-Variante von Chroma im eigenen Rechenzentrum oder bei einem deutschen beziehungsweise europäischen Hoster, kombiniert mit selbst betriebenen oder europäischen Modellen. Chroma Cloud kommt für unkritische Daten oder nach sorgfältiger Prüfung von Region, Auftragsverarbeitung und Drittlandtransfer in Betracht. In allen Fällen gehört die gesamte Pipeline auf den Prüfstand.

Betrieb
Self-Hosting oder deutscher Hoster bevorzugen
Chroma Cloud
Region, AVV und CLOUD Act prüfen
Pipeline
Embedding- und Sprachmodell gleichermaßen prüfen
Zugriff
Netz abschotten, TLS, Filter in der Anwendung
Telemetrie
Nutzungsstatistiken bewusst konfigurieren
Löschung
Löschkonzept inklusive Backups umsetzen

Kosten: Was Chroma wirklich kostet

Die Open-Source-Variante verursacht keine Lizenzkosten. Kosten entstehen für Infrastruktur – Server oder virtuelle Maschinen mit ausreichend Arbeitsspeicher für die Indizes, schneller Speicher, Backup-Speicher – sowie für die Arbeitszeit für Einrichtung, Absicherung, Updates und Monitoring. Weil Chroma vergleichsweise wenig Betriebsaufwand erzeugt, ist der Selbstbetrieb für kleine bis mittlere Bestände oft sehr wirtschaftlich. Der größte Kostentreiber ist meist nicht die Datenbank, sondern die Embedding-Berechnung und das Sprachmodell.
Open Source
0 € Lizenz
Apache 2.0, Selbstbetrieb
  • Kosten nur für Infrastruktur und Betrieb; volle Kontrolle über Daten und Standort.
Chroma Cloud
Nutzung variabel
Schreiben, Speichern, Abfragen
  • Nutzungsabhängige Abrechnung, teils mit Startguthaben; aktuelle Preise beim Anbieter prüfen.
Unternehmen
Individuell Angebot
Dedizierte Umgebungen, Support
  • Konditionen, Datenstandort und Service-Level werden individuell vereinbart.
Bei Chroma Cloud wird nutzungsabhängig abgerechnet, typischerweise nach geschriebenen Daten, gespeichertem Volumen und Abfragen; daneben gibt es Tarife mit Grundgebühr und Zusatzleistungen. Die aktuellen Preise und Konditionen sind beim Anbieter zu prüfen, da sie sich regelmäßig ändern. Für Prototypen und kleine Anwendungen kann ein serverloses Modell sehr günstig sein; bei hohem Abfragevolumen sollte man eine Vergleichsrechnung gegen den Selbstbetrieb aufstellen, die neben der Infrastruktur auch interne Personalkosten und Ausfallrisiken berücksichtigt.
Kapitel 10 · Häufige Fragen

Häufig gestellte Fragen zu Chroma

Diese Fragen tauchen in unseren Beratungsgesprächen rund um Chroma und Vektordatenbanken am häufigsten auf – kurz und sachlich beantwortet.

Ist Chroma kostenlos und Open Source?
Ja. Die Chroma-Datenbank steht unter der Apache-2.0-Lizenz und kann kostenlos selbst betrieben werden, auch kommerziell. Kostenpflichtig ist der gemanagte Dienst Chroma Cloud, der nutzungsabhängig abgerechnet wird, sowie individuelle Unternehmensangebote. Aktuelle Konditionen sind beim Anbieter zu prüfen.
Was ist der Unterschied zwischen Chroma und ChromaDB?
Es handelt sich um dasselbe Produkt. ChromaDB ist eine geläufige Bezeichnung, die vor allem auf den Paketnamen der Python-Bibliothek zurückgeht. Der Hersteller selbst spricht meist einfach von Chroma; der gemanagte Dienst heißt Chroma Cloud.
Kann man Chroma DSGVO-konform betreiben?
Die Open-Source-Variante bietet sehr gute Voraussetzungen, weil sie vollständig im eigenen Rechenzentrum oder bei einem deutschen Hoster laufen kann. Chroma Cloud wird von einem US-Unternehmen betrieben; hier sind Serverstandort, Auftragsverarbeitung, Unterauftragsverarbeiter und der US CLOUD Act sorgfältig zu bewerten. Ob Ihr Einsatz DSGVO-konform ist, hängt von der gesamten Verarbeitung ab, einschließlich Embedding- und Sprachmodell. Die rechtliche Bewertung gehört in die Hände Ihrer Datenschutzbeauftragten – dies ist keine Rechtsberatung.
Ist Chroma nur für Prototypen geeignet?
Nein, aber dort liegt eine besondere Stärke. Für kleine bis mittlere Produktivsysteme mit moderaten Verfügbarkeitsanforderungen ist ein selbst betriebener Chroma-Server gut geeignet. Für geschäftskritische Systeme mit Hochverfügbarkeit, sehr großen Beständen oder komplexen Mandantenstrukturen sollten Chroma Cloud oder verteilte Vektordatenbanken wie Qdrant, Weaviate oder Milvus geprüft werden.
Welches Embedding-Modell sollte ich mit Chroma nutzen?
Das Standardmodell von Chroma ist klein und primär auf Englisch ausgelegt. Für deutschsprachige Unternehmensinhalte empfehlen wir ein leistungsfähiges mehrsprachiges Modell, idealerweise selbst betrieben oder von einem europäischen Anbieter. Die beste Wahl ergibt sich aus einem Vergleich mit realen Testfragen aus Ihrem Fachbereich.
Unterstützt Chroma Hybrid Search mit Schlüsselwörtern?
Chroma bietet Filter auf den Dokumentinhalt, Unterstützung für Sparse-Vektoren und Möglichkeiten zur Fusion von Ergebnislisten. Der Funktionsumfang unterscheidet sich zwischen selbst betriebener Variante und Chroma Cloud und entwickelt sich laufend weiter. Alternativ lässt sich eine Hybrid-Suche über Frameworks auf Anwendungsebene umsetzen. Testen Sie die gewünschte Kombination früh in Ihrer Zielumgebung.
Wie setze ich Berechtigungen in Chroma um?
Im Selbstbetrieb empfiehlt es sich, Berechtigungen in der Anwendung zu prüfen und als Metadatenfilter an jede Abfrage zu übergeben. Für eine harte Trennung zwischen Mandanten oder sensiblen Bereichen eignen sich getrennte Collections, Datenbanken oder Instanzen. Nutzer sollten nie direkt, sondern immer über eine kontrollierte Anwendungsschicht auf Chroma zugreifen.
Kann ich später von Chroma auf eine andere Vektordatenbank wechseln?
Ja, das ist gut möglich, wenn die Architektur darauf vorbereitet ist. Halten Sie Quelldokumente und Metadaten außerhalb der Vektordatenbank vor, berechnen Sie Embeddings in einer eigenen Pipeline und nutzen Sie die Abstraktionen eines Frameworks wie LangChain, LlamaIndex oder Haystack. Dann ist ein Wechsel im Wesentlichen eine Neuindizierung mit überschaubarem Anpassungsaufwand.

Souveräne KI-Suche aufbauen

Bereit für eine Vektorsuche, die zu Ihnen passt?

Vom schnellen Chroma-Prototyp über die herstellerneutrale Wahl der passenden Vektordatenbank bis zum souverän betriebenen, DSGVO-konformen RAG-System – INAGRO begleitet Sie auf jedem Schritt. Mit Retrieval-Expertise, Datenschutz-Fokus und tiefem Verständnis für den Mittelstand. Pragmatisch, herstellerneutral und mit messbarem Ergebnis.

Seit 2006 am Markt

Erfahrung aus über 100 Digitalprojekten

DSGVO & Souveränität

Datenschutz von Anfang an mitgedacht

Rückmeldung in 24 h

Schnell, direkt, unverbindlich