Wer heute über KI-Assistenten auf Basis eigener Unternehmensdaten spricht, spricht fast immer über RAG. Ein Sprachmodell soll nicht aus seinem antrainierten Allgemeinwissen antworten, sondern aus Handbüchern, Richtlinien, Verträgen, Produktdaten oder Tickets des eigenen Hauses. Damit das gelingt, braucht es eine Komponente, die zu jeder Frage in Sekundenbruchteilen die passenden Textabschnitte findet. Genau diese Aufgabe übernimmt Azure AI Search. Der Dienst speichert Inhalte in Suchindizes, versteht sowohl exakte Begriffe als auch Bedeutungen und liefert die relevantesten Treffer an das Sprachmodell weiter, das daraus eine belegte Antwort formuliert.
Anders als eine reine Vektordatenbank ist Azure AI Search ursprünglich als Volltext-Suchmaschine entstanden. Der Dienst kann daher Dinge, die in reinen Vektorsystemen oft nachgerüstet werden müssen: linguistische Analyse in vielen Sprachen inklusive Deutsch, Synonymlisten, Facetten, Sortierung, Rechtschreibtoleranz, Vorschläge während der Eingabe und präzise Filter auf strukturierten Feldern. Mit den Jahren kamen Vektorfelder, Hybridsuche, ein KI-gestütztes semantisches Ranking und zuletzt agentische Retrieval-Verfahren hinzu. Das Ergebnis ist eine Plattform, die klassische Unternehmenssuche und moderne KI-Suche unter einem Dach vereint.
Der Dienst hat eine längere Geschichte, als viele vermuten. Er startete Mitte der 2010er-Jahre als Azure Search, ein gemanagter Suchdienst für Websites und Anwendungen. Mit der Integration von KI-Anreicherungen – Texterkennung in Bildern, Spracherkennung, Entitätsextraktion – wurde er zu Azure Cognitive Search. Ende 2023 folgte die Umbenennung in Azure AI Search, passend zur neuen Markenfamilie der Azure-KI-Dienste. Für Bestandskunden änderte sich dabei technisch nichts: Suchdienste, Endpunkte und Indizes liefen weiter, nur Name und Dokumentation wurden angepasst. Wer in älteren Architekturdokumenten oder Blogbeiträgen auf Cognitive Search stößt, liest also über denselben Dienst.
Diese Entwicklungsgeschichte erklärt einige Eigenheiten. Begriffe wie Indexer, Skillset oder Wissensspeicher stammen aus der Zeit, in der der Dienst vor allem Dokumente anreichern und durchsuchbar machen sollte. Die Vektor- und RAG-Funktionen wurden auf dieses Fundament aufgesetzt. Für Anwender ist das eher ein Vorteil, denn sie erhalten ausgereifte Ingest- und Suchwerkzeuge, die sich über Jahre in produktiven Unternehmensszenarien bewährt haben.
In einer typischen RAG-Architektur auf Azure übernimmt Azure AI Search drei Aufgaben. Erstens die Datenaufnahme: Indexer lesen Dokumente aus Quellen wie Blob Storage oder SharePoint, zerlegen sie in Abschnitte und lassen sie über ein Embedding-Modell vektorisieren. Zweitens die Speicherung: Texte, Vektoren und Metadaten liegen gemeinsam in einem Suchindex. Drittens das Retrieval: Zu jeder Nutzerfrage werden Volltext- und Vektorsuche kombiniert, Filter für Berechtigungen und Gültigkeit angewendet und die Treffer gegebenenfalls semantisch neu sortiert. Das Sprachmodell – etwa ein Modell aus Azure OpenAI oder dem Modellkatalog von Microsoft Foundry – erhält anschließend die besten Abschnitte als Kontext.
Wichtig ist die Abgrenzung: Azure AI Search ist weder ein Sprachmodell noch ein Chatbot. Es ist die Such- und Gedächtnisschicht dazwischen. Wie gut diese Schicht arbeitet, entscheidet maßgeblich darüber, ob ein KI-Assistent korrekte, nachvollziehbare Antworten liefert oder plausibel klingende Fehler produziert. Die Qualität eines RAG-Systems wird in der Praxis viel häufiger durch das Retrieval begrenzt als durch das Sprachmodell.
Innerhalb einer Tarifstufe wird die Kapazität über zwei Stellschrauben gesteuert. Partitionen erhöhen den verfügbaren Speicher und verteilen große Indizes auf mehrere Einheiten. Replikate sind Kopien des Index, die parallel Anfragen beantworten und so den Durchsatz erhöhen und die Verfügbarkeit absichern. Das Produkt aus Replikaten und Partitionen ergibt die Zahl der Sucheinheiten, nach denen abgerechnet wird. Ein Dienst mit zwei Replikaten und einer Partition verbraucht also zwei Sucheinheiten, unabhängig davon, wie viele Anfragen tatsächlich gestellt werden.
Für die Verfügbarkeitszusagen von Microsoft ist die Zahl der Replikate entscheidend: Erst ab mehreren Replikaten gelten Service-Level-Vereinbarungen für Leseanfragen, ab einer höheren Zahl auch für Schreibvorgänge. Die genauen Bedingungen stehen in den aktuellen SLA-Dokumenten. Wichtig für die Planung ist außerdem, dass ein Wechsel der Tarifstufe lange Zeit nicht ohne Weiteres möglich war und häufig einen neuen Suchdienst samt Neuaufbau der Indizes erforderte. Microsoft hat hier zwar nachgebessert, dennoch gilt: Die Tarifstufe sollte mit Blick auf das erwartete Wachstum gewählt werden, nicht nur auf den Prototyp. Für Vektorinhalte gelten zusätzlich eigene Speicherkontingente je Partition, die bei RAG-Projekten oft früher zum Engpass werden als der klassische Indexspeicher.
Microsoft positioniert Azure AI Search als zentrale Wissens- und Retrieval-Schicht für KI-Anwendungen auf Azure. In Microsoft Foundry, der Entwicklungsplattform für KI-Anwendungen und Agenten (früher Azure AI Studio beziehungsweise Azure AI Foundry), ist der Dienst als Wissensquelle für Agenten und Prompt-Flows angebunden. Azure OpenAI nutzt ihn als Datenbasis für Chat-Szenarien auf eigenen Daten. Copilot Studio kann einen Azure-AI-Search-Index als Wissensquelle für selbst gebaute Copilots einbinden. Hinzu kommen Verbindungen zu Microsoft Fabric und OneLake für analytische Daten.
Diese Positionierung hat zwei Seiten. Einerseits sinkt der Integrationsaufwand erheblich, weil viele Bausteine aufeinander abgestimmt sind und sich in Assistenten der Portale zusammenklicken lassen. Andererseits wächst die Abhängigkeit vom Microsoft-Ökosystem: Produktnamen, Vorschaufunktionen und empfohlene Architekturen ändern sich in kurzen Abständen, und manche Funktionen sind zunächst nur in ausgewählten Regionen verfügbar. Wer langfristig plant, sollte die eigene Anwendungslogik so gestalten, dass das Retrieval hinter einer klaren Schnittstelle liegt und notfalls austauschbar bleibt.
Der Index ist das Herzstück. Er entspricht grob einer Tabelle mit einem festen Schema aus Feldern. Für jedes Feld wird festgelegt, ob es durchsuchbar, filterbar, sortierbar, facettierbar oder abrufbar ist und welcher Sprachanalysator verwendet wird. Neben Text-, Zahlen-, Datums- und Geofeldern gibt es Vektorfelder, in denen Embeddings mit einer festgelegten Dimension abgelegt werden. Ein einzelnes Dokument im Index kann mehrere Vektorfelder tragen, etwa für Titel und Inhalt oder für Text und Bild.
Indexer sind automatisierte Ingest-Prozesse. Sie verbinden sich mit einer Datenquelle, lesen neue und geänderte Inhalte, extrahieren Text aus Formaten wie PDF, Office-Dokumenten oder HTML und schreiben die Ergebnisse in den Index. Indexer lassen sich zeitgesteuert ausführen und erkennen bei vielen Quellen Änderungen und Löschungen. Alternativ können Anwendungen Dokumente über die Push-API selbst in den Index schreiben, was mehr Kontrolle erlaubt und für Quellen ohne fertigen Konnektor nötig ist.
Skillsets definieren Anreicherungsschritte, die ein Indexer auf jedes Dokument anwendet. Dazu gehören Texterkennung in gescannten Dokumenten und Bildern, Spracherkennung, Extraktion von Entitäten und Schlüsselbegriffen, das Zerlegen langer Texte in Abschnitte, die Analyse von Dokumentlayouts und die Erzeugung von Embeddings über angebundene Modelle. Über benutzerdefinierte Skills lassen sich eigene Funktionen, etwa eine Azure Function oder ein beliebiger Webdienst, in die Verarbeitung einhängen. Skillsets sind damit eine Art Ingest-Pipeline innerhalb des Dienstes. Kosten für angebundene KI-Dienste wie Texterkennung oder Embedding-Modelle fallen dabei gesondert an.
Die Volltextsuche basiert auf einem invertierten Index und einem BM25-Bewertungsverfahren. Sprachanalysatoren sorgen dafür, dass etwa deutsche Wortformen und Komposita sinnvoll behandelt werden; ergänzend gibt es unscharfe Suche, Phrasensuche, Synonymlisten und Bewertungsprofile, mit denen bestimmte Felder oder aktuelle Dokumente höher gewichtet werden. Für exakte Begriffe wie Artikelnummern, Fehlercodes oder Normbezeichnungen ist diese Suche nach wie vor unschlagbar.
Die Vektorsuche arbeitet mit Embeddings und findet inhaltlich ähnliche Abschnitte, auch wenn sie andere Wörter verwenden. Azure AI Search nutzt dafür den HNSW-Algorithmus für schnelle, näherungsweise Suche sowie eine exhaustive Suche für exakte Ergebnisse auf kleineren Datenmengen oder zur Qualitätsmessung. Zur Speicheroptimierung stehen Komprimierungsverfahren wie skalare und binäre Quantisierung sowie schmalere Datentypen zur Verfügung; die Originalvektoren können für ein präzises Nachbewerten erhalten bleiben. Diese Optionen haben direkte Auswirkungen auf Kosten, weil Vektorspeicher je Partition begrenzt ist.
Die Hybridsuche führt beide Verfahren in einer Anfrage parallel aus und verschmilzt die Ergebnislisten mit Reciprocal Rank Fusion. So werden sowohl Umschreibungen als auch exakte Begriffe gefunden. Für die meisten RAG-Szenarien im Unternehmensumfeld empfiehlt Microsoft selbst die Hybridsuche als Ausgangspunkt, und unsere Projekterfahrung bestätigt das: Reine Vektorsuche verliert bei technischen Inhalten mit vielen Kennzeichen und Nummern regelmäßig relevante Treffer.
Das semantische Ranking ist ein zusätzlicher Schritt nach der eigentlichen Suche. Ein von Microsoft betriebenes Sprachmodell bewertet die besten Kandidaten der Hybridsuche erneut im Hinblick auf die Frage und sortiert sie neu. Optional werden semantische Auszüge und kurze Antworten hervorgehoben. In der Praxis verbessert dieser Reranking-Schritt die Qualität der obersten Treffer oft spürbar – genau jener Treffer, die an das Sprachmodell weitergegeben werden. Das semantische Ranking wird gesondert abgerechnet, ist nicht in jeder Tarifstufe und Region gleichermaßen verfügbar und sollte deshalb vorab geprüft werden.
Filter schränken die Ergebnismenge über strukturierte Felder ein, etwa nach Dokumenttyp, Abteilung, Sprache, Gültigkeitsdatum oder Berechtigungsgruppe. Sie werden mit einer an OData angelehnten Syntax formuliert und lassen sich mit Vektorabfragen kombinieren, wahlweise vor oder nach der Vektorsuche. Facetten liefern Zählungen je Feldwert und sind die Grundlage für klassische Such-Oberflächen mit Filterleisten. Für RAG sind Facetten weniger wichtig, für Unternehmenssuchen mit menschlichen Nutzern dagegen sehr. Die Kombination aus Facetten, Filtern und KI-Antworten macht Azure AI Search attraktiv für Projekte, die eine klassische Intranetsuche und einen Chat-Assistenten auf derselben Datenbasis betreiben wollen.
Ursprünglich mussten Anwendungen Embeddings selbst erzeugen und fertige Vektoren in den Index schreiben. Mit der integrierten Vektorisierung übernimmt Azure AI Search diese Aufgabe. Beim Ingest zerlegt ein Skill die Dokumente in Abschnitte und ruft ein angebundenes Embedding-Modell auf, etwa aus Azure OpenAI oder dem Foundry-Modellkatalog. Bei der Abfrage wandelt ein im Index hinterlegter Vektorisierer die Nutzerfrage automatisch in einen Vektor um. Die Anwendung kann damit einfach Text senden und erhält Hybrid-Ergebnisse zurück, ohne sich um Embeddings kümmern zu müssen.
Ein Assistent im Azure-Portal führt durch die Einrichtung: Datenquelle wählen, Embedding-Modell verbinden, Chunking festlegen, fertig ist ein vektorisierter Index mit Indexer und Skillset. Für Prototypen ist das ein enormer Zeitgewinn. Für den Produktivbetrieb lohnt sich dennoch ein genauer Blick auf die erzeugten Artefakte. Die Standard-Chunking-Einstellungen sind ein guter Anfang, aber nicht für jedes Dokumentformat optimal. Layout-bewusstes Zerlegen, das Überschriften und Tabellen berücksichtigt, liefert bei strukturierten Handbüchern oder Normen oft deutlich bessere Ergebnisse. Außerdem gilt: Wer das Embedding-Modell später wechselt, muss den Index neu aufbauen – das sollte von Anfang an eingeplant werden.
Klassisches RAG schickt eine Nutzerfrage unverändert als Suchanfrage an den Index. Bei komplexen Fragen mit mehreren Teilaspekten oder bei Gesprächsverläufen, in denen sich die aktuelle Frage auf frühere Antworten bezieht, stößt dieser Ansatz an Grenzen. Mit Agentic Retrieval hat Microsoft ein Verfahren eingeführt, bei dem ein Sprachmodell die Frage samt Gesprächskontext analysiert, in mehrere gezielte Teilanfragen zerlegt, diese parallel als Hybridsuchen mit semantischem Ranking ausführt und die Ergebnisse zu einem strukturierten Kontext zusammenführt. Das Ziel ist eine höhere Trefferquote bei komplexen Fragen und eine bessere Grundlage für KI-Agenten.
Organisatorisch wird dieses Verfahren über eigene Objekte im Suchdienst konfiguriert, die Microsoft im Lauf der Entwicklung unterschiedlich benannt hat, zuletzt im Umfeld von Wissensquellen und Wissensbasen. Mehrere Indizes und auch externe Quellen können so zu einer gemeinsamen Wissensbasis zusammengefasst werden, die Agenten in Foundry abfragen. Viele dieser Funktionen befanden sich längere Zeit in der Vorschau; ihr Status, ihre Regionsverfügbarkeit und ihr Kostenmodell – es entstehen zusätzliche Kosten für die Planung durch das Sprachmodell – sind vor einem produktiven Einsatz beim Anbieter zu prüfen. Für einfache Frage-Antwort-Szenarien ist klassische Hybridsuche oft weiterhin ausreichend und günstiger.
Über die Funktion Azure OpenAI „On your data“ ließ sich ein Chat-Modell ohne eigene Retrieval-Logik direkt mit einem Azure-AI-Search-Index verbinden. Das Modell suchte selbstständig im Index und antwortete mit Quellenverweisen. Für schnelle Demonstratoren war das sehr attraktiv. Microsoft richtet Neuentwicklungen inzwischen jedoch stärker auf Agenten in Foundry und auf Agentic Retrieval aus; den aktuellen Status und empfohlene Migrationspfade für „On your data“ sollte man daher vor einem Neuprojekt beim Anbieter prüfen. Unabhängig davon gilt: Produktionsreife Anwendungen profitieren meist davon, Abfragelogik, Filter und Prompt-Gestaltung selbst zu kontrollieren.
Häufig missverstanden wird der Bezug zu Microsoft 365 Copilot. Der Copilot in Word, Outlook oder Teams greift auf Inhalte aus Microsoft 365 über Microsoft Graph und einen eigenen semantischen Index zu – nicht über einen Azure-AI-Search-Dienst des Kunden. Wer Copilot erweitern möchte, nutzt Graph-Konnektoren oder baut eigene Agenten in Copilot Studio. Genau dort kommt Azure AI Search ins Spiel: Ein eigener Index kann als Wissensquelle für einen Copilot-Studio-Agenten dienen, etwa um Inhalte aus einem ERP-Export, einer technischen Dokumentation oder einer Datenbank zugänglich zu machen, die nicht in Microsoft 365 liegen. Azure AI Search ist damit kein Ersatz für Copilot, sondern ein Baustein für eigene, präziser kontrollierte Assistenten.
Die ausgereiftesten Indexer gibt es für Azure Blob Storage und Azure Data Lake Storage. Sie sind die übliche Landezone für Dokumente aller Art, von PDF-Handbüchern über Office-Dateien bis zu Bildern. Ebenfalls etabliert sind Indexer für Azure SQL und SQL Server auf Azure-VMs sowie für Azure Cosmos DB, mit denen strukturierte Daten aus Fachanwendungen in den Index gelangen. Auch Azure Table Storage und Azure Files lassen sich anbinden. Änderungserkennung, Löschbehandlung und Zeitplanung funktionieren je nach Quelle unterschiedlich gut und sollten im Detail getestet werden.
Für SharePoint Online bietet Microsoft einen Indexer, der Dokumentbibliotheken direkt einliest. Er war längere Zeit als Vorschau gekennzeichnet und hat Einschränkungen, etwa bei der Übernahme von Berechtigungen und bei sehr großen Bibliotheken. Viele Projekte nutzen deshalb einen Zwischenschritt: Dokumente werden über Power Automate, Logic Apps oder eigene Synchronisationsdienste nach Blob Storage kopiert und von dort indexiert. Neuere Ansätze im Umfeld von Agentic Retrieval erlauben zudem, SharePoint-Inhalte zur Abfragezeit über Microsoft-Schnittstellen einzubeziehen, statt sie vollständig zu kopieren. Welche Variante sinnvoll ist, hängt stark vom Berechtigungsmodell ab – dazu mehr in Kapitel 07.
Mit Microsoft Fabric und OneLake wächst eine weitere Quelle. Ein OneLake-Indexer liest Dateien aus Lakehouses, sodass analytische Datenbestände und Dokumente aus der Datenplattform direkt in RAG-Szenarien nutzbar werden. Für Unternehmen, die Fabric als zentrale Datenplattform aufbauen, entsteht so eine durchgängige Kette vom Datenbestand bis zum KI-Assistenten. Auch hier gilt: Status und Funktionsumfang der Anbindung vor Projektbeginn beim Anbieter prüfen.
Für Entwickler stehen eine REST-API und offizielle SDKs für .NET, Python, Java und JavaScript/TypeScript bereit. Darüber hinaus ist Azure AI Search als Vektorspeicher in allen relevanten Orchestrierungs-Frameworks integriert: LangChain, LlamaIndex, Microsofts eigenes Semantic Kernel sowie das neuere Microsoft Agent Framework, außerdem Haystack und Spring AI. Für Low-Code-Szenarien bieten Power Platform und Logic Apps Konnektoren, und über das Model Context Protocol lassen sich Suchindizes auch an KI-Assistenten außerhalb des Microsoft-Ökosystems anbinden.
Wie bei anderen Suchsystemen gilt: Basisfunktionen wie Dokumente schreiben, Vektorsuche und einfache Filter sind in den Frameworks überall verfügbar. Spezialfunktionen wie semantisches Ranking, Bewertungsprofile, mehrere Vektorfelder oder Agentic Retrieval werden nicht in jedem Framework vollständig abgebildet. In anspruchsvollen Projekten formulieren wir kritische Abfragen deshalb direkt über das offizielle SDK und nutzen Frameworks nur für die Orchestrierung des Gesamtablaufs.
Elasticsearch ist das funktional ähnlichste Produkt. Auch hier treffen eine ausgereifte Volltextsuche, Vektorfelder, Hybridsuche und eigene semantische Modelle aufeinander. Der wesentliche Unterschied liegt im Betriebsmodell: Elasticsearch lässt sich selbst betreiben, im eigenen Rechenzentrum oder bei einem deutschen Hoster, und ist zusätzlich als gemanagter Dienst bei verschiedenen Cloud-Anbietern verfügbar, darunter auch auf Azure. Elasticsearch ist flexibler und offener, verlangt aber mehr Betriebs-Know-how. Azure AI Search ist enger begrenzt, dafür sofort einsatzbereit und mit Azure-Quellen tiefer verdrahtet. Für Unternehmen mit bestehender Elastic-Expertise oder mit Logging- und Observability-Workloads auf Elastic ist es oft sinnvoll, auch die RAG-Suche dort zu bündeln.
Vertex AI Search von Google Cloud ist das Gegenstück im Google-Ökosystem. Es setzt noch stärker auf eine fertige Lösung: Datenquelle verbinden, Suchanwendung oder Antwortmaschine erhalten, mit deutlich weniger Stellschrauben im Detail. Die Plattformwahl folgt hier in aller Regel der Cloud-Strategie. Wer auf Microsoft 365 und Azure setzt, wird mit Azure AI Search reibungsloser arbeiten; wer Google Workspace und Google Cloud nutzt, findet in Vertex AI Search das naheliegendere Werkzeug. Beide Dienste stammen von US-Anbietern und werfen dieselben grundsätzlichen Datenschutzfragen auf. Ähnlich gelagert ist im Übrigen Amazon Kendra beziehungsweise der Einsatz von OpenSearch auf AWS.
Qdrant und Weaviate sind dedizierte, quelloffene Vektordatenbanken mit europäischen Wurzeln. Sie bieten Hybridsuche, ausgefeilte Filter, Quantisierung und Multivektor-Funktionen und lassen sich vollständig selbst betreiben – vom einzelnen Container bis zum Cluster. Was ihnen im Vergleich zu Azure AI Search fehlt, sind fertige Konnektoren zu Unternehmensquellen und ein integriertes semantisches Ranking als Dienst. Datenaufnahme, Chunking und Reranking werden in der Anwendung oder mit zusätzlichen Werkzeugen gelöst. Dafür gewinnt man Souveränität, Portabilität und häufig ein günstigeres Kostenprofil bei kleineren Datenmengen.
pgvector ist eine Erweiterung für PostgreSQL und damit der Gegenpol zu einer eigenständigen Suchplattform. Vektoren liegen dort, wo die Geschäftsdaten ohnehin liegen, Berechtigungen und Transaktionen funktionieren wie gewohnt. Für moderate Datenmengen und Teams mit Postgres-Erfahrung ist das oft der pragmatischste Weg – auch auf Azure, denn Azure Database for PostgreSQL unterstützt die Erweiterung. Bei anspruchsvoller Hybridsuche, Ranking-Qualität und großem Dokumentbestand bietet Azure AI Search dagegen deutlich mehr Komfort.
Die Kernbotschaft: Azure AI Search ist nicht pauschal die beste Retrieval-Lösung, aber im Microsoft-Ökosystem eine der bequemsten und vollständigsten. Je stärker Souveränität, Portabilität und Kostenkontrolle bei kleinen Beständen gewichtet werden, desto attraktiver werden die offenen Alternativen. Je wichtiger fertige Konnektoren, semantisches Ranking und minimaler Betriebsaufwand sind, desto stärker spricht vieles für den gemanagten Dienst.
Die häufigste Fehleinschätzung betrifft den Vektorspeicher. Jede Tarifstufe stellt pro Partition nur einen Teil des Speichers für Vektorindizes bereit. Bei RAG-Projekten mit vielen kleinen Abschnitten und hochdimensionalen Embeddings ist dieses Kontingent oft schneller erschöpft als der übrige Speicher. Komprimierung über Quantisierung, schmalere Datentypen, der Verzicht auf das Speichern abrufbarer Vektorkopien und eine bewusste Wahl der Embedding-Dimension können den Bedarf erheblich senken. Diese Entscheidungen sollten vor dem Produktivgang getroffen werden, da sie meist einen Neuaufbau des Index erfordern.
Für die Leistungsplanung gilt: Mehr Replikate erhöhen Durchsatz und Verfügbarkeit, mehr Partitionen erhöhen Speicher und können bei großen Indizes auch Abfragen beschleunigen. Indexer laufen auf denselben Ressourcen wie Suchanfragen, große Erstindizierungen können daher den Betrieb spürbar belasten und sollten außerhalb der Hauptnutzungszeiten erfolgen. Microsoft stellt Metriken zu Latenz, Abfragen pro Sekunde und gedrosselten Anfragen bereit; ein Lasttest mit realistischen Fragen ist trotzdem durch nichts zu ersetzen.
Neu angelegte Suchdienste sind standardmäßig über einen öffentlichen Endpunkt mit API-Schlüsseln erreichbar. Für den Produktivbetrieb empfehlen wir, auf Microsoft Entra ID mit rollenbasierter Zugriffssteuerung umzustellen und Schlüssel nach Möglichkeit ganz zu deaktivieren. Anwendungen und Indexer authentifizieren sich dann über verwaltete Identitäten, wodurch keine Geheimnisse im Code oder in Konfigurationsdateien liegen. Eingebaute Rollen trennen Verwaltung, Indexpflege und reinen Lesezugriff sauber voneinander.
Auf Netzwerkebene lässt sich der Suchdienst über Private Endpoints in ein virtuelles Netzwerk einbinden und der öffentliche Zugriff vollständig abschalten. Damit Indexer trotzdem auf ebenfalls abgeschottete Quellen wie Storage-Konten oder Datenbanken zugreifen können, nutzt man gemeinsam genutzte private Verbindungen. Daten werden im Ruhezustand verschlüsselt; auf Wunsch mit kundenseitig verwalteten Schlüsseln aus Azure Key Vault. Diese Konfiguration ist aufwendiger, gehört aber zum Standard, sobald vertrauliche Unternehmensdaten verarbeitet werden. Einige Funktionen, etwa bestimmte Skills oder Vorschaufunktionen, haben in vollständig isolierten Netzwerken Einschränkungen, die man im Architekturentwurf berücksichtigen sollte.
Die anspruchsvollste Frage ist die nach dokumentbezogenen Berechtigungen. Azure AI Search kennt keine Benutzerkonten für Endnutzer. Klassisch wird die Sichtbarkeit über Sicherheitsfilter gelöst: Jedes Dokument trägt die Gruppen, die es sehen dürfen, und die Anwendung filtert bei jeder Abfrage nach den Gruppen des angemeldeten Nutzers. Microsoft hat ergänzend Funktionen eingeführt, um Zugriffslisten aus Quellen wie Data Lake Storage oder SharePoint zu übernehmen und Abfragen anhand des Nutzer-Tokens automatisch zu beschneiden. Ob diese Mechanismen für den eigenen Fall ausgereift genug sind und wie aktuell die übernommenen Rechte bleiben, muss im Projekt sorgfältig geprüft werden. Ein RAG-Assistent, der Gehaltslisten an die falschen Personen zitiert, ist das größte Risiko jeder Einführung.
Der gemeinsame Ausgangspunkt ist fast immer derselbe: Wissen liegt verstreut in SharePoint-Bibliotheken, Netzlaufwerken, ERP- und CRM-Systemen, Ticketsystemen und E-Mail-Postfächern. Microsoft 365 Copilot deckt die Inhalte aus Microsoft 365 gut ab, stößt aber an Grenzen, wenn Fachsysteme, strukturierte Daten oder sehr spezifische Fragestellungen ins Spiel kommen. Hier entsteht der typische Einsatzbereich für Azure AI Search: eigene Assistenten und Suchanwendungen, die gezielt bestimmte Wissensbestände erschließen, mit kontrollierter Retrieval-Logik und nachvollziehbaren Quellen.
Ein typisches Mittelstandsprojekt sieht in unserer Praxis etwa so aus: Relevante SharePoint-Bibliotheken werden entweder direkt indexiert oder über einen Synchronisationsprozess in ein Storage-Konto in einer EU-Region gespiegelt, ergänzt um Exporte aus ERP- oder Ticketsystemen in Azure SQL. Ein Indexer mit Skillset extrahiert Text, berücksichtigt das Dokumentlayout, zerlegt Inhalte in Abschnitte und erzeugt Embeddings über ein Modell in derselben Region. Der Index enthält neben Text und Vektoren Felder für Quelle, Datum, Sprache und Berechtigungsgruppen. Eine schlanke Anwendung – häufig ein Teams-Bot, eine interne Web-App oder ein Copilot-Studio-Agent – meldet Nutzer über Entra ID an, führt eine Hybridsuche mit semantischem Ranking und Gruppenfilter aus und übergibt die besten Abschnitte an ein Sprachmodell. Die Antwort enthält Verweise auf die Originaldokumente in SharePoint.
Diese Architektur nutzt vorhandene Lizenzen, Identitäten und Sicherheitsmechanismen weiter und fügt sich in bestehende Betriebsprozesse der IT ein. Gerade für IT-Abteilungen, die ohnehin Azure-Ressourcen verwalten, ist das ein erheblicher Vorteil gegenüber dem Aufbau einer zusätzlichen, selbst betriebenen Plattform.
So komfortabel der Dienst ist: Azure AI Search ist selten der Engpass eines RAG-Projekts. Die größten Qualitätshebel liegen in der Datenaufbereitung, im Chunking, in sauberen Metadaten, im Berechtigungskonzept und in einer kontinuierlichen Evaluierung. Wer zudem bereits Microsoft 365 Copilot lizenziert hat, sollte zunächst prüfen, welche Fragen damit schon gut beantwortet werden, bevor ein eigenes System entsteht. Eigene Lösungen lohnen sich besonders dort, wo Fachsysteme, präzise Steuerung oder spezielle Nutzergruppen im Spiel sind. Mit einem klar umrissenen Anwendungsfall zu starten, die Qualität anhand realer Testfragen zu messen und dann schrittweise zu erweitern, führt erfahrungsgemäß deutlich schneller zu belastbaren Ergebnissen als eine große Plattforminitiative.
Azure AI Search ist in zahlreichen europäischen Regionen verfügbar, darunter Germany West Central mit Rechenzentren in Frankfurt am Main sowie Regionen wie West Europe und Sweden Central. Indizes, Vektoren und gespeicherte Inhalte liegen in der gewählten Region. Wichtig ist jedoch, die gesamte Kette zu betrachten: Embedding-Modelle, Sprachmodelle, semantisches Ranking und Agentic Retrieval müssen ebenfalls in einer EU-Region beziehungsweise mit EU-Datenverarbeitung betrieben werden. Nicht jede Funktion und nicht jedes Modell ist in jeder Region verfügbar; manche Bereitstellungsarten von Modellen verarbeiten Daten zudem regionsübergreifend. Die Regionsverfügbarkeit sollte deshalb für jede eingesetzte Komponente vorab geprüft werden.
Mit der EU Data Boundary hat Microsoft zugesagt, Kundendaten und personenbezogene Daten für zentrale Cloud-Dienste einschließlich Azure innerhalb der EU und der EFTA zu speichern und zu verarbeiten, mit dokumentierten Ausnahmen etwa für bestimmte Support- und Sicherheitsfälle. Das ist ein relevanter Fortschritt gegenüber früheren Zuständen. Microsoft ist darüber hinaus unter dem EU-US Data Privacy Framework zertifiziert und bietet Standardvertragsklauseln sowie einen Auftragsverarbeitungsvertrag in Form der Data Protection Addendum.
Gleichzeitig bleibt ein struktureller Punkt bestehen: Microsoft ist ein US-Unternehmen und unterliegt dem US CLOUD Act. Dieses Gesetz kann US-Behörden unter bestimmten Voraussetzungen Zugriff auf Daten ermöglichen, die von US-Anbietern kontrolliert werden – unabhängig davon, in welchem Land die Rechenzentren stehen. Microsoft beschreibt in seinen Transparenzberichten und vertraglichen Zusagen, wie mit solchen Anfragen umgegangen wird. Ob das für die eigenen Daten ein akzeptables Restrisiko darstellt, ist eine Abwägung, die Unternehmen gemeinsam mit ihren Datenschutzbeauftragten treffen müssen. Für viele allgemeine Geschäftsdokumente fällt diese Abwägung positiv aus, für besonders schutzbedürftige Daten wie Gesundheitsdaten, Geschäftsgeheimnisse in sicherheitskritischen Branchen oder Daten öffentlicher Auftraggeber häufig nicht.
Unabhängig vom Anbieter gilt: Vektoren sind keine anonymen Daten. Aus Embeddings lassen sich unter Umständen Rückschlüsse auf die Ursprungstexte ziehen, und Suchindizes enthalten ohnehin meist Klartext. Löschkonzepte, Aufbewahrungsfristen und Berechtigungen müssen deshalb auch für den Suchindex umgesetzt werden – inklusive der Frage, wie schnell Löschungen in der Quelle im Index ankommen.
Azure AI Search wird im Kern nach bereitgestellten Sucheinheiten pro Stunde abgerechnet. Die Höhe richtet sich nach Tarifstufe sowie nach der Zahl der Replikate und Partitionen. Entscheidend ist: Diese Kosten fallen auch dann an, wenn niemand sucht. Ein Suchdienst ist damit eher mit einer dauerhaft laufenden Datenbank vergleichbar als mit einem nutzungsbasierten Serverless-Dienst. Hinzu kommen nutzungsabhängige Posten: semantisches Ranking ab einem kostenlosen Kontingent, Agentic Retrieval, KI-Anreicherungen wie Texterkennung, Aufrufe von Embedding- und Sprachmodellen, ausgehender Datenverkehr und gegebenenfalls Netzwerkkomponenten wie Private Endpoints. Aktuelle Preise sind beim Anbieter und im Azure-Preisrechner zu prüfen.
Für die Wirtschaftlichkeit ergeben sich daraus einige Faustregeln. Bei kleinen Datenbeständen und wenigen Nutzern kann die Grundlast einer produktiven Tarifstufe im Verhältnis zum Nutzen hoch wirken; hier sind pgvector in einer ohnehin vorhandenen Datenbank oder eine kleine selbst betriebene Vektordatenbank oft günstiger. Mit wachsendem Datenbestand, mehreren Anwendungsfällen auf derselben Plattform und Bedarf an Verfügbarkeit dreht sich das Bild: Dann spart der gemanagte Betrieb interne Personalkosten, Ausfallrisiken und Entwicklungsaufwand für Konnektoren und Ranking. Wer Azure-Reservierungen oder Rahmenverträge mit Microsoft nutzt, sollte prüfen, inwieweit Azure AI Search davon profitiert.
Wenn die Abwägung ergibt, dass ein US-Anbieter für bestimmte Daten nicht in Frage kommt, ist das kein Grund, auf RAG zu verzichten. Selbst betriebene Lösungen wie Qdrant, Weaviate, pgvector oder Elasticsearch lassen sich auf eigener Hardware oder bei deutschen und europäischen Hostern betreiben, kombiniert mit Open-Source-Embedding- und Sprachmodellen. Der Preis dafür ist mehr Eigenleistung bei Ingest, Ranking und Betrieb. In der Praxis sehen wir zunehmend hybride Ansätze: Allgemeine Unternehmensinhalte werden im Microsoft-Ökosystem erschlossen, besonders sensible Bestände in einer souveränen, selbst betriebenen Umgebung.