Wissensdatenbank · Retrieval & Vektorsuche · Microsoft Azure

Azure AI Search – die Retrieval-Plattform für RAG im Microsoft-Ökosystem.

Azure AI Search, früher Azure Cognitive Search, ist Microsofts vollständig gemanagter Such- und Retrieval-Dienst. Er vereint klassische Volltextsuche, Vektorsuche, Hybridsuche und semantisches Ranking in einer Plattform und bringt Konnektoren für SharePoint, Blob Storage, SQL, Cosmos DB und OneLake gleich mit. Dieser Fachartikel ordnet Tarifstufen, Funktionen, KI-Erweiterungen, Integrationen, Wettbewerb, Betrieb und die DSGVO-Frage herstellerneutral ein.

Dieser Artikel wurde mithilfe künstlicher Intelligenz erstellt und redaktionell geprüft.

26 Min. Lesezeit
Aktualisiert · Oktober 2026
Fachartikel · Expertenbeitrag
Azure AI Search
Microsoft Corporation · Redmond, USA
Typ
Such- & Retrieval-Dienst (PaaS)
Früherer Name
Azure Cognitive Search
Lizenz
Proprietär, Cloud-Dienst
Schnittstellen
REST, SDKs (.NET, Python, Java, JS)
Betrieb
Nur Azure, Region wählbar
Stärke
Hybrid, Ranking, M365-Nähe
INAGRO Eignung RAG im Microsoft-Mittelstand
★★★★★
Kapitel 01 · Überblick

Was ist Azure AI Search – und warum ist es für RAG so verbreitet?

Azure AI Search ist ein gemanagter Cloud-Dienst von Microsoft, mit dem Unternehmen eigene Inhalte durchsuchbar machen – per Stichwort, per inhaltlicher Ähnlichkeit oder in Kombination aus beidem. In vielen Retrieval-Augmented-Generation-Projekten auf Azure ist der Dienst die Standardwahl für die Retrieval-Schicht, weil er tief in Azure OpenAI, Microsoft Foundry und die Datenquellen des Microsoft-Ökosystems eingebunden ist.

Wer heute über KI-Assistenten auf Basis eigener Unternehmensdaten spricht, spricht fast immer über RAG. Ein Sprachmodell soll nicht aus seinem antrainierten Allgemeinwissen antworten, sondern aus Handbüchern, Richtlinien, Verträgen, Produktdaten oder Tickets des eigenen Hauses. Damit das gelingt, braucht es eine Komponente, die zu jeder Frage in Sekundenbruchteilen die passenden Textabschnitte findet. Genau diese Aufgabe übernimmt Azure AI Search. Der Dienst speichert Inhalte in Suchindizes, versteht sowohl exakte Begriffe als auch Bedeutungen und liefert die relevantesten Treffer an das Sprachmodell weiter, das daraus eine belegte Antwort formuliert.
Anders als eine reine Vektordatenbank ist Azure AI Search ursprünglich als Volltext-Suchmaschine entstanden. Der Dienst kann daher Dinge, die in reinen Vektorsystemen oft nachgerüstet werden müssen: linguistische Analyse in vielen Sprachen inklusive Deutsch, Synonymlisten, Facetten, Sortierung, Rechtschreibtoleranz, Vorschläge während der Eingabe und präzise Filter auf strukturierten Feldern. Mit den Jahren kamen Vektorfelder, Hybridsuche, ein KI-gestütztes semantisches Ranking und zuletzt agentische Retrieval-Verfahren hinzu. Das Ergebnis ist eine Plattform, die klassische Unternehmenssuche und moderne KI-Suche unter einem Dach vereint.

Von Azure Search über Cognitive Search zu Azure AI Search

Der Dienst hat eine längere Geschichte, als viele vermuten. Er startete Mitte der 2010er-Jahre als Azure Search, ein gemanagter Suchdienst für Websites und Anwendungen. Mit der Integration von KI-Anreicherungen – Texterkennung in Bildern, Spracherkennung, Entitätsextraktion – wurde er zu Azure Cognitive Search. Ende 2023 folgte die Umbenennung in Azure AI Search, passend zur neuen Markenfamilie der Azure-KI-Dienste. Für Bestandskunden änderte sich dabei technisch nichts: Suchdienste, Endpunkte und Indizes liefen weiter, nur Name und Dokumentation wurden angepasst. Wer in älteren Architekturdokumenten oder Blogbeiträgen auf Cognitive Search stößt, liest also über denselben Dienst.
Diese Entwicklungsgeschichte erklärt einige Eigenheiten. Begriffe wie Indexer, Skillset oder Wissensspeicher stammen aus der Zeit, in der der Dienst vor allem Dokumente anreichern und durchsuchbar machen sollte. Die Vektor- und RAG-Funktionen wurden auf dieses Fundament aufgesetzt. Für Anwender ist das eher ein Vorteil, denn sie erhalten ausgereifte Ingest- und Suchwerkzeuge, die sich über Jahre in produktiven Unternehmensszenarien bewährt haben.

Die Rolle von Azure AI Search in einer RAG-Architektur

In einer typischen RAG-Architektur auf Azure übernimmt Azure AI Search drei Aufgaben. Erstens die Datenaufnahme: Indexer lesen Dokumente aus Quellen wie Blob Storage oder SharePoint, zerlegen sie in Abschnitte und lassen sie über ein Embedding-Modell vektorisieren. Zweitens die Speicherung: Texte, Vektoren und Metadaten liegen gemeinsam in einem Suchindex. Drittens das Retrieval: Zu jeder Nutzerfrage werden Volltext- und Vektorsuche kombiniert, Filter für Berechtigungen und Gültigkeit angewendet und die Treffer gegebenenfalls semantisch neu sortiert. Das Sprachmodell – etwa ein Modell aus Azure OpenAI oder dem Modellkatalog von Microsoft Foundry – erhält anschließend die besten Abschnitte als Kontext.
Wichtig ist die Abgrenzung: Azure AI Search ist weder ein Sprachmodell noch ein Chatbot. Es ist die Such- und Gedächtnisschicht dazwischen. Wie gut diese Schicht arbeitet, entscheidet maßgeblich darüber, ob ein KI-Assistent korrekte, nachvollziehbare Antworten liefert oder plausibel klingende Fehler produziert. Die Qualität eines RAG-Systems wird in der Praxis viel häufiger durch das Retrieval begrenzt als durch das Sprachmodell.
INAGRO-Einschätzung

Für Unternehmen, die ohnehin auf Microsoft 365 und Azure setzen, ist Azure AI Search eine der naheliegendsten und ausgereiftesten Retrieval-Plattformen. Hybridsuche, semantisches Ranking und fertige Konnektoren sparen viel Entwicklungsaufwand. Dem stehen eine feste Bindung an Azure, ein Kostenmodell mit Grundlast und die Datenschutzfragen eines US-Anbieters gegenüber. Wer maximale Souveränität sucht oder außerhalb von Azure arbeitet, sollte Open-Source-Alternativen wie Qdrant, Weaviate oder pgvector ernsthaft vergleichen.

Kapitel 02 · Tarifstufen & Positionierung

Tarifstufen, Sucheinheiten und die Rolle im Azure- und Foundry-Ökosystem

Azure AI Search wird nicht pro Anfrage, sondern über einen dauerhaft bereitgestellten Suchdienst in einer gewählten Tarifstufe betrieben. Die Tarifstufe bestimmt Speicher, Leistung und verfügbare Funktionen. Die folgende Übersicht ist bewusst qualitativ; aktuelle Limits und Preise sind stets beim Anbieter zu prüfen, da Microsoft sie regelmäßig anpasst.

Free
Test

Kostenloser, gemeinsam genutzter Dienst mit stark begrenztem Speicher und Indexanzahl. Geeignet für erste Experimente und Schulungen, nicht für Produktion oder vertrauliche Daten.

Ressourcengeteilt, klein
Skalierungkeine
EinsatzPrototyp
Basic
Einstieg

Dedizierte Ressourcen für kleinere produktive Anwendungen. Begrenzte Skalierung über Replikate und Partitionen, für viele erste RAG-Projekte im Mittelstand ein realistischer Startpunkt.

Ressourcendediziert
Skalierungeingeschränkt
Einsatzkleine Produktion
Standard (S1–S3)
Produktion

Die Hauptstufen für produktive Workloads mit steigender Kapazität je Stufe. Volle Skalierung über Replikate und Partitionen, geeignet für unternehmensweite Suche und größere RAG-Plattformen.

Ressourcendediziert, gestaffelt
Skalierunghorizontal
EinsatzProduktion
Storage Optimized (L1/L2)
Große Bestände

Stufen mit sehr viel Speicher je Einheit, aber höheren Antwortzeiten. Gedacht für große, eher selten abgefragte Datenbestände wie Archive, weniger für latenzkritische Chat-Anwendungen.

Ressourcenspeicherlastig
Latenzhöher
EinsatzArchive

Replikate, Partitionen und Sucheinheiten verstehen

Innerhalb einer Tarifstufe wird die Kapazität über zwei Stellschrauben gesteuert. Partitionen erhöhen den verfügbaren Speicher und verteilen große Indizes auf mehrere Einheiten. Replikate sind Kopien des Index, die parallel Anfragen beantworten und so den Durchsatz erhöhen und die Verfügbarkeit absichern. Das Produkt aus Replikaten und Partitionen ergibt die Zahl der Sucheinheiten, nach denen abgerechnet wird. Ein Dienst mit zwei Replikaten und einer Partition verbraucht also zwei Sucheinheiten, unabhängig davon, wie viele Anfragen tatsächlich gestellt werden.
Für die Verfügbarkeitszusagen von Microsoft ist die Zahl der Replikate entscheidend: Erst ab mehreren Replikaten gelten Service-Level-Vereinbarungen für Leseanfragen, ab einer höheren Zahl auch für Schreibvorgänge. Die genauen Bedingungen stehen in den aktuellen SLA-Dokumenten. Wichtig für die Planung ist außerdem, dass ein Wechsel der Tarifstufe lange Zeit nicht ohne Weiteres möglich war und häufig einen neuen Suchdienst samt Neuaufbau der Indizes erforderte. Microsoft hat hier zwar nachgebessert, dennoch gilt: Die Tarifstufe sollte mit Blick auf das erwartete Wachstum gewählt werden, nicht nur auf den Prototyp. Für Vektorinhalte gelten zusätzlich eigene Speicherkontingente je Partition, die bei RAG-Projekten oft früher zum Engpass werden als der klassische Indexspeicher.

Positionierung im Azure- und Foundry-Ökosystem

Microsoft positioniert Azure AI Search als zentrale Wissens- und Retrieval-Schicht für KI-Anwendungen auf Azure. In Microsoft Foundry, der Entwicklungsplattform für KI-Anwendungen und Agenten (früher Azure AI Studio beziehungsweise Azure AI Foundry), ist der Dienst als Wissensquelle für Agenten und Prompt-Flows angebunden. Azure OpenAI nutzt ihn als Datenbasis für Chat-Szenarien auf eigenen Daten. Copilot Studio kann einen Azure-AI-Search-Index als Wissensquelle für selbst gebaute Copilots einbinden. Hinzu kommen Verbindungen zu Microsoft Fabric und OneLake für analytische Daten.
Diese Positionierung hat zwei Seiten. Einerseits sinkt der Integrationsaufwand erheblich, weil viele Bausteine aufeinander abgestimmt sind und sich in Assistenten der Portale zusammenklicken lassen. Andererseits wächst die Abhängigkeit vom Microsoft-Ökosystem: Produktnamen, Vorschaufunktionen und empfohlene Architekturen ändern sich in kurzen Abständen, und manche Funktionen sind zunächst nur in ausgewählten Regionen verfügbar. Wer langfristig plant, sollte die eigene Anwendungslogik so gestalten, dass das Retrieval hinter einer klaren Schnittstelle liegt und notfalls austauschbar bleibt.
Kein Self-Hosting

Anders als Elasticsearch, Qdrant oder pgvector gibt es Azure AI Search ausschließlich als Cloud-Dienst in Microsoft-Rechenzentren. Eine Installation im eigenen Rechenzentrum oder bei einem deutschen Hoster ist nicht vorgesehen. Für Organisationen mit strikten Souveränitätsanforderungen ist das ein zentrales Auswahlkriterium, das früh im Projekt geklärt werden sollte.

Kapitel 03 · Funktionsumfang

Indizes, Indexer, Skillsets und Hybridsuche mit semantischem Ranking

Azure AI Search besteht aus wenigen Kernbausteinen, die sich flexibel kombinieren lassen. Wer sie kennt, kann Architekturentscheidungen besser einschätzen und versteht, wo die Qualitätshebel eines RAG-Systems liegen.

Indizes, Indexer und Skillsets: das Datenmodell

Der Index ist das Herzstück. Er entspricht grob einer Tabelle mit einem festen Schema aus Feldern. Für jedes Feld wird festgelegt, ob es durchsuchbar, filterbar, sortierbar, facettierbar oder abrufbar ist und welcher Sprachanalysator verwendet wird. Neben Text-, Zahlen-, Datums- und Geofeldern gibt es Vektorfelder, in denen Embeddings mit einer festgelegten Dimension abgelegt werden. Ein einzelnes Dokument im Index kann mehrere Vektorfelder tragen, etwa für Titel und Inhalt oder für Text und Bild.
Indexer sind automatisierte Ingest-Prozesse. Sie verbinden sich mit einer Datenquelle, lesen neue und geänderte Inhalte, extrahieren Text aus Formaten wie PDF, Office-Dokumenten oder HTML und schreiben die Ergebnisse in den Index. Indexer lassen sich zeitgesteuert ausführen und erkennen bei vielen Quellen Änderungen und Löschungen. Alternativ können Anwendungen Dokumente über die Push-API selbst in den Index schreiben, was mehr Kontrolle erlaubt und für Quellen ohne fertigen Konnektor nötig ist.
Skillsets definieren Anreicherungsschritte, die ein Indexer auf jedes Dokument anwendet. Dazu gehören Texterkennung in gescannten Dokumenten und Bildern, Spracherkennung, Extraktion von Entitäten und Schlüsselbegriffen, das Zerlegen langer Texte in Abschnitte, die Analyse von Dokumentlayouts und die Erzeugung von Embeddings über angebundene Modelle. Über benutzerdefinierte Skills lassen sich eigene Funktionen, etwa eine Azure Function oder ein beliebiger Webdienst, in die Verarbeitung einhängen. Skillsets sind damit eine Art Ingest-Pipeline innerhalb des Dienstes. Kosten für angebundene KI-Dienste wie Texterkennung oder Embedding-Modelle fallen dabei gesondert an.

Volltext-, Vektor- und Hybridsuche

Die Volltextsuche basiert auf einem invertierten Index und einem BM25-Bewertungsverfahren. Sprachanalysatoren sorgen dafür, dass etwa deutsche Wortformen und Komposita sinnvoll behandelt werden; ergänzend gibt es unscharfe Suche, Phrasensuche, Synonymlisten und Bewertungsprofile, mit denen bestimmte Felder oder aktuelle Dokumente höher gewichtet werden. Für exakte Begriffe wie Artikelnummern, Fehlercodes oder Normbezeichnungen ist diese Suche nach wie vor unschlagbar.
Die Vektorsuche arbeitet mit Embeddings und findet inhaltlich ähnliche Abschnitte, auch wenn sie andere Wörter verwenden. Azure AI Search nutzt dafür den HNSW-Algorithmus für schnelle, näherungsweise Suche sowie eine exhaustive Suche für exakte Ergebnisse auf kleineren Datenmengen oder zur Qualitätsmessung. Zur Speicheroptimierung stehen Komprimierungsverfahren wie skalare und binäre Quantisierung sowie schmalere Datentypen zur Verfügung; die Originalvektoren können für ein präzises Nachbewerten erhalten bleiben. Diese Optionen haben direkte Auswirkungen auf Kosten, weil Vektorspeicher je Partition begrenzt ist.
Die Hybridsuche führt beide Verfahren in einer Anfrage parallel aus und verschmilzt die Ergebnislisten mit Reciprocal Rank Fusion. So werden sowohl Umschreibungen als auch exakte Begriffe gefunden. Für die meisten RAG-Szenarien im Unternehmensumfeld empfiehlt Microsoft selbst die Hybridsuche als Ausgangspunkt, und unsere Projekterfahrung bestätigt das: Reine Vektorsuche verliert bei technischen Inhalten mit vielen Kennzeichen und Nummern regelmäßig relevante Treffer.

Semantisches Ranking, Filter und Facetten

Das semantische Ranking ist ein zusätzlicher Schritt nach der eigentlichen Suche. Ein von Microsoft betriebenes Sprachmodell bewertet die besten Kandidaten der Hybridsuche erneut im Hinblick auf die Frage und sortiert sie neu. Optional werden semantische Auszüge und kurze Antworten hervorgehoben. In der Praxis verbessert dieser Reranking-Schritt die Qualität der obersten Treffer oft spürbar – genau jener Treffer, die an das Sprachmodell weitergegeben werden. Das semantische Ranking wird gesondert abgerechnet, ist nicht in jeder Tarifstufe und Region gleichermaßen verfügbar und sollte deshalb vorab geprüft werden.
Filter schränken die Ergebnismenge über strukturierte Felder ein, etwa nach Dokumenttyp, Abteilung, Sprache, Gültigkeitsdatum oder Berechtigungsgruppe. Sie werden mit einer an OData angelehnten Syntax formuliert und lassen sich mit Vektorabfragen kombinieren, wahlweise vor oder nach der Vektorsuche. Facetten liefern Zählungen je Feldwert und sind die Grundlage für klassische Such-Oberflächen mit Filterleisten. Für RAG sind Facetten weniger wichtig, für Unternehmenssuchen mit menschlichen Nutzern dagegen sehr. Die Kombination aus Facetten, Filtern und KI-Antworten macht Azure AI Search attraktiv für Projekte, die eine klassische Intranetsuche und einen Chat-Assistenten auf derselben Datenbasis betreiben wollen.
Baustein Zweck Praxisnutzen im RAG
Index Schema mit Text-, Meta- und Vektorfeldern Gemeinsame Basis für Suche und Chat
Indexer Automatisierte Datenaufnahme aus Quellen Aktualität ohne eigene Ingest-Software
Skillset Anreicherung, Chunking, Vektorisierung OCR, Layout, Embeddings im Ingest
Hybridsuche BM25 und Vektoren mit Fusion Treffer bei Fachbegriffen und Umschreibungen
Semantisches Ranking KI-gestützte Neusortierung Bessere Top-Treffer für das Sprachmodell
Filter & Facetten Strukturierte Einschränkung Berechtigungen, Gültigkeit, Navigation
Kapitel 04 · KI-Funktionen

Integrierte Vektorisierung, Agentic Retrieval und der Bezug zu Copilot

In den vergangenen Jahren hat Microsoft Azure AI Search konsequent zur RAG-Plattform ausgebaut. Mehrere Funktionen nehmen Entwicklern heute Arbeit ab, die früher in eigener Software gelöst werden musste. Gleichzeitig ist die Begriffswelt unübersichtlich geworden – dieses Kapitel ordnet sie ein.

Integrierte Vektorisierung

Ursprünglich mussten Anwendungen Embeddings selbst erzeugen und fertige Vektoren in den Index schreiben. Mit der integrierten Vektorisierung übernimmt Azure AI Search diese Aufgabe. Beim Ingest zerlegt ein Skill die Dokumente in Abschnitte und ruft ein angebundenes Embedding-Modell auf, etwa aus Azure OpenAI oder dem Foundry-Modellkatalog. Bei der Abfrage wandelt ein im Index hinterlegter Vektorisierer die Nutzerfrage automatisch in einen Vektor um. Die Anwendung kann damit einfach Text senden und erhält Hybrid-Ergebnisse zurück, ohne sich um Embeddings kümmern zu müssen.
Ein Assistent im Azure-Portal führt durch die Einrichtung: Datenquelle wählen, Embedding-Modell verbinden, Chunking festlegen, fertig ist ein vektorisierter Index mit Indexer und Skillset. Für Prototypen ist das ein enormer Zeitgewinn. Für den Produktivbetrieb lohnt sich dennoch ein genauer Blick auf die erzeugten Artefakte. Die Standard-Chunking-Einstellungen sind ein guter Anfang, aber nicht für jedes Dokumentformat optimal. Layout-bewusstes Zerlegen, das Überschriften und Tabellen berücksichtigt, liefert bei strukturierten Handbüchern oder Normen oft deutlich bessere Ergebnisse. Außerdem gilt: Wer das Embedding-Modell später wechselt, muss den Index neu aufbauen – das sollte von Anfang an eingeplant werden.

Agentic Retrieval: Suche für KI-Agenten

Klassisches RAG schickt eine Nutzerfrage unverändert als Suchanfrage an den Index. Bei komplexen Fragen mit mehreren Teilaspekten oder bei Gesprächsverläufen, in denen sich die aktuelle Frage auf frühere Antworten bezieht, stößt dieser Ansatz an Grenzen. Mit Agentic Retrieval hat Microsoft ein Verfahren eingeführt, bei dem ein Sprachmodell die Frage samt Gesprächskontext analysiert, in mehrere gezielte Teilanfragen zerlegt, diese parallel als Hybridsuchen mit semantischem Ranking ausführt und die Ergebnisse zu einem strukturierten Kontext zusammenführt. Das Ziel ist eine höhere Trefferquote bei komplexen Fragen und eine bessere Grundlage für KI-Agenten.
Organisatorisch wird dieses Verfahren über eigene Objekte im Suchdienst konfiguriert, die Microsoft im Lauf der Entwicklung unterschiedlich benannt hat, zuletzt im Umfeld von Wissensquellen und Wissensbasen. Mehrere Indizes und auch externe Quellen können so zu einer gemeinsamen Wissensbasis zusammengefasst werden, die Agenten in Foundry abfragen. Viele dieser Funktionen befanden sich längere Zeit in der Vorschau; ihr Status, ihre Regionsverfügbarkeit und ihr Kostenmodell – es entstehen zusätzliche Kosten für die Planung durch das Sprachmodell – sind vor einem produktiven Einsatz beim Anbieter zu prüfen. Für einfache Frage-Antwort-Szenarien ist klassische Hybridsuche oft weiterhin ausreichend und günstiger.

Azure OpenAI „On your data“ und der Bezug zu Copilot

Über die Funktion Azure OpenAI „On your data“ ließ sich ein Chat-Modell ohne eigene Retrieval-Logik direkt mit einem Azure-AI-Search-Index verbinden. Das Modell suchte selbstständig im Index und antwortete mit Quellenverweisen. Für schnelle Demonstratoren war das sehr attraktiv. Microsoft richtet Neuentwicklungen inzwischen jedoch stärker auf Agenten in Foundry und auf Agentic Retrieval aus; den aktuellen Status und empfohlene Migrationspfade für „On your data“ sollte man daher vor einem Neuprojekt beim Anbieter prüfen. Unabhängig davon gilt: Produktionsreife Anwendungen profitieren meist davon, Abfragelogik, Filter und Prompt-Gestaltung selbst zu kontrollieren.
Häufig missverstanden wird der Bezug zu Microsoft 365 Copilot. Der Copilot in Word, Outlook oder Teams greift auf Inhalte aus Microsoft 365 über Microsoft Graph und einen eigenen semantischen Index zu – nicht über einen Azure-AI-Search-Dienst des Kunden. Wer Copilot erweitern möchte, nutzt Graph-Konnektoren oder baut eigene Agenten in Copilot Studio. Genau dort kommt Azure AI Search ins Spiel: Ein eigener Index kann als Wissensquelle für einen Copilot-Studio-Agenten dienen, etwa um Inhalte aus einem ERP-Export, einer technischen Dokumentation oder einer Datenbank zugänglich zu machen, die nicht in Microsoft 365 liegen. Azure AI Search ist damit kein Ersatz für Copilot, sondern ein Baustein für eigene, präziser kontrollierte Assistenten.
Vorschau ist nicht Produktion

Microsoft veröffentlicht neue Funktionen häufig zunächst als Vorschau mit eigener API-Version. Vorschaufunktionen können sich ändern, unterliegen teils anderen Vertragsbedingungen und sind nicht immer in allen Regionen verfügbar. Für produktive Systeme empfehlen wir, auf allgemein verfügbare Funktionen und API-Versionen zu setzen und Vorschaufunktionen gezielt in separaten Umgebungen zu erproben.

Kapitel 05 · Integrationen & Ökosystem

SharePoint, Blob, SQL, Cosmos DB, OneLake – und offene Frameworks

Ein wesentlicher Grund für die Verbreitung von Azure AI Search sind die fertigen Anbindungen an Datenquellen. Wer seine Daten bereits in Azure oder Microsoft 365 hält, kommt mit wenig eigenem Code zu einem durchsuchbaren Index. Die Tiefe der Anbindungen ist allerdings unterschiedlich.

Datenquellen im Microsoft-Ökosystem

Die ausgereiftesten Indexer gibt es für Azure Blob Storage und Azure Data Lake Storage. Sie sind die übliche Landezone für Dokumente aller Art, von PDF-Handbüchern über Office-Dateien bis zu Bildern. Ebenfalls etabliert sind Indexer für Azure SQL und SQL Server auf Azure-VMs sowie für Azure Cosmos DB, mit denen strukturierte Daten aus Fachanwendungen in den Index gelangen. Auch Azure Table Storage und Azure Files lassen sich anbinden. Änderungserkennung, Löschbehandlung und Zeitplanung funktionieren je nach Quelle unterschiedlich gut und sollten im Detail getestet werden.
Für SharePoint Online bietet Microsoft einen Indexer, der Dokumentbibliotheken direkt einliest. Er war längere Zeit als Vorschau gekennzeichnet und hat Einschränkungen, etwa bei der Übernahme von Berechtigungen und bei sehr großen Bibliotheken. Viele Projekte nutzen deshalb einen Zwischenschritt: Dokumente werden über Power Automate, Logic Apps oder eigene Synchronisationsdienste nach Blob Storage kopiert und von dort indexiert. Neuere Ansätze im Umfeld von Agentic Retrieval erlauben zudem, SharePoint-Inhalte zur Abfragezeit über Microsoft-Schnittstellen einzubeziehen, statt sie vollständig zu kopieren. Welche Variante sinnvoll ist, hängt stark vom Berechtigungsmodell ab – dazu mehr in Kapitel 07.
Mit Microsoft Fabric und OneLake wächst eine weitere Quelle. Ein OneLake-Indexer liest Dateien aus Lakehouses, sodass analytische Datenbestände und Dokumente aus der Datenplattform direkt in RAG-Szenarien nutzbar werden. Für Unternehmen, die Fabric als zentrale Datenplattform aufbauen, entsteht so eine durchgängige Kette vom Datenbestand bis zum KI-Assistenten. Auch hier gilt: Status und Funktionsumfang der Anbindung vor Projektbeginn beim Anbieter prüfen.

Frameworks, SDKs und Orchestrierung

Für Entwickler stehen eine REST-API und offizielle SDKs für .NET, Python, Java und JavaScript/TypeScript bereit. Darüber hinaus ist Azure AI Search als Vektorspeicher in allen relevanten Orchestrierungs-Frameworks integriert: LangChain, LlamaIndex, Microsofts eigenes Semantic Kernel sowie das neuere Microsoft Agent Framework, außerdem Haystack und Spring AI. Für Low-Code-Szenarien bieten Power Platform und Logic Apps Konnektoren, und über das Model Context Protocol lassen sich Suchindizes auch an KI-Assistenten außerhalb des Microsoft-Ökosystems anbinden.
Wie bei anderen Suchsystemen gilt: Basisfunktionen wie Dokumente schreiben, Vektorsuche und einfache Filter sind in den Frameworks überall verfügbar. Spezialfunktionen wie semantisches Ranking, Bewertungsprofile, mehrere Vektorfelder oder Agentic Retrieval werden nicht in jedem Framework vollständig abgebildet. In anspruchsvollen Projekten formulieren wir kritische Abfragen deshalb direkt über das offizielle SDK und nutzen Frameworks nur für die Orchestrierung des Gesamtablaufs.
Ebene Typische Anbindung Bemerkung
Dokumente Blob Storage, Data Lake, Azure Files Ausgereifte Indexer, Standard-Landezone
Microsoft 365 SharePoint Online, Copilot Studio Berechtigungen und Status genau prüfen
Strukturierte Daten Azure SQL, Cosmos DB, Table Storage Änderungserkennung je Quelle unterschiedlich
Datenplattform Fabric, OneLake Brücke zwischen Analytics und RAG
Frameworks LangChain, LlamaIndex, Semantic Kernel Basis überall, Spezialfunktionen variieren
Modelle Azure OpenAI, Foundry-Modellkatalog Für Embeddings und Agentic Retrieval
Kapitel 06 · Abgrenzung

Azure AI Search vs. Elasticsearch, Qdrant, Weaviate, pgvector und Vertex AI Search

Azure AI Search konkurriert gleichzeitig mit klassischen Suchmaschinen, spezialisierten Vektordatenbanken und den Retrieval-Diensten anderer Hyperscaler. Die richtige Wahl hängt stärker von Cloud-Strategie, Datenlage und Souveränitätsanspruch ab als von Benchmark-Tabellen. Die folgende Übersicht ist herstellerneutral und qualitativ.

Kriterium Azure AI Search Elasticsearch Qdrant / Weaviate pgvector Vertex AI Search
Typ Gemanagter Suchdienst Suchmaschine Dedizierte Vektor-DB PostgreSQL-Erweiterung Gemanagter Suchdienst
Self-Hosting nicht möglich möglich einfach wie Postgres nicht möglich
Anbietersitz USA USA / Niederlande Deutschland / Niederlande Community-Projekt USA
Hybridsuche nativ nativ nativ mit Zusatzaufwand integriert
Fertige Konnektoren Azure & M365 über Ökosystem extern extern Google Cloud
Typisches Profil RAG im Microsoft-Stack Volltext, Logs, Suche Souveränität, Effizienz Bestehender Postgres-Stack RAG im Google-Stack

Elasticsearch und Vertex AI Search: die direkten Plattform-Konkurrenten

Elasticsearch ist das funktional ähnlichste Produkt. Auch hier treffen eine ausgereifte Volltextsuche, Vektorfelder, Hybridsuche und eigene semantische Modelle aufeinander. Der wesentliche Unterschied liegt im Betriebsmodell: Elasticsearch lässt sich selbst betreiben, im eigenen Rechenzentrum oder bei einem deutschen Hoster, und ist zusätzlich als gemanagter Dienst bei verschiedenen Cloud-Anbietern verfügbar, darunter auch auf Azure. Elasticsearch ist flexibler und offener, verlangt aber mehr Betriebs-Know-how. Azure AI Search ist enger begrenzt, dafür sofort einsatzbereit und mit Azure-Quellen tiefer verdrahtet. Für Unternehmen mit bestehender Elastic-Expertise oder mit Logging- und Observability-Workloads auf Elastic ist es oft sinnvoll, auch die RAG-Suche dort zu bündeln.
Vertex AI Search von Google Cloud ist das Gegenstück im Google-Ökosystem. Es setzt noch stärker auf eine fertige Lösung: Datenquelle verbinden, Suchanwendung oder Antwortmaschine erhalten, mit deutlich weniger Stellschrauben im Detail. Die Plattformwahl folgt hier in aller Regel der Cloud-Strategie. Wer auf Microsoft 365 und Azure setzt, wird mit Azure AI Search reibungsloser arbeiten; wer Google Workspace und Google Cloud nutzt, findet in Vertex AI Search das naheliegendere Werkzeug. Beide Dienste stammen von US-Anbietern und werfen dieselben grundsätzlichen Datenschutzfragen auf. Ähnlich gelagert ist im Übrigen Amazon Kendra beziehungsweise der Einsatz von OpenSearch auf AWS.

Qdrant, Weaviate und pgvector: die offenen Alternativen

Qdrant und Weaviate sind dedizierte, quelloffene Vektordatenbanken mit europäischen Wurzeln. Sie bieten Hybridsuche, ausgefeilte Filter, Quantisierung und Multivektor-Funktionen und lassen sich vollständig selbst betreiben – vom einzelnen Container bis zum Cluster. Was ihnen im Vergleich zu Azure AI Search fehlt, sind fertige Konnektoren zu Unternehmensquellen und ein integriertes semantisches Ranking als Dienst. Datenaufnahme, Chunking und Reranking werden in der Anwendung oder mit zusätzlichen Werkzeugen gelöst. Dafür gewinnt man Souveränität, Portabilität und häufig ein günstigeres Kostenprofil bei kleineren Datenmengen.
pgvector ist eine Erweiterung für PostgreSQL und damit der Gegenpol zu einer eigenständigen Suchplattform. Vektoren liegen dort, wo die Geschäftsdaten ohnehin liegen, Berechtigungen und Transaktionen funktionieren wie gewohnt. Für moderate Datenmengen und Teams mit Postgres-Erfahrung ist das oft der pragmatischste Weg – auch auf Azure, denn Azure Database for PostgreSQL unterstützt die Erweiterung. Bei anspruchsvoller Hybridsuche, Ranking-Qualität und großem Dokumentbestand bietet Azure AI Search dagegen deutlich mehr Komfort.
Die Kernbotschaft: Azure AI Search ist nicht pauschal die beste Retrieval-Lösung, aber im Microsoft-Ökosystem eine der bequemsten und vollständigsten. Je stärker Souveränität, Portabilität und Kostenkontrolle bei kleinen Beständen gewichtet werden, desto attraktiver werden die offenen Alternativen. Je wichtiger fertige Konnektoren, semantisches Ranking und minimaler Betriebsaufwand sind, desto stärker spricht vieles für den gemanagten Dienst.
Kapitel 07 · Einführung & Betrieb

Kapazitätsplanung, Sicherheit und Netzwerkisolation

Ein Suchdienst in Azure ist in wenigen Minuten angelegt. Ein sicherer, wirtschaftlicher und wartbarer Produktivbetrieb erfordert dennoch Planung – vor allem bei Tarifstufe, Identitäten, Netzwerk und dokumentbezogenen Berechtigungen.

01
Prototyp mit echten Daten
Start in einer Entwicklungs-Subscription mit kleiner Tarifstufe, einer repräsentativen Dokumentauswahl und realistischen Testfragen. Ziel ist es, Chunking, Embedding-Modell, Hybridsuche und semantisches Ranking anhand messbarer Trefferqualität zu bewerten.
02
Kapazität und Tarifstufe planen
Abschätzen von Dokumentanzahl, Abschnitten, Vektordimension, Komprimierung und Abfragevolumen. Daraus Ableitung von Tarifstufe, Partitionen und Replikaten mit Blick auf Wachstum, Verfügbarkeitsziele und Vektorkontingente.
03
Identitäten und Netzwerk absichern
Umstellung von API-Schlüsseln auf Microsoft Entra ID und rollenbasierte Zugriffe, Einsatz verwalteter Identitäten für Indexer, Abschottung über Private Endpoints und gemeinsam genutzte private Verbindungen zu Datenquellen.
04
Berechtigungen und Monitoring
Umsetzung dokumentbezogener Berechtigungen über Sicherheitsfilter oder native Zugriffslisten, Anbindung an Azure Monitor und Log Analytics, Alarme für Indexer-Fehler, Latenz und Drosselung.
05
Infrastruktur als Code und Iteration
Indizes, Indexer und Skillsets als Code versionieren und per Bicep, Terraform oder Pipelines ausrollen. Modellwechsel über parallele Indizes und Aliase umsetzen, Qualität laufend mit einem festen Fragenkatalog messen.

Kapazitätsplanung und Kostensteuerung im Betrieb

Die häufigste Fehleinschätzung betrifft den Vektorspeicher. Jede Tarifstufe stellt pro Partition nur einen Teil des Speichers für Vektorindizes bereit. Bei RAG-Projekten mit vielen kleinen Abschnitten und hochdimensionalen Embeddings ist dieses Kontingent oft schneller erschöpft als der übrige Speicher. Komprimierung über Quantisierung, schmalere Datentypen, der Verzicht auf das Speichern abrufbarer Vektorkopien und eine bewusste Wahl der Embedding-Dimension können den Bedarf erheblich senken. Diese Entscheidungen sollten vor dem Produktivgang getroffen werden, da sie meist einen Neuaufbau des Index erfordern.
Für die Leistungsplanung gilt: Mehr Replikate erhöhen Durchsatz und Verfügbarkeit, mehr Partitionen erhöhen Speicher und können bei großen Indizes auch Abfragen beschleunigen. Indexer laufen auf denselben Ressourcen wie Suchanfragen, große Erstindizierungen können daher den Betrieb spürbar belasten und sollten außerhalb der Hauptnutzungszeiten erfolgen. Microsoft stellt Metriken zu Latenz, Abfragen pro Sekunde und gedrosselten Anfragen bereit; ein Lasttest mit realistischen Fragen ist trotzdem durch nichts zu ersetzen.

Sicherheit: Entra ID, Private Endpoints und Berechtigungen

Neu angelegte Suchdienste sind standardmäßig über einen öffentlichen Endpunkt mit API-Schlüsseln erreichbar. Für den Produktivbetrieb empfehlen wir, auf Microsoft Entra ID mit rollenbasierter Zugriffssteuerung umzustellen und Schlüssel nach Möglichkeit ganz zu deaktivieren. Anwendungen und Indexer authentifizieren sich dann über verwaltete Identitäten, wodurch keine Geheimnisse im Code oder in Konfigurationsdateien liegen. Eingebaute Rollen trennen Verwaltung, Indexpflege und reinen Lesezugriff sauber voneinander.
Auf Netzwerkebene lässt sich der Suchdienst über Private Endpoints in ein virtuelles Netzwerk einbinden und der öffentliche Zugriff vollständig abschalten. Damit Indexer trotzdem auf ebenfalls abgeschottete Quellen wie Storage-Konten oder Datenbanken zugreifen können, nutzt man gemeinsam genutzte private Verbindungen. Daten werden im Ruhezustand verschlüsselt; auf Wunsch mit kundenseitig verwalteten Schlüsseln aus Azure Key Vault. Diese Konfiguration ist aufwendiger, gehört aber zum Standard, sobald vertrauliche Unternehmensdaten verarbeitet werden. Einige Funktionen, etwa bestimmte Skills oder Vorschaufunktionen, haben in vollständig isolierten Netzwerken Einschränkungen, die man im Architekturentwurf berücksichtigen sollte.
Die anspruchsvollste Frage ist die nach dokumentbezogenen Berechtigungen. Azure AI Search kennt keine Benutzerkonten für Endnutzer. Klassisch wird die Sichtbarkeit über Sicherheitsfilter gelöst: Jedes Dokument trägt die Gruppen, die es sehen dürfen, und die Anwendung filtert bei jeder Abfrage nach den Gruppen des angemeldeten Nutzers. Microsoft hat ergänzend Funktionen eingeführt, um Zugriffslisten aus Quellen wie Data Lake Storage oder SharePoint zu übernehmen und Abfragen anhand des Nutzer-Tokens automatisch zu beschneiden. Ob diese Mechanismen für den eigenen Fall ausgereift genug sind und wie aktuell die übernommenen Rechte bleiben, muss im Projekt sorgfältig geprüft werden. Ein RAG-Assistent, der Gehaltslisten an die falschen Personen zitiert, ist das größte Risiko jeder Einführung.
Stärken
  • Vollständig gemanagt, keine Server, Patches oder Cluster-Pflege
  • Entra ID, verwaltete Identitäten und rollenbasierte Rechte integriert
  • Private Endpoints und kundenseitige Schlüssel für Isolation
  • Fertige Indexer reduzieren eigenen Ingest-Code
  • Monitoring über Azure Monitor und Log Analytics
Einschränkungen
  • Kein Self-Hosting, feste Bindung an Azure
  • Grundkosten durch dauerhaft bereitgestellte Sucheinheiten
  • Vektorkontingente je Partition werden oft unterschätzt
  • Dokumentbezogene Berechtigungen erfordern sorgfältiges Design
  • Viele neue Funktionen zunächst als Vorschau und regional begrenzt
Kapitel 08 · Einsatz im Mittelstand

Azure AI Search im Microsoft-365-Mittelstand

Viele mittelständische Unternehmen im DACH-Raum arbeiten längst mit Microsoft 365, Teams und SharePoint, oft auch mit ersten Azure-Ressourcen. Für sie stellt sich weniger die Frage, ob Azure AI Search technisch passt, sondern wo es gegenüber Copilot oder offenen Alternativen echten Mehrwert schafft.

Der gemeinsame Ausgangspunkt ist fast immer derselbe: Wissen liegt verstreut in SharePoint-Bibliotheken, Netzlaufwerken, ERP- und CRM-Systemen, Ticketsystemen und E-Mail-Postfächern. Microsoft 365 Copilot deckt die Inhalte aus Microsoft 365 gut ab, stößt aber an Grenzen, wenn Fachsysteme, strukturierte Daten oder sehr spezifische Fragestellungen ins Spiel kommen. Hier entsteht der typische Einsatzbereich für Azure AI Search: eigene Assistenten und Suchanwendungen, die gezielt bestimmte Wissensbestände erschließen, mit kontrollierter Retrieval-Logik und nachvollziehbaren Quellen.

Typische Anwendungsfälle

Richtlinien- & Prozessassistent

Ein Assistent in Teams beantwortet Fragen zu Arbeitsanweisungen, Qualitätsmanagement und Personalrichtlinien aus SharePoint – mit Quellenangabe und Gruppenfilter je Abteilung.

Weniger Rückfragen
Technische Dokumentation & Service

Servicetechniker durchsuchen Handbücher, Schaltpläne und Störungsberichte. Hybridsuche findet Fehlercodes exakt, semantisches Ranking ordnet frei beschriebene Symptome passend ein.

Schnellere Fehlerbehebung
Produkt- & Ersatzteilsuche

Artikel aus ERP-Exporten in Azure SQL werden mit Beschreibungen und Datenblättern verknüpft. Vertrieb und Kunden finden Teile über Eigenschaften statt Nummern, mit Facetten nach Kategorie.

Höhere Trefferquote
Angebots- & Vertragsrecherche

Frühere Angebote, Ausschreibungen und Vertragsklauseln werden über inhaltliche Nähe gefunden. Private Endpoints und strikte Gruppenfilter halten sensible Inhalte im geschützten Bereich.

Schnellere Angebote
Kundenservice & Ticketing

Neue Anfragen werden mit gelösten Tickets und Wissensartikeln abgeglichen. Antwortvorschläge erscheinen direkt im Helpdesk oder in einem Copilot-Studio-Agenten.

Kürzere Bearbeitung
Wissensbasis für Agenten

Agenten in Foundry oder Copilot Studio greifen über eine gemeinsame Wissensbasis auf mehrere Indizes zu und erledigen mehrstufige Aufgaben auf Basis geprüfter Unternehmensdaten.

Zukunftsfähige Basis

Eine realistische Referenzarchitektur für M365-Umgebungen

Ein typisches Mittelstandsprojekt sieht in unserer Praxis etwa so aus: Relevante SharePoint-Bibliotheken werden entweder direkt indexiert oder über einen Synchronisationsprozess in ein Storage-Konto in einer EU-Region gespiegelt, ergänzt um Exporte aus ERP- oder Ticketsystemen in Azure SQL. Ein Indexer mit Skillset extrahiert Text, berücksichtigt das Dokumentlayout, zerlegt Inhalte in Abschnitte und erzeugt Embeddings über ein Modell in derselben Region. Der Index enthält neben Text und Vektoren Felder für Quelle, Datum, Sprache und Berechtigungsgruppen. Eine schlanke Anwendung – häufig ein Teams-Bot, eine interne Web-App oder ein Copilot-Studio-Agent – meldet Nutzer über Entra ID an, führt eine Hybridsuche mit semantischem Ranking und Gruppenfilter aus und übergibt die besten Abschnitte an ein Sprachmodell. Die Antwort enthält Verweise auf die Originaldokumente in SharePoint.
Diese Architektur nutzt vorhandene Lizenzen, Identitäten und Sicherheitsmechanismen weiter und fügt sich in bestehende Betriebsprozesse der IT ein. Gerade für IT-Abteilungen, die ohnehin Azure-Ressourcen verwalten, ist das ein erheblicher Vorteil gegenüber dem Aufbau einer zusätzlichen, selbst betriebenen Plattform.

Der ehrliche Blick auf Aufwand und Nutzen

So komfortabel der Dienst ist: Azure AI Search ist selten der Engpass eines RAG-Projekts. Die größten Qualitätshebel liegen in der Datenaufbereitung, im Chunking, in sauberen Metadaten, im Berechtigungskonzept und in einer kontinuierlichen Evaluierung. Wer zudem bereits Microsoft 365 Copilot lizenziert hat, sollte zunächst prüfen, welche Fragen damit schon gut beantwortet werden, bevor ein eigenes System entsteht. Eigene Lösungen lohnen sich besonders dort, wo Fachsysteme, präzise Steuerung oder spezielle Nutzergruppen im Spiel sind. Mit einem klar umrissenen Anwendungsfall zu starten, die Qualität anhand realer Testfragen zu messen und dann schrittweise zu erweitern, führt erfahrungsgemäß deutlich schneller zu belastbaren Ergebnissen als eine große Plattforminitiative.
Konkrete Preise nennen wir bewusst nicht

Der Aufwand für ein RAG-Projekt mit Azure AI Search hängt stark von Datenlage, Quellsystemen, Berechtigungsmodell, Netzwerkanforderungen und Tarifstufe ab. Pauschale Festpreise wären irreführend. Was wir verlässlich anbieten: einen kompakten Discovery-Workshop, in dem wir Ihre Ausgangslage analysieren, Azure AI Search herstellerneutral gegen Alternativen bewerten und einen transparenten Umsetzungsweg schätzen.

Kapitel 09 · Kosten & DSGVO

Kostenmodell, EU-Regionen und die Frage nach dem US-Anbieter

Für Unternehmen im DACH-Raum sind Kosten und Datenschutz bei Azure AI Search eng miteinander verknüpft. Der Dienst lässt sich in deutschen und europäischen Rechenzentren betreiben, bleibt aber ein Angebot eines US-Konzerns. Beides muss nüchtern bewertet werden.

Keine Rechtsberatung

Die folgenden Ausführungen sind eine praxisorientierte Einordnung aus IT- und Projektsicht – keine Rechtsberatung. Für die rechtssichere Bewertung Ihres konkreten Einsatzes, für Auftragsverarbeitungsverträge, Datenschutz-Folgenabschätzungen und die Bewertung von Drittlandtransfers ziehen Sie bitte Ihre Datenschutzbeauftragten oder eine spezialisierte Kanzlei hinzu.

EU-Regionen, EU Data Boundary und CLOUD Act

Azure AI Search ist in zahlreichen europäischen Regionen verfügbar, darunter Germany West Central mit Rechenzentren in Frankfurt am Main sowie Regionen wie West Europe und Sweden Central. Indizes, Vektoren und gespeicherte Inhalte liegen in der gewählten Region. Wichtig ist jedoch, die gesamte Kette zu betrachten: Embedding-Modelle, Sprachmodelle, semantisches Ranking und Agentic Retrieval müssen ebenfalls in einer EU-Region beziehungsweise mit EU-Datenverarbeitung betrieben werden. Nicht jede Funktion und nicht jedes Modell ist in jeder Region verfügbar; manche Bereitstellungsarten von Modellen verarbeiten Daten zudem regionsübergreifend. Die Regionsverfügbarkeit sollte deshalb für jede eingesetzte Komponente vorab geprüft werden.
Mit der EU Data Boundary hat Microsoft zugesagt, Kundendaten und personenbezogene Daten für zentrale Cloud-Dienste einschließlich Azure innerhalb der EU und der EFTA zu speichern und zu verarbeiten, mit dokumentierten Ausnahmen etwa für bestimmte Support- und Sicherheitsfälle. Das ist ein relevanter Fortschritt gegenüber früheren Zuständen. Microsoft ist darüber hinaus unter dem EU-US Data Privacy Framework zertifiziert und bietet Standardvertragsklauseln sowie einen Auftragsverarbeitungsvertrag in Form der Data Protection Addendum.
Gleichzeitig bleibt ein struktureller Punkt bestehen: Microsoft ist ein US-Unternehmen und unterliegt dem US CLOUD Act. Dieses Gesetz kann US-Behörden unter bestimmten Voraussetzungen Zugriff auf Daten ermöglichen, die von US-Anbietern kontrolliert werden – unabhängig davon, in welchem Land die Rechenzentren stehen. Microsoft beschreibt in seinen Transparenzberichten und vertraglichen Zusagen, wie mit solchen Anfragen umgegangen wird. Ob das für die eigenen Daten ein akzeptables Restrisiko darstellt, ist eine Abwägung, die Unternehmen gemeinsam mit ihren Datenschutzbeauftragten treffen müssen. Für viele allgemeine Geschäftsdokumente fällt diese Abwägung positiv aus, für besonders schutzbedürftige Daten wie Gesundheitsdaten, Geschäftsgeheimnisse in sicherheitskritischen Branchen oder Daten öffentlicher Auftraggeber häufig nicht.
Unabhängig vom Anbieter gilt: Vektoren sind keine anonymen Daten. Aus Embeddings lassen sich unter Umständen Rückschlüsse auf die Ursprungstexte ziehen, und Suchindizes enthalten ohnehin meist Klartext. Löschkonzepte, Aufbewahrungsfristen und Berechtigungen müssen deshalb auch für den Suchindex umgesetzt werden – inklusive der Frage, wie schnell Löschungen in der Quelle im Index ankommen.
Empfehlung: EU-Region, durchgängige Kette, dokumentierte Abwägung

Für Unternehmen im Microsoft-Ökosystem empfehlen wir den Betrieb in Germany West Central oder einer anderen EU-Region, mit Embedding- und Sprachmodellen in derselben Region, Entra ID, Private Endpoints und einem dokumentierten Berechtigungskonzept. Das CLOUD-Act-Risiko sollte bewusst bewertet und dokumentiert werden. Für besonders sensible Daten sind selbst betriebene Alternativen auf europäischer Infrastruktur zu prüfen.

Region
Germany West Central oder andere EU-Region
Kette
Embeddings, LLM und Ranking ebenfalls in der EU
Vertrag
DPA, EU Data Boundary und Ausnahmen prüfen
Zugriff
Entra ID, Private Endpoints, Gruppenfilter
Drittland
CLOUD Act als Restrisiko bewerten
Alternative
Self-Hosting mit Qdrant, Weaviate, pgvector, Elasticsearch

Kostenmodell: Grundlast statt reiner Nutzungsabrechnung

Azure AI Search wird im Kern nach bereitgestellten Sucheinheiten pro Stunde abgerechnet. Die Höhe richtet sich nach Tarifstufe sowie nach der Zahl der Replikate und Partitionen. Entscheidend ist: Diese Kosten fallen auch dann an, wenn niemand sucht. Ein Suchdienst ist damit eher mit einer dauerhaft laufenden Datenbank vergleichbar als mit einem nutzungsbasierten Serverless-Dienst. Hinzu kommen nutzungsabhängige Posten: semantisches Ranking ab einem kostenlosen Kontingent, Agentic Retrieval, KI-Anreicherungen wie Texterkennung, Aufrufe von Embedding- und Sprachmodellen, ausgehender Datenverkehr und gegebenenfalls Netzwerkkomponenten wie Private Endpoints. Aktuelle Preise sind beim Anbieter und im Azure-Preisrechner zu prüfen.
Für die Wirtschaftlichkeit ergeben sich daraus einige Faustregeln. Bei kleinen Datenbeständen und wenigen Nutzern kann die Grundlast einer produktiven Tarifstufe im Verhältnis zum Nutzen hoch wirken; hier sind pgvector in einer ohnehin vorhandenen Datenbank oder eine kleine selbst betriebene Vektordatenbank oft günstiger. Mit wachsendem Datenbestand, mehreren Anwendungsfällen auf derselben Plattform und Bedarf an Verfügbarkeit dreht sich das Bild: Dann spart der gemanagte Betrieb interne Personalkosten, Ausfallrisiken und Entwicklungsaufwand für Konnektoren und Ranking. Wer Azure-Reservierungen oder Rahmenverträge mit Microsoft nutzt, sollte prüfen, inwieweit Azure AI Search davon profitiert.

Alternativen für maximale Souveränität

Wenn die Abwägung ergibt, dass ein US-Anbieter für bestimmte Daten nicht in Frage kommt, ist das kein Grund, auf RAG zu verzichten. Selbst betriebene Lösungen wie Qdrant, Weaviate, pgvector oder Elasticsearch lassen sich auf eigener Hardware oder bei deutschen und europäischen Hostern betreiben, kombiniert mit Open-Source-Embedding- und Sprachmodellen. Der Preis dafür ist mehr Eigenleistung bei Ingest, Ranking und Betrieb. In der Praxis sehen wir zunehmend hybride Ansätze: Allgemeine Unternehmensinhalte werden im Microsoft-Ökosystem erschlossen, besonders sensible Bestände in einer souveränen, selbst betriebenen Umgebung.
Kapitel 10 · Häufige Fragen

Häufig gestellte Fragen zu Azure AI Search

Diese Fragen tauchen in unseren Beratungsgesprächen rund um Retrieval, RAG und das Microsoft-Ökosystem am häufigsten auf – kurz und sachlich beantwortet.

Ist Azure AI Search dasselbe wie Azure Cognitive Search?
Ja. Microsoft hat Azure Cognitive Search in Azure AI Search umbenannt. Bestehende Suchdienste, Endpunkte und Indizes laufen unter dem neuen Namen weiter. Seit der Umbenennung wurde der Dienst vor allem um Vektor-, Hybrid- und agentische Retrieval-Funktionen erweitert. In älteren Dokumentationen und Architekturbeispielen taucht noch der frühere Name auf.
Ist Azure AI Search eine Vektordatenbank?
Azure AI Search ist eine Suchplattform, die unter anderem Vektoren speichert und durchsucht. Im Unterschied zu reinen Vektordatenbanken bringt sie zusätzlich Volltextsuche, Sprachanalyse, Facetten, Indexer für Datenquellen und ein semantisches Ranking mit. Für RAG-Anwendungen erfüllt sie die Rolle einer Vektordatenbank vollständig, ist aber breiter aufgestellt.
Kann man Azure AI Search DSGVO-konform nutzen?
Der Dienst lässt sich in EU-Regionen wie Germany West Central betreiben, Microsoft bietet einen Auftragsverarbeitungsvertrag und hat die EU Data Boundary umgesetzt. Microsoft ist jedoch ein US-Anbieter und unterliegt dem CLOUD Act. Ob Ihr konkreter Einsatz DSGVO-konform ist, hängt von der gesamten Verarbeitung ab, einschließlich Modellen, Berechtigungen und Löschprozessen. Die Bewertung gehört in die Hände Ihrer Datenschutzbeauftragten – dies ist keine Rechtsberatung.
Braucht man Azure AI Search, wenn man Microsoft 365 Copilot nutzt?
Nicht zwingend. Microsoft 365 Copilot greift über Microsoft Graph auf Inhalte aus Microsoft 365 zu und benötigt dafür keinen eigenen Suchdienst. Azure AI Search wird relevant, wenn Sie eigene Assistenten mit kontrollierter Retrieval-Logik bauen, Quellen außerhalb von Microsoft 365 einbinden oder einen Copilot-Studio-Agenten mit einer spezialisierten Wissensbasis ausstatten möchten.
Welche Tarifstufe ist für den Einstieg sinnvoll?
Für erste Experimente genügt die kostenlose Stufe, für Pilotprojekte mit echten Daten ist meist Basic oder eine kleine Standard-Stufe sinnvoll. Entscheidend sind Datenmenge, Vektorkontingent, benötigte Funktionen wie semantisches Ranking oder Private Endpoints und das erwartete Wachstum. Da ein Stufenwechsel Aufwand verursachen kann, sollte die Wahl mit Blick auf den Produktivbetrieb erfolgen. Aktuelle Limits und Preise sind beim Anbieter zu prüfen.
Wie werden Berechtigungen aus SharePoint berücksichtigt?
Klassisch speichert man zu jedem Dokument die berechtigten Gruppen im Index und filtert bei jeder Abfrage nach den Gruppen des angemeldeten Nutzers. Microsoft bietet zusätzlich Funktionen, um Zugriffslisten aus bestimmten Quellen zu übernehmen und Ergebnisse anhand des Nutzer-Tokens automatisch zu beschneiden. Reifegrad und Aktualität dieser Rechteübernahme sollten im Projekt sorgfältig getestet werden, bevor vertrauliche Inhalte indexiert werden.
Kann man Azure AI Search selbst hosten?
Nein. Azure AI Search ist ausschließlich als Cloud-Dienst in Microsoft-Rechenzentren verfügbar. Wer eine Lösung im eigenen Rechenzentrum oder bei einem deutschen Hoster benötigt, greift zu Alternativen wie Elasticsearch, OpenSearch, Qdrant, Weaviate oder pgvector und ergänzt Ingest und Reranking über eigene Komponenten oder Frameworks.
Wie starte ich ein erstes Projekt mit Azure AI Search?
Wählen Sie einen klar umrissenen Anwendungsfall mit überschaubarem Dokumentbestand, etwa ein Handbuch oder eine Richtliniensammlung. Legen Sie einen Suchdienst in einer EU-Region an, nutzen Sie den Assistenten für integrierte Vektorisierung und testen Sie Hybridsuche mit semantischem Ranking anhand realistischer Fragen. Messen Sie die Treffergüte, bevor Sie skalieren – und klären Sie Berechtigungen, Netzwerk und Datenschutz, bevor produktive Daten einfließen.

KI-Suche auf Unternehmensdaten aufbauen

Bereit für ein Retrieval, das zu Ihrer IT passt?

Von der herstellerneutralen Bewertung zwischen Azure AI Search und souveränen Alternativen über Index-Design, Hybridsuche und Berechtigungskonzept bis zum sicher betriebenen, datenschutzbewussten RAG-System – INAGRO begleitet Sie auf jedem Schritt. Mit Retrieval-Expertise, Microsoft-Know-how und tiefem Verständnis für den Mittelstand. Pragmatisch, herstellerneutral und mit messbarem Ergebnis.

Seit 2006 am Markt

Erfahrung aus über 100 Digitalprojekten

DSGVO & Souveränität

Datenschutz von Anfang an mitgedacht

Rückmeldung in 24 h

Schnell, direkt, unverbindlich