Der wichtigste Gedanke vorweg: RAG und Fine-Tuning sind keine konkurrierenden Antworten auf dieselbe Frage. Sie beantworten zwei verschiedene Fragen. RAG – Retrieval-Augmented Generation – kümmert sich darum, welches Wissen ein Modell zur Beantwortung einer konkreten Anfrage heranzieht. Fine-Tuning – das gezielte Nachtrainieren eines Modells – verändert dagegen, wie das Modell antwortet: seinen Stil, sein Format, sein Verhalten in wiederkehrenden Aufgaben. Wer die Frage „Was soll das Modell wissen?“ mit „Fine-Tuning“ beantwortet, hat oft schon den ersten Fehler gemacht – und umgekehrt.
Hinzu kommt eine dritte Option, die in der Praxis viel zu selten als vollwertige Strategie behandelt wird: sorgfältiges Prompting und Kontextgestaltung. Bevor ein Unternehmen in eine RAG-Pipeline oder einen Fine-Tuning-Lauf investiert, lohnt fast immer die Frage, wie weit man allein mit gut gebauten Anweisungen, Beispielen und mitgegebenem Kontext kommt. Häufig ist die Antwort: erstaunlich weit. Diese drei Wege – Prompting, RAG und Fine-Tuning – bilden das Werkzeugset, aus dem sich jede sinnvolle Anpassungsstrategie zusammensetzt.
In der Beratungspraxis hilft eine simple Trennung, um Diskussionen zu versachlichen. Die erste Frage lautet: Fehlt dem Modell Wissen? Wenn ein Modell die richtige Antwort nicht geben kann, weil ihm schlicht die Fakten fehlen – Ihre Preisliste, Ihre Prozessdokumentation, der aktuelle Produktkatalog, ein Vertragsstand –, dann ist das ein Wissensproblem. Wissensprobleme löst man am besten, indem man dem Modell das relevante Wissen zur Laufzeit bereitstellt. Genau das ist die Domäne von RAG.
Die zweite Frage lautet: Verhält sich das Modell falsch? Wenn das Modell das nötige Wissen im Prinzip hat, aber im falschen Ton antwortet, das Format nicht trifft, eine bestimmte Klassifikationsaufgabe nicht zuverlässig löst oder eine unternehmensspezifische Denkweise nicht verinnerlicht – dann ist das ein Verhaltensproblem. Verhaltensprobleme lassen sich häufig durch besseres Prompting adressieren; wo das an Grenzen stößt und die Aufgabe hochgradig wiederkehrend ist, kann Fine-Tuning die passende Antwort sein.
Die Entscheidung zwischen den Wegen ist keine reine Ingenieursfrage. Sie hat direkte Folgen für Kosten, Zeit bis zum Ergebnis, Wartbarkeit, Datenschutz und Datenhoheit. Ein Fine-Tuning bindet Sie stärker an ein bestimmtes Modell und erzeugt einen Wartungsaufwand bei jedem Modellwechsel. Eine RAG-Architektur hält Wissen und Modell getrennt und bleibt dadurch flexibler, verlangt aber eine saubere Datenbasis und laufende Pflege. Reines Prompting ist am schnellsten startklar, stößt aber bei großen Wissensmengen und stark spezialisierten Verhaltensmustern an Grenzen.
Deshalb behandeln wir die Frage in diesem Beitrag ausdrücklich als Strategiefrage. Die technische Machbarkeit ist selten das Problem – die Kunst liegt darin, den Weg zu wählen, der zum Anwendungsfall, zum Budget, zur vorhandenen Datenlage und zu den regulatorischen Rahmenbedingungen passt. Dieser Artikel liefert dafür die Landkarte, keine pauschale Empfehlung: Die beste Wahl ist immer die für Ihren konkreten Fall.
Man kann sich RAG wie eine Prüfung mit offenem Buch vorstellen. Das Modell muss nicht alles auswendig wissen – es bekommt zur Fragestellung die relevanten Seiten aus dem Unternehmenswissen aufgeschlagen und formuliert daraus die Antwort. Der entscheidende Vorteil: Das Wissen bleibt außerhalb des Modells, in einer Datenquelle, die Sie kontrollieren, aktualisieren und einsehen können. Ändert sich ein Preis, ein Prozess oder eine Richtlinie, aktualisieren Sie das Dokument – und die nächste Antwort ist bereits auf dem neuen Stand, ohne dass ein Modell neu trainiert werden müsste.
Auch wenn die Umsetzungen im Detail stark variieren, folgt RAG fast immer demselben Grundmuster. Zunächst werden die Wissensquellen – etwa Handbücher, Richtlinien, Produktdaten, Tickets oder Wiki-Artikel – in handhabbare Abschnitte zerlegt und in einer durchsuchbaren Form abgelegt, häufig in einer sogenannten Vektordatenbank. Kommt dann eine Nutzeranfrage, wird zunächst nach den dazu passendsten Abschnitten gesucht (Retrieval), diese werden der Anfrage als Kontext beigefügt, und erst dann erzeugt das Modell die Antwort (Generation). Die Qualität des Ergebnisses hängt dabei ganz wesentlich von der Qualität des Retrievals ab: Findet die Suche die richtigen Passagen nicht, kann auch das beste Modell keine gute Antwort geben.
RAG spielt seine Stärken überall dort aus, wo es um faktenbasierte Antworten aus einem definierten Wissensbestand geht – und wo dieses Wissen sich ändern kann. Typische Anwendungsfälle im Mittelstand sind interne Wissensassistenten, die Mitarbeitende auf Basis von Handbüchern und Richtlinien unterstützen, Kundenservice-Assistenten, die aus der Produktdokumentation antworten, oder Recherchehilfen, die große Dokumentbestände durchsuchbar machen. Ihnen allen gemeinsam ist: Der Wert entsteht durch aktuelles, überprüfbares Wissen – nicht durch ein besonderes Modellverhalten.
Um im Bild der Prüfung zu bleiben: Wenn RAG die Prüfung mit offenem Buch ist, dann ist Fine-Tuning das Training vor der Prüfung. Das Modell übt an vielen Beispielen, wie eine gute Antwort in Ihrem Kontext aussieht – bis dieses Muster „sitzt“. Nach dem Fine-Tuning bringt das Modell dieses gelernte Verhalten von sich aus mit, ohne dass man es in jedem einzelnen Prompt erneut erklären müsste. Das ist der Kern seines Nutzens: Verhalten wird zur Standardeigenschaft des Modells, nicht zur jedes Mal wiederholten Anweisung.
Fine-Tuning ist stark, wenn es um Konsistenz in wiederkehrenden Aufgaben geht. Wenn ein Modell tausende Male dieselbe Art von Text in exakt derselben Struktur produzieren soll, wenn eine spezifische Tonalität zuverlässig getroffen werden muss, wenn eine feingliedrige Klassifikation nach unternehmenseigenen Kategorien erfolgen soll oder wenn ein knappes Ausgabeformat strikt einzuhalten ist, kann Fine-Tuning das Verhalten so verlässlich machen, wie es reines Prompting oft nicht schafft. Es kann außerdem helfen, sehr lange, immer gleiche Anweisungen zu ersetzen, indem das gewünschte Verhalten fest im Modell verankert wird.
Was Fine-Tuning dagegen nicht zuverlässig leistet, ist das Einbringen von aktuellem, faktischem Wissen. Zwar lässt sich einem Modell durch Training auch Fachwissen näherbringen – aber dieses Wissen ist dann statisch, schwer zu aktualisieren und schwerer zu überprüfen. Ändert sich ein Fakt, müsste man erneut trainieren. Zudem besteht das Risiko, dass ein Modell trainierte Fakten mit hoher Überzeugung, aber falsch wiedergibt. Für sich wandelndes Wissen ist Fine-Tuning daher fast immer die schlechtere Wahl gegenüber RAG.
Ein Fine-Tuning steht und fällt mit den Trainingsdaten. Benötigt werden in der Regel viele qualitativ hochwertige Beispiele, die genau das gewünschte Verhalten zeigen – also Paare aus typischer Eingabe und idealer Ausgabe. Diese Daten müssen kuratiert, bereinigt und geprüft werden, denn das Modell übernimmt Muster wie Fehler gleichermaßen. Fehlen solche Beispiele oder lassen sie sich nur mit hohem Aufwand erzeugen, ist Fine-Tuning oft nicht wirtschaftlich. Hinzu kommt ein belastbares Evaluierungskonzept: Man muss messen können, ob das nachtrainierte Modell tatsächlich besser geworden ist – und nicht in anderen Bereichen schlechter. Wer tiefer in die Methodik einsteigen möchte, findet in unserem gesonderten Beitrag zum Fine-Tuning weiterführende Details.
Prompting ist die Kunst, dem Modell klar zu sagen, was es tun soll, in welcher Rolle, mit welchem Ziel, in welchem Format und unter welchen Randbedingungen. Moderne Modelle folgen Anweisungen sehr gut, wenn diese präzise und strukturiert sind. Ergänzt man den Prompt um einige gute Beispiele für die gewünschte Ausgabe – das sogenannte Few-Shot-Prompting – lässt sich vieles erreichen, wofür früher reflexartig ein Fine-Tuning erwogen wurde. Für einen tieferen Einstieg in Techniken und Muster verweisen wir auf unseren gesonderten Beitrag zum Thema Prompt Engineering.
Aus unserer Projektpraxis empfehlen wir fast immer, mit Prompting zu beginnen – aus drei Gründen. Erstens ist es schnell: Man kann eine Idee innerhalb von Stunden statt Wochen ausprobieren. Zweitens ist es günstig: Es fallen keine Infrastruktur- und Trainingskosten an. Drittens – und das ist der eigentliche strategische Wert – schärft das Prompting das Verständnis für das eigentliche Problem. Wer einen Anwendungsfall erst sauber prompten muss, merkt schnell, ob ihm Wissen fehlt (dann Richtung RAG) oder ob das Verhalten nicht stimmt (dann Richtung Fine-Tuning). Prompting ist damit nicht nur eine Lösung, sondern auch ein Diagnosewerkzeug.
So stark Prompting ist – es hat klare Grenzen. Große Wissensmengen lassen sich nicht sinnvoll in jeden einzelnen Prompt schreiben; hier ist RAG die skalierbare Antwort. Und wenn ein sehr spezifisches Verhalten über tausende Aufgaben absolut konsistent sein muss oder ein extrem knappes Format zuverlässig einzuhalten ist, kann selbst ein exzellenter Prompt an Grenzen stoßen, wo ein Fine-Tuning stabiler liefert. Auch sehr lange, komplexe Anweisungen, die man ständig mitschicken müsste, sind ein Signal, dass eine andere Methode wirtschaftlicher sein könnte.
Die erste und oft wichtigste Frage: Wie aktuell und wie umfangreich muss das Wissen sein? Wenn Antworten auf sich häufig änderndes Wissen angewiesen sind – Preise, Bestände, Richtlinien, Vertragsstände, aktuelle Produktinformationen –, spricht das klar für RAG, weil sich die Wissensbasis dort jederzeit aktualisieren lässt. Auch bei sehr großen, breiten Wissensmengen ist RAG überlegen, da nicht alles in einen Prompt passt und Fine-Tuning statisches Wissen schlecht verwaltet. Ist das benötigte Wissen dagegen klein und stabil, reicht oft schon Kontext im Prompt.
Die zweite Frage betrifft das gewünschte Verhalten. Geht es um eine konsistente Tonalität, ein striktes Ausgabeformat, eine spezialisierte Klassifikation oder eine unternehmenstypische Art zu antworten – und lässt sich das nicht zufriedenstellend prompten? Dann rückt Fine-Tuning in den Fokus. Je stärker und je wiederkehrender das Verhalten von den Standardfähigkeiten des Modells abweicht, desto eher lohnt der Trainingsaufwand. Ist das Verhalten dagegen mit klaren Anweisungen und Beispielen erreichbar, bleibt Prompting die wirtschaftlichere Wahl.
Die dritte Dimension ist die Wirtschaftlichkeit über den gesamten Lebenszyklus. Dabei zählen nicht nur die einmaligen Aufbaukosten, sondern vor allem der laufende Aufwand. Prompting ist am schnellsten und günstigsten im Start. RAG verursacht Aufbaukosten für die Wissensbasis und laufende Pflegekosten, hält dafür Wissen und Modell getrennt. Fine-Tuning hat die höchsten initialen Kosten für Datenaufbereitung und Training und erzeugt zusätzlichen Wartungsaufwand bei jedem Modellwechsel. Für eine strukturierte Betrachtung des wirtschaftlichen Nutzens verweisen wir auf unseren Beitrag zum KI-Business-Case.
Ein oft unterschätztes Kriterium ist die Nachvollziehbarkeit. In vielen Anwendungsfällen – gerade dort, wo Fehlaussagen teuer oder heikel sind – ist es wichtig, dass eine Antwort mit Quellen belegt werden kann. Hier hat RAG einen strukturellen Vorteil, weil es auf konkrete, zitierbare Passagen zugreift und dadurch das Risiko frei erfundener Aussagen senkt. Ein rein trainiertes Modell kann seine Aussagen dagegen schlechter belegen. Wer Wert auf überprüfbare, quellengestützte Antworten legt, sollte dieses Kriterium hoch gewichten – auch mit Blick auf das Thema Halluzinationen, dem wir einen eigenen Beitrag widmen.
Die fünfte Dimension ist der Umgang mit sensiblen Daten. Wo personenbezogene oder vertrauliche Informationen im Spiel sind, unterscheiden sich die Wege erheblich darin, wie und wo Daten verarbeitet werden. RAG hält Wissen in einer kontrollierbaren Quelle, während Fine-Tuning die Trainingsdaten in das Modell einfließen lässt – mit anderen Implikationen für Kontrolle, Löschbarkeit und Trennung. Weil dieses Kriterium im DACH-Raum besonders schwer wiegt, widmen wir ihm ein eigenes Kapitel (Kapitel 08). Datenschutzrechtliche Bewertungen im Einzelfall gehören in fachkundige Hände – dieser Beitrag ist keine Rechtsberatung.
In der Praxis lässt sich die Wahl auf eine überschaubare Abfolge von Fragen herunterbrechen. Sie ersetzt keine sorgfältige Analyse, gibt aber eine belastbare erste Richtung:
Die Logik der Kombination ergibt sich unmittelbar aus den Stärken: Fine-Tuning bringt das gewünschte Verhalten, RAG das aktuelle Wissen. Ein Modell, das per Fine-Tuning gelernt hat, in einer bestimmten Tonalität und einem festen Format zu antworten, kann per RAG jederzeit auf die aktuellsten Unternehmensdaten zugreifen. So entsteht ein Assistent, der sowohl im Verhalten konsistent als auch im Wissen aktuell ist – zwei Eigenschaften, die keine der Methoden allein liefert.
In der Praxis begegnen uns vor allem zwei sinnvolle Kombinationsmuster. Im ersten prägt ein Fine-Tuning das grundsätzliche Verhalten – etwa den fachlichen Ton eines Kundenservice oder die Struktur einer standardisierten Ausgabe –, während RAG die faktische Grundlage liefert. Im zweiten Muster wird Fine-Tuning genutzt, um eine spezialisierte Teilaufgabe zu verbessern, etwa die richtige Interpretation von Anfragen oder die präzise Auswahl relevanter Quellen, während der eigentliche Wissenszugriff weiter über RAG läuft. In beiden Fällen gilt: Man kombiniert nicht um der Vollständigkeit willen, sondern weil jeder Baustein ein konkretes Problem löst.
Hybride Ansätze sind mächtig, aber auch aufwendiger. Sie verbinden die Aufbau- und Pflegekosten von RAG mit dem Trainings- und Wartungsaufwand von Fine-Tuning. Deshalb gilt: Ein hybrider Ansatz lohnt sich erst dann, wenn beide Probleme – Wissen und Verhalten – gleichzeitig und in erheblichem Umfang bestehen und wenn der Anwendungsfall wichtig genug ist, um den Mehraufwand zu rechtfertigen. Für viele Mittelständler ist das zunächst nicht der Fall; sie fahren mit einer sauberen RAG-Lösung und gutem Prompting bestens. Wächst ein Anwendungsfall in Bedeutung und Anspruch, kann die hybride Ausbaustufe zum lohnenden nächsten Schritt werden.
Der zentrale Unterschied liegt darin, wo die Daten landen. Bei RAG bleiben die Wissensdaten in einer von Ihnen kontrollierten Quelle – etwa einer Datenbank oder einem Dokumentenspeicher – und werden nur zur Laufzeit als Kontext an das Modell übergeben. Beim Fine-Tuning fließen die Trainingsdaten dagegen in das Modell ein und prägen dessen Gewichte. Das hat weitreichende Konsequenzen: Ein Fakt, der in einer RAG-Quelle steht, lässt sich löschen oder ändern, indem man das Dokument bearbeitet. Ein Muster, das ein Modell im Fine-Tuning aufgenommen hat, lässt sich nicht so einfach wieder entfernen.
Aus datenschutzlicher Sicht bietet RAG mehrere strukturelle Vorteile. Weil das Wissen außerhalb des Modells bleibt, lässt sich genauer steuern, welche Informationen zu einer konkreten Anfrage überhaupt herangezogen werden – etwa durch Zugriffsrechte, die verhindern, dass ein Nutzer Antworten aus Dokumenten erhält, die er nicht sehen darf. Zudem lässt sich das Prinzip der Datenminimierung leichter umsetzen, weil nur die tatsächlich benötigten Passagen mitgegeben werden. Und schließlich ist die Löschung einzelner Informationen unkompliziert: Was aus der Quelle entfernt wird, taucht in künftigen Antworten nicht mehr auf.
Unabhängig vom gewählten Weg gilt: Der Verarbeitungsort und der beteiligte Dienstleister müssen bewusst gewählt werden. Es macht einen erheblichen Unterschied, ob ein Modell in einer kontrollierten Umgebung betrieben wird oder ob Daten an einen externen Dienst außerhalb des eigenen Einflussbereichs gehen. Für sensible Daten sind vertragliche Grundlagen, die Frage der Auftragsverarbeitung und der Umgang mit einer möglichen Nutzung von Eingaben zu Trainingszwecken zentrale Punkte. Diese Aspekte sind im Einzelfall zu prüfen; die datenschutzrechtliche Bewertung gehört in fachkundige Hände. Dieser Beitrag liefert dafür Orientierung, aber keine Rechtsberatung.
Die Grundhaltung lautet: vom Problem her denken, nicht von der Technologie. Zu viele Projekte starten mit der Frage „Sollen wir fine-tunen oder RAG bauen?“ – und damit am falschen Ende. Die richtige erste Frage ist immer, welches konkrete Problem gelöst werden soll und ob es sich um ein Wissens- oder ein Verhaltensproblem handelt. Erst danach fällt die Wahl der Methode. Für den grundsätzlichen Rahmen erfolgreicher KI-Einführung im Mittelstand verweisen wir auf unseren Beitrag zu KI im Mittelstand.
