Wissensdatenbank · Voice & Conversational AI · Konzept & Architektur

STT, TTS & Voice Agents – die Sprachkette als Architekturentscheidung.

Ein Voice Agent ist kein einzelnes Produkt, sondern ein Zusammenspiel aus Spracherkennung, Sprachmodell, Sprachsynthese, Gesprächssteuerung und Telefonie. Wie diese Bausteine verschaltet werden, entscheidet über Latenz, Natürlichkeit, Kontrollierbarkeit, Kosten und Datenschutz. Dieser Beitrag ordnet die Architekturvarianten herstellerneutral ein und zeigt, welche technischen Entscheidungen ein mittelständisches Unternehmen bewusst treffen sollte – bevor es sich an einen Anbieter bindet.

Dieser Artikel wurde mithilfe künstlicher Intelligenz erstellt und redaktionell geprüft.

28 Min. Lesezeit
Aktualisiert · Oktober 2026
Fachartikel · Expertenbeitrag
STT, TTS & Voice Agents
Konzept-Steckbrief · herstellerneutral
Themenart
Architektur- und Technikkonzept
Kernbausteine
STT, LLM, TTS, Orchestrierung, Transport
Architekturen
Cascaded, Speech-to-Speech, Hybrid
Kanäle
Telefonie (SIP/PSTN), WebRTC, Apps
Kritische Größen
Latenz, Erkennungsqualität, Turn-Taking
Datenschutz
Audio als personenbezogenes Datum, ggf. biometrisch
INAGRO Relevanz für Voice-Projekte im Mittelstand
★★★★★
Kapitel 01 · Grundlagen

Was sind STT, TTS und Voice Agents?

Speech-to-Text (STT) wandelt gesprochene Sprache in Text um, Text-to-Speech (TTS) erzeugt aus Text eine hörbare Stimme. Ein Voice Agent verbindet beide mit einem Sprachmodell und einer Steuerungslogik zu einem System, das Gespräche in Echtzeit führt, Anliegen versteht und Aufgaben erledigt. Die Begriffe klingen vertraut – die Architekturfragen dahinter sind es oft nicht.

Sprachtechnologie gibt es seit Jahrzehnten. Sprachdialogsysteme mit starren Menüs („Drücken Sie die Eins“) und grammatikbasierter Erkennung kennt jeder, der schon einmal eine Hotline angerufen hat. Neu ist nicht die Technik an sich, sondern ihre Qualität und Kombinierbarkeit: Neuronale Spracherkennung versteht auch freie, umgangssprachliche Formulierungen, große Sprachmodelle interpretieren Anliegen im Kontext, und moderne Sprachsynthese klingt so natürlich, dass Anrufer mitunter nicht mehr sicher sind, ob sie mit einem Menschen sprechen. Aus Einzeltechnologien ist ein Baukasten geworden, aus dem sich Gesprächsagenten zusammensetzen lassen.
Für die Planung hilft eine klare Begriffstrennung:
  • Speech-to-Text (STT, auch ASR – Automatic Speech Recognition) – das „Ohr“ des Systems. Es liefert Transkripte, im Echtzeitbetrieb als laufend aktualisierte Zwischenergebnisse und finale Ergebnisse, optional mit Zeitstempeln, Sprecherzuordnung und Konfidenzwerten.
  • Text-to-Speech (TTS, Sprachsynthese) – der „Mund“. Es erzeugt Audio aus Text, idealerweise gestreamt, damit die Wiedergabe beginnt, bevor der ganze Satz fertig berechnet ist.
  • Sprachmodell und Dialoglogik – das „Gehirn“. Es entscheidet, was der Agent als Nächstes sagt oder tut, ruft Werkzeuge und Schnittstellen auf und hält sich – im Idealfall – an Geschäftsregeln.
  • Orchestrierung und Transport – das „Nervensystem“. Es steuert Sprecherwechsel, Unterbrechungen, Audio-Streams, Telefonie- und WebRTC-Verbindungen und verbindet alle Bausteine mit möglichst geringer Verzögerung.

Vom Sprachdialogsystem zum Voice Agent

Klassische IVR-Systeme (Interactive Voice Response) arbeiten mit vordefinierten Menübäumen und erkennen nur erwartete Schlüsselwörter oder Ziffern. Die nächste Generation ergänzte Intent-Erkennung: Der Anrufer durfte frei formulieren, das System ordnete die Äußerung einer von mehreren Absichten zu. Ein Voice Agent im heutigen Sinn geht einen Schritt weiter. Er führt einen offenen Dialog, stellt Rückfragen, merkt sich Kontext über mehrere Gesprächsschritte, ruft Daten aus Kernsystemen ab und schreibt Ergebnisse zurück – etwa einen Termin in den Kalender oder ein Ticket ins Servicesystem.
Der Begriff „Agent“ ist dabei bewusst gewählt: Das System handelt, statt nur zu antworten. Genau das macht Voice Agents wertvoll und zugleich anspruchsvoll. Je mehr ein Agent selbstständig ausführen darf, desto wichtiger werden Leitplanken, Protokollierung und eine saubere Übergabe an Menschen, wenn er an seine Grenzen kommt.

Warum Sprache schwieriger ist als Chat

Wer bereits einen Text-Chatbot betreibt, unterschätzt Voice häufig. Drei Unterschiede sind entscheidend. Erstens die Zeit: Im Chat toleriert ein Nutzer einige Sekunden Wartezeit, im Telefonat wirkt schon eine kurze Pause irritierend. Zweitens die Fehlerfortpflanzung: Ein falsch erkanntes Wort im Transkript führt zu einer falschen Interpretation, die ein Text-Chat nie gehabt hätte. Drittens die Gesprächsdynamik: Menschen unterbrechen, zögern, sprechen gleichzeitig, sagen „äh“ und „Moment“, korrigieren sich mitten im Satz. Ein Voice Agent muss all das in Echtzeit bewerten – ohne Tastatur, ohne Bildschirm, oft über eine schmalbandige Telefonleitung mit Hintergrundlärm.
Hinzu kommt: Was der Agent sagt, kann der Anrufer nicht nachlesen. Antworten müssen kürzer, klarer und gesprochen formuliert sein. Ein Sprachmodell, das im Chat eine gut strukturierte Liste mit fünf Punkten liefert, ist am Telefon eine Zumutung. Voice-Design ist deshalb eine eigene Disziplin und nicht bloß Chat mit Audio.
INAGRO-Einschätzung

Die Qualität eines Voice Agents entsteht nicht durch den besten Einzelbaustein, sondern durch das Zusammenspiel der Kette. Eine exzellente Stimme hilft nichts, wenn die Spracherkennung Artikelnummern verdreht, und das klügste Sprachmodell wirkt unbeholfen, wenn das Turn-Taking nicht stimmt. Wer Voice plant, sollte deshalb zuerst die Architektur entscheiden – und erst danach Anbieter.

Kapitel 02 · Architekturvarianten

Cascaded, Speech-to-Speech oder hybrid?

Die wichtigste Grundsatzentscheidung bei Voice Agents betrifft die Frage, ob Sprache zwischendurch in Text übersetzt wird oder ob ein Modell Audio direkt versteht und Audio direkt erzeugt. Beide Ansätze haben klare Stärken – und Konsequenzen für Kontrolle, Kosten, Anbieterbindung und Datenschutz.

Cascaded (STT → LLM → TTS)
Bewährt

Drei getrennte Stufen: Spracherkennung erzeugt Text, ein Sprachmodell erzeugt eine Textantwort, die Sprachsynthese spricht sie aus. Jede Stufe ist austauschbar, jedes Zwischenergebnis prüfbar.

KontrolleSehr hoch
AustauschbarkeitJe Baustein
LatenzSumme der Stufen
EinsatzProzess-Agenten
Speech-to-Speech / Realtime
Natürlich

Ein multimodales Modell nimmt Audio entgegen und erzeugt Audio direkt, ohne expliziten Textzwischenschritt für die Antwort. Tonfall, Zögern und Emotion bleiben eher erhalten, die Reaktion wirkt flüssiger.

KontrolleEingeschränkt
AustauschbarkeitGering
LatenzPotenziell niedrig
EinsatzOffene Dialoge
Hybrid
Pragmatisch

Kombinationen beider Welten: etwa Realtime-Modell für den Dialog plus separate Transkription für Protokoll und Analyse, oder Cascaded-Kette mit Audio-fähigem LLM, das Rohsignale zusätzlich auswertet.

KontrolleMittel bis hoch
AustauschbarkeitTeilweise
KomplexitätHöher
EinsatzAnspruchsvolle Agenten
Gemanagte Voice-Plattform
Fertig gekapselt

Die Kette wird von einer Plattform betrieben und als Gesamtdienst angeboten. Intern ist sie meist Cascaded oder Hybrid, nach außen sieht der Kunde Konfiguration statt Architektur.

KontrolleÜber Konfiguration
AustauschbarkeitPlattformabhängig
Time-to-MarketSchnell
EinsatzStandard-Use-Cases

Cascaded: die kontrollierbare Pipeline

Die kaskadierte Architektur ist der heutige Standard für produktive Voice Agents mit Prozessbezug. Ihr größter Vorteil ist Transparenz: Zu jedem Zeitpunkt existiert ein Transkript dessen, was der Anrufer gesagt hat, und ein Text dessen, was der Agent antworten wird. Beides lässt sich protokollieren, filtern, prüfen und auswerten. Ein Unternehmen kann die beste deutsche Spracherkennung mit einem selbst gehosteten Sprachmodell und einer separat lizenzierten Markenstimme kombinieren und jede Komponente später austauschen, ohne das Gesamtsystem neu zu bauen.
Der Preis dafür ist Latenz und Informationsverlust. Jede Stufe braucht Zeit, und die Verzögerungen addieren sich. Moderne Pipelines arbeiten deshalb durchgängig im Streaming: STT liefert Zwischenergebnisse, das Sprachmodell beginnt zu antworten, sobald ein Sprecherwechsel erkannt ist, und TTS spricht den ersten Satzteil, während der Rest noch generiert wird. Was bei der Umwandlung in Text verloren geht, sind paraverbale Signale – Ironie, Unsicherheit, Ärger in der Stimme. Für Prozess-Agenten, die Termine buchen oder Zählerstände aufnehmen, ist das meist verschmerzbar.

Speech-to-Speech: natürlicher, aber schwerer zu steuern

Realtime- oder Speech-to-Speech-Modelle verarbeiten Audio nativ. Sie können auf Tonfall reagieren, mit natürlicher Prosodie antworten und Unterbrechungen eleganter handhaben, weil keine Übergabe zwischen getrennten Systemen nötig ist. Die gefühlte Gesprächsqualität kann dadurch deutlich höher sein. Gleichzeitig verliert man Steuerbarkeit: Die Antwort wird nicht als prüfbarer Text vorab erzeugt, Aussprache und Stimme lassen sich nur begrenzt beeinflussen, und die Wahl des Modells bestimmt gleichzeitig Erkennung, Logik und Stimme. Anbieterbindung und Datenfluss konzentrieren sich auf einen einzigen Dienst.
Hinzu kommen praktische Fragen: Wie gut ist die Funktion-Aufruf-Fähigkeit im Audiomodus? Wie verlässlich hält sich das Modell an Anweisungen über lange Gespräche? Wie werden Protokolle erzeugt, wenn kein Transkript-Zwischenschritt existiert? Viele Realtime-Dienste liefern zusätzlich Transkripte, deren Qualität und Verfügbarkeit man aber beim Anbieter prüfen sollte, statt sie vorauszusetzen.

Entscheidungskriterien für die Architekturwahl

Statt einer pauschalen Empfehlung helfen einige Leitfragen. Muss jede Aussage des Agenten vorab prüfbar und regelkonform sein, etwa in Finanz- oder Gesundheitskontexten? Dann spricht viel für Cascaded mit klarer Dialoglogik. Steht ein möglichst menschlich wirkendes, offenes Gespräch im Vordergrund – Terminvorqualifizierung, Vertriebsgespräch, Sprachtraining? Dann lohnt ein Blick auf Speech-to-Speech. Ist Datenhoheit bis hin zum Self-Hosting gefordert? Dann ist die kaskadierte Kette mit offenen Modellen heute der realistischere Weg. Und gibt es kein eigenes Entwicklerteam? Dann ist eine gemanagte Plattform oft wirtschaftlicher als jede Eigenarchitektur.
Kriterium Cascaded Speech-to-Speech Hybrid
Prüfbarkeit der Antworten Hoch, Text vor Audio Gering Je nach Aufbau
Natürlichkeit des Gesprächs Gut bei sauberem Tuning Sehr gut Gut bis sehr gut
Austauschbarkeit der Bausteine Hoch Gering Mittel
Self-Hosting-Fähigkeit Mit offenen Modellen möglich Aktuell eingeschränkt Teilweise
Eigene Markenstimme Frei wählbar Vom Modell abhängig Teilweise
Engineering-Aufwand Mittel bis hoch Anfangs geringer Hoch
Architektur nicht an der Demo festmachen

Speech-to-Speech-Demos beeindrucken im ersten Gespräch. Die Frage ist aber, wie sich das System im hundertsten Gespräch mit schlechter Mobilfunkverbindung, Dialekt und einer Rückfrage zur Rechnungsnummer verhält. Bewerten Sie Architekturen mit eigenen, realistischen Testanrufen und nicht anhand von Herstellervideos.

Kapitel 03 · Speech-to-Text im Detail

Spracherkennung: das Ohr des Voice Agents

Fehler in der Spracherkennung sind die häufigste Ursache für schlechte Voice-Erlebnisse. Wer STT bewusst auswählt und konfiguriert, legt das Fundament für alles Weitere. Entscheidend sind Betriebsmodus, Sprach- und Domänenabdeckung, Zusatzfunktionen und die Frage, wo die Erkennung läuft.

Dimension Optionen Worauf achten
Betriebsmodus Streaming (Echtzeit) oder Batch (Datei) Für Agenten zwingend Streaming mit Zwischenergebnissen
Endpointing Erkennung des Äußerungsendes, teils semantisch Konfigurierbarkeit, Verhalten bei Denkpausen
Diarisierung Zuordnung von Sprechern Wichtig für Mitschnitte und Analysen, weniger für 1:1-Agenten
Fachvokabular Keyword-Boosting, Custom Vocabulary, Feintuning Produktnamen, Ortsnamen, Artikelnummern testen
Audioqualität Telefonie schmalbandig vs. Breitband Mit echtem Telefonaudio evaluieren, nicht mit Studioaufnahmen
Betriebsort Cloud-API, EU-Region, Self-Hosting Datenfluss, Speicherdauer, Nutzung zu Trainingszwecken

Streaming vs. Batch und das Problem des Äußerungsendes

Batch-Transkription verarbeitet abgeschlossene Aufnahmen und kann dabei den gesamten Kontext nutzen – ideal für Gesprächsprotokolle, Qualitätsanalysen oder die Auswertung von Diktaten. Ein Voice Agent braucht dagegen Streaming: Audio wird in kleinen Paketen übertragen, die Erkennung liefert laufend vorläufige Hypothesen und setzt bei Satz- oder Äußerungsende ein finales Ergebnis. Vorläufige Ergebnisse können sich noch ändern; die Orchestrierung muss entscheiden, wann sie damit arbeitet.
Besonders kritisch ist das sogenannte Endpointing: Wann hat der Anrufer zu Ende gesprochen? Wer nur auf eine feste Stillezeit wartet, unterbricht entweder Menschen, die kurz nachdenken, oder reagiert träge. Neuere Ansätze kombinieren akustische Pausen mit semantischer Analyse („Ist dieser Satz inhaltlich vollständig?“). Ob ein STT-Dienst so etwas mitbringt oder ob es in der Orchestrierung gelöst werden muss, ist eine wichtige Architekturfrage – darauf gehen wir in Kapitel 05 ein.

Deutsch, Dialekte und Fachvokabular

Viele Erkennungsmodelle sind primär auf Englisch optimiert. Für den DACH-Raum zählt, wie gut sie mit Hochdeutsch, regionalen Färbungen, Schweizerdeutsch oder österreichischen Varianten umgehen – und mit dem Wechsel zwischen Deutsch und englischen Fachbegriffen, der in vielen Branchen Alltag ist. Herstellerangaben zur Fehlerrate sind meist auf öffentlichen Datensätzen gemessen und sagen wenig über die eigenen Anrufer aus. Verlässlich ist nur eine Messung mit eigenen, anonymisierten Testaufnahmen.
Die zweite Hürde ist Domänenvokabular: Produktbezeichnungen, Kundennummern, Straßennamen, Medikamente, Maschinentypen. Hier helfen Funktionen wie Keyword-Boosting oder eigene Vokabellisten, bei manchen Anbietern auch Modellanpassung. Bei Zahlen- und Buchstabenfolgen lohnt zusätzlich eine Plausibilisierung in der Dialoglogik: Eine Kundennummer mit Prüfziffer lässt sich validieren und gezielt nachfragen, statt blind dem Transkript zu vertrauen. Für Buchstabierungen empfiehlt sich eine eigene Behandlung, etwa die Unterstützung der deutschen Buchstabiertafel.

Open Source oder API?

Offene Modelle wie Whisper und seine optimierten Varianten haben die Spracherkennung demokratisiert: Sie lassen sich auf eigener GPU-Hardware betreiben, sodass Audio das eigene Rechenzentrum nicht verlassen muss. Ihre Schwäche lag historisch im echten Streaming-Betrieb, der zusätzlichen Engineering-Aufwand erfordert. Spezialisierte API-Anbieter bieten dagegen optimierte Echtzeit-Erkennung, Endpointing, Diarisierung und Vokabelanpassung als fertigen Dienst – mit dem Nachteil, dass Audio an einen Dritten fließt.
Die Wahl ist weniger eine Glaubens- als eine Abwägungsfrage: Volumen, Datenschutzanforderung, verfügbares Know-how und gewünschte Zusatzfunktionen. Für viele Mittelständler ist eine API mit EU-Datenverarbeitung und klarer Auftragsverarbeitung der pragmatische Start; Self-Hosting wird interessant, wenn Volumen oder Schutzbedarf steigen.
Eigene Testmenge aufbauen

Sammeln Sie früh einige Dutzend repräsentative, anonymisierte oder nachgesprochene Testanrufe – mit typischen Anliegen, Zahlenfolgen, Eigennamen, Hintergrundgeräuschen und Dialekten. Diese Testmenge ist wertvoller als jede Herstellerangabe und dient später auch als Regressionstest bei Modellwechseln.

Kapitel 04 · Text-to-Speech im Detail

Sprachsynthese: die Stimme als Markenbotschafter

Die Stimme ist das, was Anrufer bewusst wahrnehmen. Sie prägt Vertrauen, Markenwirkung und die Bereitschaft, mit einem Agenten zu sprechen. Technisch geht es um Natürlichkeit, Streaming-Fähigkeit, Steuerbarkeit und um die korrekte Aussprache dessen, was im eigenen Geschäft wirklich vorkommt.

Stimmen, Prosodie und Streaming

Neuronale TTS-Systeme erzeugen heute Stimmen mit natürlicher Betonung, Atempausen und Satzmelodie. Unterschiede zwischen Anbietern zeigen sich weniger in kurzen Beispielsätzen als in längeren Passagen, bei Zahlen, Datumsangaben, Rückfragen und emotionalen Nuancen. Für Voice Agents zählt zudem die Zeit bis zum ersten hörbaren Audio: Ein System, das erst nach Berechnung des ganzen Absatzes zu sprechen beginnt, ist für Dialoge ungeeignet. Gute Pipelines streamen Text satzweise oder sogar in kleineren Einheiten in die Synthese und spielen Audio ab, sobald es vorliegt.
Prosodie – Betonung, Tempo, Tonhöhe – entscheidet, ob eine Rückfrage als Frage erkannt wird und ob eine Information verständlich ankommt. Manche Systeme leiten Prosodie aus dem Kontext ab, andere erlauben explizite Steuerung über Stil-Parameter oder Anweisungen. Für ernste Anliegen wie Schadensmeldungen braucht es einen anderen Ton als für eine Terminbestätigung. Diese Variabilität sollte in der Evaluation gezielt getestet werden.

Voice Cloning und eigene Markenstimmen

Viele Anbieter ermöglichen es, aus Sprachaufnahmen eine eigene Stimme zu erzeugen – von einer schnellen Klonung aus kurzen Samples bis zu einer professionell trainierten Markenstimme aus längeren Studioaufnahmen. Für Unternehmen ist das attraktiv: Die Stimme der Hotline kann der Stimme aus Werbung und Imagefilm entsprechen. Gleichzeitig entstehen rechtliche und ethische Fragen. Die Stimme eines Menschen ist Ausdruck seiner Persönlichkeit; ihre Nachbildung braucht eine klare, dokumentierte Einwilligung und vertragliche Regeln zu Nutzungsumfang, Dauer, Vergütung und Widerruf. Was passiert mit der Stimme, wenn die Sprecherin das Unternehmen verlässt? Wer darf welche Inhalte mit ihr erzeugen?
Hinzu kommt das Missbrauchsrisiko. Geklonte Stimmen lassen sich für Betrugsanrufe nutzen. Seriöse Anbieter verlangen Nachweise der Einwilligung und setzen Erkennungs- oder Wasserzeichenverfahren ein. Bei der Auswahl sollte geprüft werden, wem die erzeugte Stimme gehört, ob sie exportierbar ist und ob der Anbieter sie für eigene Zwecke nutzen darf.

SSML, Lexika und die Aussprache von Eigennamen

Die Speech Synthesis Markup Language (SSML) ist ein Standard, mit dem sich Pausen, Betonung, Sprechgeschwindigkeit und die Lesart von Zahlen, Daten oder Abkürzungen steuern lassen – etwa über Elemente wie <break>, <say-as> oder <phoneme>. Nicht jeder Anbieter unterstützt SSML vollständig; manche moderne Systeme setzen eher auf Aussprachelexika oder textbasierte Hinweise. Für den Praxisbetrieb ist entscheidend, dass es überhaupt einen verlässlichen Mechanismus gibt.
Typische Stolpersteine im deutschsprachigen Raum: Firmen- und Produktnamen mit englischen Bestandteilen, Ortsnamen wie Löhne, Soest oder Oeynhausen, Abkürzungen wie „GmbH“ oder „Kfz“, Telefonnummern, Uhrzeiten und Beträge. Ein Agent, der den eigenen Firmennamen falsch ausspricht, verspielt Vertrauen in der ersten Sekunde. Bewährt hat sich eine Textnormalisierung vor der Synthese – Zahlen, Einheiten und Abkürzungen werden in sprechbare Form gebracht – kombiniert mit einem gepflegten Aussprachelexikon für Eigennamen.
Praxis-Hinweis

Lassen Sie Stimmen nicht nur vom Projektteam bewerten. Ein kurzer Blindtest mit Mitarbeitenden aus dem Kundenservice und einigen Bestandskunden zeigt schnell, welche Stimme als vertrauenswürdig, verständlich und markenpassend empfunden wird. Testen Sie dabei echte Agentensätze mit Zahlen und Eigennamen – nicht die Demosätze des Anbieters.

Kapitel 05 · Orchestrierung

Turn-Taking, Barge-in und die Steuerung der Kette

Die Orchestrierungsschicht ist das unsichtbare Herzstück eines Voice Agents. Sie entscheidet, wann zugehört und wann gesprochen wird, wie Unterbrechungen behandelt werden, wann Werkzeuge aufgerufen werden und wie Audio zwischen Telefonnetz, Browser und KI-Diensten fließt. Hier entsteht der Unterschied zwischen einem holprigen und einem flüssigen Gespräch.

01
Audio empfangen
Audio kommt über Telefonie (SIP, Telefonnetz) oder WebRTC an, wird bei Bedarf umkodiert, von Echo und Rauschen befreit und in kleinen Paketen weitergereicht.
02
Sprachaktivität erkennen
Eine Voice Activity Detection (VAD) unterscheidet Sprache von Stille und Geräuschen und signalisiert, wann der Anrufer zu sprechen beginnt oder aufhört.
03
Transkribieren und Äußerungsende bestimmen
STT liefert Zwischen- und Endergebnisse; ein Turn-Detection-Mechanismus entscheidet, ob der Sprecher fertig ist oder nur kurz pausiert.
04
Antwort und Aktionen erzeugen
Das Sprachmodell erhält Kontext, Systemanweisung und Transkript, ruft bei Bedarf Funktionen auf – etwa Kundendaten abfragen – und streamt eine Textantwort.
05
Sprechen und zuhören zugleich
TTS spricht die Antwort, während die Erkennung weiterläuft. Spricht der Anrufer dazwischen, wird die Wiedergabe gestoppt und der Kontext angepasst.
06
Protokollieren und übergeben
Ereignisse, Transkripte, Funktionsaufrufe und Zeiten werden erfasst; bei Bedarf erfolgt die Übergabe an einen Menschen mit Gesprächszusammenfassung.

VAD, Turn-Taking und Barge-in

Menschen wechseln im Gespräch fließend die Rolle. Ein Voice Agent muss diesen Wechsel technisch nachbilden. Die Voice Activity Detection ist dafür die Basis, reicht aber allein nicht aus: Ein Husten, ein Hund im Hintergrund oder ein bestätigendes „mhm“ darf nicht als Unterbrechung gewertet werden. Moderne Orchestrierungen kombinieren akustische Erkennung mit Turn-Detection-Modellen, die anhand von Inhalt und Intonation einschätzen, ob ein Redebeitrag abgeschlossen ist.
Barge-in bezeichnet die Fähigkeit, sich unterbrechen zu lassen. Klingt einfach, ist aber anspruchsvoll: Die Audiowiedergabe muss sofort stoppen, bereits gepufferte Audiodaten müssen verworfen werden, und das Sprachmodell muss wissen, welcher Teil seiner Antwort tatsächlich gehört wurde. Sonst bezieht es sich später auf Informationen, die der Anrufer nie gehört hat. Am Telefon kommt Echo hinzu: Ohne gute Echounterdrückung hört der Agent seine eigene Stimme und unterbricht sich selbst.

Function Calling und Dialoglogik

Ein Voice Agent wird erst wertvoll, wenn er handeln kann. Über Function Calling bzw. Tool Use erhält das Sprachmodell definierte Werkzeuge – Kundensuche, Terminabfrage, Ticketanlage, Weiterleitung. Für Sprache gelten dabei Besonderheiten: Werkzeugaufrufe kosten Zeit, die der Anrufer als Stille erlebt. Bewährt haben sich kurze Überbrückungen („Einen Moment, ich schaue nach“), parallele Ausführung und schnelle, gut definierte Schnittstellen. Zudem sollten kritische Aktionen nicht allein vom Sprachmodell entschieden werden: Bestätigungsschritte, Validierungen und feste Prozessbausteine – wie sie Frameworks mit strukturierter Dialoglogik bieten – erhöhen die Verlässlichkeit erheblich.
Auch der Kontext muss gesteuert werden. Lange Gespräche erzeugen lange Transkripte; ohne Zusammenfassung oder Kontextmanagement steigen Latenz und Kosten je Gesprächsschritt. Systemanweisungen für Voice sollten explizit kurze, gesprochene Antworten verlangen, Markdown und Aufzählungen verbieten und klare Regeln zur Übergabe an Menschen enthalten.

Frameworks, Telefonie, SIP und WebRTC

Für die Orchestrierung haben sich Open-Source-Frameworks etabliert. Pipecat etwa beschreibt einen Voice Agent als Pipeline aus austauschbaren Verarbeitungsschritten; LiveKit stellt eine WebRTC-Infrastruktur mit Agenten-Framework bereit. Beide nehmen Teams viel Grundlagenarbeit bei Streaming, Unterbrechungen und Anbieter-Anbindung ab, setzen aber Entwickler-Know-how voraus. Alternativ bieten gemanagte Plattformen die Orchestrierung als Dienst.
Der Transportweg prägt die Architektur. Im Telefonnetz kommt Audio meist schmalbandig an und wird über SIP-Trunks oder Telefonie-APIs angebunden; Media Streams werden dann per Websocket oder RTP an die Orchestrierung geleitet. Im Browser oder in Apps bietet WebRTC Breitbandaudio, integrierte Echounterdrückung und geringere Übertragungsverzögerung. Viele Unternehmen brauchen beides: Telefonie für die Hotline, WebRTC für den Sprachassistenten auf der Website. Wichtig ist, die bestehende Telefonanlage und das Contact Center früh einzubeziehen – Weiterleitungen, Rufnummern, Warteschleifen und Übergaben an Mitarbeitende müssen technisch und organisatorisch funktionieren.
Kapitel 06 · Anbieter-Kategorien & Abgrenzung

Der Markt in vier Kategorien

Der Markt für Sprach-KI ist unübersichtlich und bewegt sich schnell. Hilfreicher als eine Rangliste einzelner Produkte ist eine Einordnung nach Kategorien. Sie zeigt, welche Art von Anbieter zu welcher Architektur und welchem Reifegrad passt. Die Einordnung ist qualitativ; konkrete Leistungsmerkmale ändern sich laufend und sind beim Anbieter zu prüfen.

Aspekt Hyperscaler Spezialisten Open Source DE/EU-Plattformen
Typisches Angebot STT, TTS, LLM und Realtime als Cloud-Dienste Best-of-Breed in STT, TTS oder Realtime Modelle und Frameworks zum Selbstbetrieb Gemanagte Voice-Agent-Plattformen
Datenhoheit EU-Regionen oft möglich Sehr unterschiedlich Vollständig steuerbar Oft EU-Fokus
Qualität Deutsch Solide, je Dienst prüfen Teils sehr gut, teils englischlastig Modellabhängig Meist im Fokus
Integrationsaufwand Mittel Mittel Hoch Gering bis mittel
Anbieterbindung Ökosystem-Sog Je Baustein Gering Plattformbindung
Sweet Spot Bestehende Cloud-Strategie Maximale Qualität je Stufe Datenhoheit, Volumen, Know-how Schneller Kundenservice-Einsatz

Hyperscaler und spezialisierte Anbieter

Die großen Cloud-Anbieter bieten Spracherkennung, Sprachsynthese, Sprachmodelle und zunehmend Realtime-Schnittstellen aus einer Hand. Vorteil: ein Vertrag, eine Abrechnung, etablierte Sicherheitszertifizierungen, oft wählbare EU-Regionen. Nachteil: Die einzelnen Dienste sind nicht immer die besten ihrer Klasse, und die Integration ins eigene Ökosystem erzeugt Bindung. Für Unternehmen mit bestehender Cloud-Strategie ist der Weg dennoch naheliegend.
Spezialisten konzentrieren sich auf eine Stufe der Kette. Im STT-Bereich stehen Anbieter wie Deepgram oder AssemblyAI für Echtzeit-Erkennung mit umfangreichen Zusatzfunktionen; im TTS-Bereich setzen Anbieter wie ElevenLabs oder Cartesia auf besonders natürliche Stimmen und kurze Reaktionszeiten. Realtime-Modelle wie die OpenAI Realtime API bieten Speech-to-Speech als Dienst. Der Vorteil liegt in der Qualität je Baustein, der Preis in mehreren Verträgen, mehreren Auftragsverarbeitungen und mehr Integrationsarbeit. Ob ein Spezialist Daten in der EU verarbeitet, ist individuell zu prüfen.

Open Source und deutsche bzw. europäische Plattformen

Open-Source-Bausteine – offene STT-Modelle wie Whisper, offene TTS-Modelle, offene Sprachmodelle und Orchestrierungs-Frameworks wie Pipecat oder LiveKit – erlauben einen vollständig selbst betriebenen Voice Agent. Das ist die souveränste Variante, verlangt aber GPU-Infrastruktur, MLOps-Kompetenz und die Bereitschaft, Qualität und Wartung selbst zu verantworten. Die Lizenzbedingungen offener Modelle unterscheiden sich; kommerzielle Nutzung und Weitergabe sollten je Modell geprüft werden.
Daneben haben sich im deutschsprachigen und europäischen Raum Plattformen etabliert, die komplette Voice Agents für den Kundenservice anbieten, oft mit Fokus auf deutsche Sprache, Contact-Center-Integration und europäische Datenverarbeitung. Für Unternehmen ohne eigenes Entwicklungsteam sind sie häufig der schnellste Weg zu einem produktiven Agenten. Die Architekturentscheidung wird dann teilweise an die Plattform delegiert – umso wichtiger ist es, gezielt nachzufragen, welche STT-, LLM- und TTS-Dienste im Hintergrund arbeiten und wo diese betrieben werden.
Unterauftragsverarbeiter hinterfragen

Eine Plattform mit Sitz in Deutschland bedeutet nicht automatisch, dass alle Sprachdaten in Deutschland verarbeitet werden. Lassen Sie sich die vollständige Liste der Unterauftragsverarbeiter zeigen – insbesondere für Spracherkennung, Sprachmodell und Sprachsynthese – und prüfen Sie Standorte und Übermittlungsgrundlagen.

Kapitel 07 · Betrieb

Latenz, Monitoring und Evaluierung im Betrieb

Ein Voice Agent ist kein Projekt, das nach dem Go-live fertig ist. Er ist ein Produkt im Dauerbetrieb, dessen Qualität von vielen beweglichen Teilen abhängt: Modellversionen, Anbieter-Updates, Netzwerkqualität, neue Kundenanliegen. Wer Latenz, Qualität und Kosten nicht systematisch misst, merkt Verschlechterungen erst an Beschwerden.

01
Latenzbudget definieren
Festlegen, welche Gesamtverzögerung zwischen Ende der Kundenäußerung und Beginn der Agentenantwort akzeptabel ist, und dieses Budget bewusst auf Transport, STT, LLM, Werkzeuge und TTS aufteilen.
02
Messpunkte instrumentieren
Für jede Stufe Start- und Endzeitpunkte erfassen, damit Engpässe sichtbar werden – nicht nur Durchschnitte, sondern auch die langsamen Ausreißer.
03
Qualitätsmetriken festlegen
Erkennungsqualität auf eigener Testmenge, Aufgabenerfüllung, Übergabequote, Abbruchquote, Unterbrechungsfehler und Kundenzufriedenheit regelmäßig auswerten.
04
Automatisierte Testanrufe
Simulierte Gespräche mit synthetischen Anrufern und definierten Szenarien prüfen nach jeder Änderung, ob der Agent sich weiterhin korrekt verhält.
05
Kosten je Gespräch überwachen
Verbrauch von STT-Minuten, LLM-Token, TTS-Zeichen und Telefonie je Gespräch erfassen und Ausreißer – etwa Endlosschleifen – automatisch erkennen.
06
Kontinuierlich verbessern
Fehlgeschlagene Gespräche analysieren, Vokabular, Aussprachelexikon und Anweisungen nachschärfen und daraus neue Regressionstests ableiten.

Das Latenzbudget qualitativ verstehen

Die wahrgenommene Reaktionszeit ist die Summe vieler kleiner Verzögerungen: Audio-Transport vom Telefonnetz, Pufferung, Erkennung des Äußerungsendes, finale Transkription, Zeit bis zum ersten Token des Sprachmodells, eventuelle Werkzeugaufrufe, Zeit bis zum ersten Audio der Synthese und der Rückweg. Der größte Hebel liegt oft nicht in einem schnelleren Modell, sondern in der Architektur: konsequentes Streaming, geografische Nähe der Dienste zueinander, warm gehaltene Verbindungen, ein kleineres Modell für einfache Dialogschritte und ein gut abgestimmtes Endpointing. Konkrete Zielwerte sollten anhand eigener Tests mit echten Nutzern festgelegt werden; Herstellerangaben beziehen sich meist auf Idealbedingungen.
Wichtig ist auch die Varianz. Ein Agent, der meistens schnell, gelegentlich aber mehrere Sekunden still ist, wirkt unzuverlässiger als ein gleichmäßig etwas langsamerer. Monitoring sollte daher Perzentile und Ausreißer zeigen, nicht nur Mittelwerte.

Evaluierung und Monitoring als Daueraufgabe

Die Bewertung eines Voice Agents braucht mehrere Ebenen. Auf Komponentenebene wird gemessen, wie gut STT transkribiert und wie verständlich TTS spricht. Auf Dialogebene geht es darum, ob Aufgaben erfüllt und Regeln eingehalten wurden. Auf Geschäftsebene zählen Automatisierungsquote, Erreichbarkeit und Kundenzufriedenheit. Für die Dialogebene haben sich Testläufe mit simulierten Anrufern bewährt, bei denen ein zweites Sprachmodell Kundenrollen spielt. Sie ersetzen keine echten Gespräche, decken aber Regressionen nach Änderungen zuverlässig auf.
Im Betrieb gehören ein Dashboard mit Gesprächsvolumen, Latenzen, Fehlerraten und Übergaben sowie eine Stichprobenprüfung echter Gespräche zum Standard. Dabei gilt: Aufzeichnungen und Transkripte sind personenbezogene Daten; Zugriff, Speicherdauer und Pseudonymisierung müssen geregelt sein.

Kostenkontrolle und Self-Hosting auf GPU

Bei API-Nutzung skalieren die Kosten linear mit dem Gesprächsvolumen – jede Minute Audio, jedes Token und jedes synthetisierte Zeichen wird berechnet. Sparpotenziale liegen in kurzen Antworten, effizientem Kontextmanagement, Zwischenspeichern wiederkehrender Ansagen als Audiodatei und dem Einsatz kleinerer Modelle, wo sie ausreichen. Speech-to-Speech-Modelle haben eigene Preismodelle, die bei langen Gesprächen spürbar ins Gewicht fallen können – genaue Konditionen sind beim Anbieter zu prüfen.
Self-Hosting auf eigener GPU-Hardware verschiebt die Rechnung von variablen zu fixen Kosten. Es lohnt sich typischerweise bei hohem, planbarem Volumen oder hohen Datenschutzanforderungen. Einzuplanen sind Hardware oder GPU-Mietkapazität, Lastspitzen, Redundanz, Modell-Updates, Sicherheitspatches und Personal mit entsprechender Erfahrung. Ein Zwischenweg sind europäische GPU-Clouds oder Hoster, die offene Modelle betreiben, ohne dass das Unternehmen selbst Hardware beschaffen muss.
Kapitel 08 · Einsatz im Mittelstand

Voice Agents im DACH-Mittelstand

Voice Agents sind längst nicht mehr nur ein Thema für Konzern-Contact-Center. Gerade mittelständische Unternehmen mit begrenzter Personaldecke, hohem Anrufaufkommen zu Standardanliegen und Fachkräftemangel profitieren von automatisierten Sprachdialogen – vorausgesetzt, der Einsatz ist klar begrenzt und die Übergabe an Menschen funktioniert.

Annahme und Vorqualifizierung

Der Agent nimmt Anrufe außerhalb der Geschäftszeiten oder bei Überlast an, erfasst Anliegen, Kontaktdaten und Dringlichkeit und legt ein strukturiertes Ticket an.

Kein verlorener Anruf
Terminvereinbarung

Handwerksbetriebe, Praxen, Werkstätten und Servicetechnik buchen, verschieben und bestätigen Termine direkt im Gespräch – mit Anbindung an den Kalender oder die Einsatzplanung.

Entlastung am Empfang
Status- und Auskunftsanfragen

Lieferstatus, Auftragsstand, Öffnungszeiten oder Zählerstandsmeldungen – wiederkehrende Fragen mit klarer Datenbasis eignen sich ideal für eine automatische Beantwortung.

Hohe Automatisierungsquote
Transkription und Gesprächsnotizen

Ohne Agent, nur mit STT: Kundengespräche, Besprechungen oder Diktate werden transkribiert und zusammengefasst – ein risikoarmer Einstieg in die Sprachtechnologie.

Zeitgewinn in der Dokumentation
Interne Sprachassistenten

Mitarbeitende in Produktion, Lager oder Außendienst fragen per Sprache Wissen, Anleitungen oder Bestände ab – freihändig, über Headset oder Smartphone.

Wissen am Einsatzort
Ausgehende Erinnerungen

Terminerinnerungen, Wartungshinweise oder Rückrufe zu offenen Vorgängen – unter Beachtung der rechtlichen Vorgaben zu Werbeanrufen und Einwilligungen.

Weniger Ausfalltermine

Wo Voice Agents realistisch Wert stiften

Die besten Einstiegsszenarien haben drei Eigenschaften: ein hohes Volumen gleichartiger Anliegen, eine klare Datenbasis und eine überschaubare Zahl an Prozessschritten. Terminvereinbarung, Statusauskünfte und Anliegensaufnahme erfüllen diese Kriterien. Weniger geeignet sind emotional aufgeladene Gespräche, komplexe Beratung oder Anliegen, bei denen Fehler gravierende Folgen haben. Hier ist ein Agent sinnvoller als Assistent, der vorqualifiziert und mit Kontext an einen Menschen übergibt.
Ein häufig übersehener Nutzen liegt in der Erreichbarkeit: Viele Mittelständler verlieren Anfragen, weil Anrufe in Stoßzeiten oder nach Feierabend ins Leere laufen. Schon ein Agent, der Anliegen sauber aufnimmt und strukturiert weitergibt, schafft hier messbaren Mehrwert – ohne dass er selbst Probleme lösen muss.

Ein pragmatischer Einstiegspfad

Bewährt hat sich ein stufenweises Vorgehen. Zunächst wird mit reiner Transkription Erfahrung mit Sprachdaten, Erkennungsqualität und Datenschutzprozessen gesammelt. Danach folgt ein eng begrenzter Agent für ein einzelnes Anliegen, idealerweise zunächst in Randzeiten oder als Überlaufkanal. Erst wenn Qualität, Übergabe und Betrieb stabil sind, wird der Umfang erweitert. Parallel sollte die Architekturentscheidung bewusst getroffen werden: gemanagte Plattform für schnelle Ergebnisse oder eigene Kette mit Framework für maximale Kontrolle. Beides kann richtig sein – falsch ist nur, die Frage gar nicht zu stellen.
Organisatorisch braucht es eine verantwortliche Person aus dem Fachbereich, die den Agenten als Produkt begreift, Gespräche auswertet und Verbesserungen priorisiert. Ebenso wichtig ist die frühe Einbindung von Betriebsrat und Datenschutz, wenn Mitarbeitergespräche oder interne Telefonie betroffen sind.
Kapitel 09 · Kosten & DSGVO

Kosten, DSGVO und Datenhoheit

Sprachdaten sind besonders sensibel: Sie enthalten nicht nur Inhalte, sondern auch die Stimme selbst – ein Merkmal, das Rückschlüsse auf Identität, Herkunft, Alter oder Gemütszustand zulassen kann. Kosten und Datenschutz hängen eng mit der Architekturentscheidung zusammen. Konkrete Preise nennen wir nicht; sie sind beim jeweiligen Anbieter zu prüfen.

Sprachdienste
€–€€ / volumenabhängig
STT nach Audiominuten, TTS nach Zeichen oder Audiozeit
  • Abrechnungseinheiten, Mindestmengen und Aufschläge für Echtzeit oder Zusatzfunktionen beim Anbieter prüfen.
Sprachmodell
€–€€€ / je Token oder Minute
LLM-API, Realtime-Modell oder eigenes Modell
  • Kontextlänge und Gesprächsdauer treiben die Kosten. Speech-to-Speech-Modelle haben eigene Preismodelle.
Telefonie & Plattform
€–€€ / laufend
Rufnummern, Minuten, SIP-Trunk, Plattformgebühren
  • Bei gemanagten Plattformen sind Sprachdienste oft im Minutenpreis enthalten – Transparenz über Bestandteile einfordern.
Team & Betrieb
€€€ / laufend
Entwicklung, Voice-Design, Monitoring, Pflege
  • Häufig der größte Block. Bei Self-Hosting kommen GPU-Infrastruktur und Betriebskompetenz hinzu.

Wirtschaftlichkeit ehrlich rechnen

Die Kosten je Gesprächsminute sind nur ein Teil der Wahrheit. Für eine belastbare Betrachtung zählen Einmalaufwände für Konzeption, Integration und Tests, laufende Kosten für Dienste und Telefonie sowie der dauerhafte Pflegeaufwand. Dem stehen eingesparte Bearbeitungszeit, verbesserte Erreichbarkeit und gegebenenfalls zusätzliche Umsätze gegenüber. Ein realistisches Szenario rechnet mit einer Automatisierungsquote, die im Pilot gemessen und nicht vom Anbieter versprochen wurde, und berücksichtigt, dass ein Teil der Gespräche weiterhin an Menschen übergeben wird.
Datenschutz-Stack der Sprachkette

Jede Stufe der Sprachkette verarbeitet personenbezogene Daten – oft bei unterschiedlichen Dienstleistern. Datenhoheit entsteht nur, wenn der gesamte Datenfluss bekannt, dokumentiert und vertraglich abgesichert ist. Folgende Punkte sind besonders relevant:

Audio & Transkript
Personenbezogene Daten – Speicherung, Dauer und Zweck festlegen
Biometrie
Stimmerkennung zur Identifikation kann besondere Kategorien berühren
Dienstleister
AVV mit STT-, LLM-, TTS-, Telefonie- und Plattformanbietern
Drittland
Standorte, Unterauftragsverarbeiter und Übermittlungsgrundlagen prüfen
Training
Nutzung von Kundendaten zum Modelltraining vertraglich ausschließen
Transparenz
KI-Hinweis und Information zur Aufzeichnung zu Gesprächsbeginn

Sprachdaten, Biometrie und Stimmrechte

Aufzeichnungen und Transkripte von Gesprächen sind personenbezogene Daten im Sinne der DSGVO. Werden Stimmen gezielt genutzt, um Personen eindeutig zu identifizieren – etwa zur Authentifizierung per Stimmprofil –, kann es sich um biometrische Daten und damit um eine besondere Kategorie personenbezogener Daten handeln, für die erhöhte Anforderungen gelten. Auch Emotionserkennung aus der Stimme ist regulatorisch sensibel. Für reine Spracherkennung zur Gesprächsführung ist diese Schwelle in der Regel nicht erreicht, die Abgrenzung sollte aber im Einzelfall bewertet werden. Zudem stellt sich die Frage, ob und wie lange Audio überhaupt gespeichert werden muss; häufig genügt ein pseudonymisiertes Transkript.
Beim Voice Cloning kommen Persönlichkeits- und Stimmrechte hinzu. Wer die Stimme einer realen Person nachbildet, braucht deren informierte Einwilligung und klare vertragliche Regelungen. Drittlandtransfer ist ein weiterer Kernpunkt: Viele Spezialanbieter und Modellbetreiber haben ihren Sitz außerhalb der EU. Optionen sind Anbieter mit EU-Region und belastbaren Übermittlungsgrundlagen, europäische Plattformen oder Self-Hosting offener Modelle in eigener oder europäischer Infrastruktur.

EU AI Act: Transparenz und Kennzeichnung

Der EU AI Act sieht für KI-Systeme, die direkt mit Menschen interagieren, Transparenzpflichten vor: Betroffene müssen erkennen können, dass sie mit einer KI sprechen, sofern es nicht offensichtlich ist. Für Voice Agents bedeutet das praktisch einen klaren, gesprochenen Hinweis zu Beginn des Gesprächs. Synthetisch erzeugte Audioinhalte unterliegen zudem Kennzeichnungsanforderungen, die sich vor allem an Anbieter der Systeme richten. Kundenservice-Agenten fallen in der Regel nicht in die Hochrisiko-Kategorie; Anwendungen etwa im Personalbereich, bei Kreditwürdigkeitsprüfungen oder mit Emotionserkennung können jedoch strengere Regeln auslösen. Die konkreten Fristen und Pflichten sollten mit Blick auf den eigenen Einsatzzweck geprüft werden.
Keine Rechtsberatung

Die Hinweise in diesem Kapitel sind eine allgemeine fachliche Einordnung aus IT- und Projektsicht und keine Rechtsberatung. Die datenschutz- und persönlichkeitsrechtliche Bewertung – insbesondere zu Gesprächsaufzeichnung, biometrischen Merkmalen, Voice Cloning, Drittlandtransfer und den Pflichten aus dem EU AI Act – sollte mit dem eigenen Datenschutzbeauftragten oder fachkundiger rechtlicher Begleitung erfolgen. Die Verantwortung im Sinne der DSGVO bleibt beim einsetzenden Unternehmen.

Kapitel 10 · Häufige Fragen

Häufig gestellte Fragen zu STT, TTS & Voice Agents

Diese Fragen tauchen in Beratungsgesprächen zu Sprachtechnologie und Voice Agents am häufigsten auf – kurz und sachlich beantwortet.

Was ist der Unterschied zwischen STT, TTS und einem Voice Agent?
STT (Speech-to-Text) wandelt Sprache in Text um, TTS (Text-to-Speech) erzeugt aus Text eine Stimme. Ein Voice Agent kombiniert beide mit einem Sprachmodell, einer Dialoglogik und einer Orchestrierung zu einem System, das in Echtzeit Gespräche führt, Anliegen versteht und Aktionen ausführt – etwa Termine bucht oder Daten abfragt.
Cascaded oder Speech-to-Speech – was ist besser?
Es gibt keinen pauschalen Sieger. Cascaded-Architekturen bieten hohe Kontrolle, prüfbare Zwischenergebnisse und austauschbare Bausteine und sind deshalb für prozessorientierte Agenten heute meist die erste Wahl. Speech-to-Speech-Modelle wirken natürlicher und reagieren flüssiger, sind aber schwerer zu steuern und binden stärker an einen Anbieter. Hybride Ansätze verbinden beides. Entscheidend sind Use Case, Datenschutzanforderungen und eigene Tests.
Wie gut funktioniert Spracherkennung auf Deutsch und bei Dialekten?
Moderne Spracherkennung versteht Hochdeutsch in der Regel gut, bei starken Dialekten, Schweizerdeutsch, Telefonaudio mit Hintergrundgeräuschen und Fachbegriffen gibt es aber deutliche Unterschiede zwischen Anbietern und Modellen. Verlässliche Aussagen liefert nur ein Test mit eigenen, repräsentativen Aufnahmen. Funktionen wie eigene Vokabellisten und eine Plausibilisierung in der Dialoglogik verbessern die Ergebnisse spürbar.
Warum ist Latenz bei Voice Agents so wichtig?
Im Telefonat wirken schon kurze Pausen unnatürlich; Anrufer beginnen dann erneut zu sprechen oder legen auf. Die Gesamtverzögerung setzt sich aus Transport, Erkennung, Äußerungsende, Sprachmodell, Werkzeugaufrufen und Synthese zusammen. Durchgängiges Streaming, gutes Endpointing, nahe beieinander betriebene Dienste und kurze Antworten sind die wichtigsten Hebel. Zielwerte sollten mit eigenen Tests festgelegt werden.
Was bedeutet Barge-in?
Barge-in ist die Fähigkeit eines Voice Agents, sich vom Anrufer unterbrechen zu lassen. Die Wiedergabe stoppt sofort, das System hört zu und berücksichtigt, welcher Teil seiner Antwort tatsächlich gehört wurde. Gute Barge-in-Behandlung unterscheidet echte Unterbrechungen von Geräuschen oder kurzen Bestätigungen wie „mhm“ und setzt eine wirksame Echounterdrückung voraus.
Brauche ich ein Framework wie Pipecat oder LiveKit?
Wer eine eigene Sprachkette aufbauen will, spart mit solchen Open-Source-Frameworks viel Grundlagenarbeit bei Streaming, Turn-Taking, Unterbrechungen und Anbieter-Anbindung. Sie setzen Entwickler-Know-how voraus. Unternehmen ohne eigenes Entwicklungsteam sind mit einer gemanagten Voice-Plattform oft schneller am Ziel – zum Preis geringerer Kontrolle über die einzelnen Bausteine.
Kann ich einen Voice Agent komplett selbst hosten?
Ja, mit einer kaskadierten Architektur aus offenen STT-, LLM- und TTS-Modellen und einem Open-Source-Orchestrierungsframework ist das technisch möglich. Erforderlich sind GPU-Infrastruktur, Betriebskompetenz und Zeit für Optimierung. Die Qualität offener Modelle für Deutsch und die Lizenzbedingungen sollten je Modell geprüft werden. Speech-to-Speech-Modelle sind derzeit überwiegend als Cloud-Dienst verfügbar.
Darf ich die Stimme eines Mitarbeiters klonen?
Technisch ist das mit vielen Anbietern möglich. Rechtlich und ethisch braucht es eine informierte, dokumentierte Einwilligung der Person und klare vertragliche Regeln zu Umfang, Dauer, Vergütung und Widerruf. Zu klären ist auch, wem die erzeugte Stimme gehört und ob der Anbieter sie für eigene Zwecke nutzen darf. Dies ist eine fachliche Einordnung und keine Rechtsberatung.
Sind Sprachaufnahmen biometrische Daten?
Gesprächsaufnahmen und Transkripte sind personenbezogene Daten. Zu biometrischen Daten im Sinne einer besonderen Kategorie werden Stimmmerkmale vor allem dann, wenn sie zur eindeutigen Identifizierung einer Person verarbeitet werden, etwa bei einer Stimm-Authentifizierung. Die Abgrenzung ist im Einzelfall mit dem Datenschutzbeauftragten zu bewerten; Speicherdauer und Zweck sollten in jedem Fall eng gefasst werden.
Muss ein Voice Agent sich als KI zu erkennen geben?
Nach dem EU AI Act müssen Menschen erkennen können, dass sie mit einem KI-System interagieren, sofern dies nicht offensichtlich ist. Für Voice Agents bedeutet das in der Praxis einen klaren gesprochenen Hinweis zu Beginn des Gesprächs, ergänzt um Informationen zu einer eventuellen Aufzeichnung. Der Hinweis sollte fest in der Dialoglogik verankert und nicht dem Sprachmodell überlassen werden.

Voice AI souverän einsetzen

Brauchen Sie eine belastbare Voice-Architektur?

Seit 2006 am Markt

Erfahrung aus über 100 Digitalprojekten

DSGVO & Souveränität

Datenschutz von Anfang an mitgedacht

Rückmeldung in 24 h

Schnell, direkt, unverbindlich