Der Begriff ist unscharf, weil er sehr unterschiedliche Systeme umfasst. Ein Diktierprogramm nutzt Voice AI ebenso wie ein Sprachassistent im Auto oder ein vollautomatischer Telefonagent, der Termine vergibt. In diesem Artikel konzentrieren wir uns auf das Feld, das für Unternehmen derzeit die größte Bedeutung hat: Conversational AI am Telefon, also Systeme, die mit Kunden, Lieferanten, Patienten oder Mitarbeitenden ein echtes Gespräch führen. Daneben spielen sprachbasierte Analysewerkzeuge, etwa die automatische Zusammenfassung von Telefonaten oder die Echtzeit-Unterstützung von Servicemitarbeitenden, eine wachsende Rolle.
Warum gerade jetzt? Über viele Jahre war Sprachautomatisierung am Telefon gleichbedeutend mit frustrierenden Erlebnissen: Anrufer mussten sich durch Menüs drücken, Schlüsselwörter deutlich aussprechen und landeten trotzdem oft in der falschen Warteschlange. Mit großen Sprachmodellen, deutlich besserer Spracherkennung und Sprachsynthese, die kaum noch von menschlichen Stimmen zu unterscheiden ist, hat sich das Bild grundlegend verändert. Heute sind Gespräche möglich, die sich flüssig anfühlen, Rückfragen erlauben und Themenwechsel verkraften.
Für eine saubere Diskussion im Projekt lohnt es sich, drei Ausprägungen zu unterscheiden, die im Markt häufig durcheinandergeworfen werden:
In der Praxis verschwimmen die Grenzen. Viele produktive Lösungen kombinieren ein IVR-Grundgerüst für Notfälle und Öffnungszeiten, einen klar strukturierten Voicebot-Prozess für sensible Abläufe und LLM-gestütztes Verstehen für die Vielfalt menschlicher Formulierungen. Gerade diese hybride Bauweise ist oft der Schlüssel zu Systemen, die zuverlässig und gleichzeitig angenehm sind.
Conversational AI ist der Oberbegriff für alle dialogfähigen KI-Systeme, unabhängig vom Kanal – Chat, Messenger, Telefon oder Sprachassistent. Voice AI ist damit eine Teilmenge, die sich auf gesprochene Sprache konzentriert und eigene Herausforderungen mitbringt: Latenz, Audioqualität, Unterbrechungen und fehlende visuelle Hilfsmittel. Sprach-KI wird im Deutschen oft synonym verwendet, kann aber auch Einzeltechnologien wie Spracherkennung oder Sprachsynthese meinen. Contact Center AI wiederum umfasst neben automatisierten Gesprächen auch Werkzeuge für Mitarbeitende: Live-Transkription, Antwortvorschläge, automatische Gesprächsnotizen, Qualitätsauswertung und Stimmungsanalyse.
Diese Unterscheidung ist mehr als Begriffsarbeit. Sie entscheidet darüber, welche Anbieter überhaupt in Frage kommen, welche Projektrollen gebraucht werden und wie Erfolg gemessen wird. Ein Projekt zur Agentenunterstützung im Contact Center hat ein völlig anderes Risiko- und Nutzenprofil als ein vollautomatischer Voice Agent, der selbstständig mit Kunden spricht.
Die heute verbreitetste Architektur ist die sogenannte Kaskade: Spracherkennung, Sprachmodell und Sprachsynthese arbeiten nacheinander. Der Anrufer spricht, die Spracherkennung liefert laufend Text, eine Komponente zur Erkennung des Gesprächsendes (Endpointing oder Voice Activity Detection) entscheidet, wann der Anrufer fertig ist, das Sprachmodell erzeugt die Antwort, und die Sprachsynthese beginnt bereits mit dem Sprechen, während der Rest der Antwort noch generiert wird. Jede Stufe trägt zur Gesamtverzögerung bei, weshalb gute Systeme konsequent auf Streaming setzen und die Stufen überlappen lassen.
Der Preis dafür ist eine geringere Kontrolle. Weniger Zwischenstufen bedeuten weniger Eingriffspunkte für Prüfung, Filterung und Protokollierung, die Auswahl an Stimmen und Sprachen ist an das jeweilige Modell gebunden, und ein Anbieterwechsel ist aufwendiger. Für Unternehmen mit strengen Anforderungen an Nachvollziehbarkeit, Datenhaltung in der EU oder Austauschbarkeit bleibt die Kaskade deshalb häufig die erste Wahl. In der Praxis entstehen auch Mischformen, etwa ein Speech-to-Speech-Modell für den Gesprächsfluss mit paralleler Transkription für Protokoll und Auswertung.
Für den Mittelstand sind diese Suiten vor allem dann relevant, wenn bereits ein größeres Kundenservice-Team mit strukturierter Telefonie besteht oder ohnehin eine Modernisierung des Contact Centers ansteht. Für ein Unternehmen mit einer Telefonzentrale und wenigen Servicekräften sind sie meist überdimensioniert.
Welche Hosting-Regionen, Vertragspartner und Unterauftragsverarbeiter im Einzelfall gelten, ist dennoch immer konkret zu prüfen. Herkunft aus Deutschland bedeutet nicht automatisch, dass sämtliche Daten in der EU verbleiben, etwa wenn US-basierte Sprachmodelle oder Sprachdienste eingebunden sind.
Im menschlichen Gespräch folgen Antworten sehr schnell aufeinander. Schon kurze zusätzliche Verzögerungen werden am Telefon als unnatürlich wahrgenommen, Anrufer fragen nach, ob noch jemand dran ist, oder sprechen gleichzeitig mit dem System. Die Latenz, also die Zeit vom Ende der Anruferäußerung bis zum Beginn der Antwort, ist deshalb eine der wichtigsten Qualitätsgrößen. Sie setzt sich aus Spracherkennung, Endpunkt-Erkennung, Modellantwort, Werkzeugaufrufen, Sprachsynthese und Netzwerkwegen zusammen. Konkrete Werte hängen stark von Architektur, Modellwahl, Region und Last ab und sollten im eigenen Test gemessen werden, nicht aus Prospekten übernommen.
Eng damit verbunden ist Barge-in, die Fähigkeit, dass Anrufer den Agenten unterbrechen können. Ein guter Voice Agent hört sofort auf zu sprechen, wenn der Anrufer einsetzt, und reagiert auf das Gesagte. Schwierig wird es bei Bestätigungslauten wie „mhm“ oder „ja“, die keine Unterbrechung sein sollen, bei Hintergrundgesprächen oder wenn das eigene Echo der Ansage als Unterbrechung missverstanden wird. Wartezeiten bei Systemabfragen lassen sich mit kurzen Überbrückungsformeln wie „Einen Moment, ich schaue nach“ entschärfen.
Die Spracherkennung für Hochdeutsch ist heute sehr gut. Bei starkem Dialekt, Akzent, älteren Anrufern, Mobilfunkverbindungen in Funklöchern, Freisprechanlagen im Auto oder Baustellenlärm steigt die Fehlerquote jedoch spürbar. Besonders anfällig sind Eigennamen, Straßennamen, Artikelnummern, E-Mail-Adressen und Kennzeichen: Gerade die Informationen, die ein Prozess am dringendsten braucht, sind akustisch am schwersten zu erfassen.
Bewährte Gegenmaßnahmen sind ein Fachvokabular, das der Spracherkennung als Hinweis übergeben wird, das Buchstabieren mit Bestätigung, der Abgleich mit Stammdaten („Ich habe Müller, Hauptstraße 12 in Bielefeld gefunden – ist das richtig?“) und die Identifikation über Telefonnummer oder Kundennummer statt über frei gesprochene Namen. Wo trotz allem Unsicherheit bleibt, sollte der Agent lieber nachfragen oder übergeben, als falsche Daten weiterzuverarbeiten.
Sprachmodelle können plausibel klingende, aber falsche Aussagen erzeugen. Am Telefon ist das besonders heikel, weil Anrufer gesprochene Aussagen eher als verbindlich wahrnehmen und keine Quelle sehen. Ein Agent, der eine nicht existierende Lieferzeit, einen falschen Preis oder eine erfundene Kulanzregel nennt, erzeugt Folgeprobleme bis hin zu rechtlichen Fragen. Gegenmittel sind klar begrenzte Aufgaben, Antworten auf Basis geprüfter Wissensquellen, deterministische Prozessabläufe für verbindliche Aussagen und die konsequente Anweisung, bei Unsicherheit nicht zu raten.
Hinzu kommen Sicherheitsrisiken. Anrufer können versuchen, den Agenten durch geschickte Formulierungen zu unerwünschtem Verhalten zu bewegen, etwa interne Informationen preiszugeben. Bei Identitätsprüfungen ist zu bedenken, dass Stimmen heute synthetisch nachgeahmt werden können. Ein Voice Agent sollte daher nur auf die Daten und Aktionen Zugriff haben, die er für seine Aufgabe tatsächlich braucht, und sensible Vorgänge sollten zusätzliche Prüfschritte erhalten.
Der erste Integrationspunkt ist die Telefonie. Typische Wege sind die Weiterleitung einer Rufnummer oder Durchwahl an den Voice Agent, die Anbindung über einen SIP-Trunk an die bestehende Telefonanlage oder Cloud-Telefonie sowie die Integration in eine Contact-Center-Lösung, die den Agenten als virtuellen Mitarbeitenden in die Anrufverteilung einbindet. Welche Variante passt, hängt von der vorhandenen Infrastruktur ab: einer klassischen Telefonanlage vor Ort, einer Cloud-Telefonanlage oder einem vollwertigen Contact Center.
Besonders wichtig ist die Übergabe an Menschen. Der Agent muss Anrufe an die richtige Person oder Warteschlange weiterleiten können, idealerweise mit Kontext: Wer ruft an, worum geht es, was wurde bereits geklärt? Ohne diese Information muss der Anrufer alles wiederholen, und der Vorteil der Automatisierung schlägt in Ärger um. Technisch geschieht das über Transfer-Funktionen der Telefonie, über Kontextdaten, die an das Contact Center übergeben werden, oder über eine Gesprächsnotiz, die im CRM erscheint, bevor die Mitarbeiterin abhebt.
Moderne Voice Agents greifen über Werkzeuge (Tools oder Function Calling) auf Systeme zu. Ein Werkzeug ist eine klar beschriebene Funktion, etwa „freie Termine abfragen“, „Kunde anhand der Telefonnummer suchen“ oder „Bestellstatus abrufen“. Das Sprachmodell entscheidet, wann es welches Werkzeug mit welchen Parametern aufruft; die Ausführung übernimmt eine Integrationsschicht, die mit CRM, ERP, Warenwirtschaft, Praxissoftware oder Kalender spricht.
Für den Mittelstand ist die entscheidende Frage oft: Hat das Kernsystem eine brauchbare Schnittstelle? Moderne Cloud-Systeme bieten meist dokumentierte APIs. Ältere ERP-Systeme, Branchenlösungen und lokal installierte Software erfordern dagegen häufig eine Zwischenschicht, etwa über eine Integrationsplattform, eine eigene kleine Middleware oder Workflow-Automatisierung. Diese Schicht ist auch der richtige Ort für Validierung, Berechtigungsprüfung und Protokollierung: Der Agent soll nur tun dürfen, was er für seine Aufgabe braucht.
Viele Anrufe lassen sich nicht abschließend im Gespräch lösen, aber sehr gut vorbereiten. Ein Voice Agent kann ein Anliegen strukturiert erfassen, ein Ticket im Servicesystem anlegen, die richtige Kategorie und Priorität setzen und dem Anrufer eine Rückmeldung zusagen. Für Mitarbeitende entfällt damit die Erfassung, sie starten direkt mit der Bearbeitung.
Für Auskunftsanliegen braucht der Agent zudem Zugriff auf eine gepflegte Wissensbasis: Öffnungszeiten, Produktinformationen, Liefer- und Rückgabebedingungen, häufige Fragen. Diese Inhalte sollten aus einer gepflegten Quelle stammen, die auch Website und Mitarbeitende nutzen, damit keine widersprüchlichen Aussagen entstehen. Nach dem Gespräch erzeugen viele Systeme automatisch eine Zusammenfassung, eine Transkription und strukturierte Daten, die in CRM oder Ticketsystem zurückgeschrieben werden.
Der Plattform-Weg nutzt eine fertige Conversational-AI- oder Contact-Center-Lösung. Telefonie, Sprachkette, Dialogeditor, Auswertung und Betrieb kommen aus einer Hand; das eigene Team konfiguriert Inhalte und Integrationen. Das ist der schnellste Weg zu einem stabilen Produktivsystem und für die meisten mittelständischen Unternehmen der realistischste. Die Kehrseite sind Abhängigkeit vom Anbieter, laufende Lizenzkosten und begrenzte Eingriffsmöglichkeiten in die Technik.
Der Baukasten-Weg setzt auf Developer-Plattformen, die die Sprachkette per API bereitstellen, während Dialoglogik und Integrationen selbst entwickelt werden. Er bietet mehr Flexibilität und oft günstigere Einstiegskosten, verlangt aber Entwicklungskompetenz und eine sorgfältige Prüfung von Hosting und Verträgen. Der Eigenbau auf Basis von Open-Source-Frameworks und selbst betriebenen Modellen bietet maximale Kontrolle und Datenhoheit, ist aber nur sinnvoll, wenn ein erfahrenes Team, ausreichend Volumen und ein strategischer Grund vorhanden sind.
Feature-Listen sind im Voice-Markt wenig aussagekräftig, weil fast alle Anbieter ähnliche Schlagworte verwenden. Belastbar ist ein strukturierter Proof of Concept mit zwei bis drei Kandidaten: ein klar umrissenes Anliegen, ein Satz realistischer Testanrufe mit verschiedenen Sprechern, eine echte oder simulierte Systemanbindung und vorher festgelegte Bewertungskriterien. Wer diese Vorarbeit leistet, erkennt Unterschiede in Verständnis, Gesprächsfluss und Integrationsaufwand sehr schnell. Die Erkenntnisse aus dem Proof of Concept sind zudem die beste Grundlage für die Vertragsverhandlung.
Im Betrieb zählen einige wenige Kennzahlen: der Anteil der Gespräche, die ohne Menschen abgeschlossen werden, die Quote der Übergaben und deren Gründe, Abbrüche durch Anrufer, die Dauer der Gespräche, Fehler bei Werkzeugaufrufen und die Zufriedenheit der Anrufer, etwa über eine kurze Abschlussfrage oder Stichproben. Ebenso wichtig wie die Zahlen ist das regelmäßige Anhören echter Gespräche. Erst dabei zeigt sich, wo der Agent missversteht, umständlich formuliert oder Anrufer ungeduldig werden.
Da Sprachmodelle und Sprachdienste von Anbietern laufend aktualisiert werden, kann sich das Verhalten eines Agenten auch ohne eigene Änderung verändern. Eine Sammlung automatisierter Testgespräche, die vor jeder Änderung und regelmäßig im Betrieb läuft, schützt vor bösen Überraschungen. Einige Plattformen bieten dafür eigene Testwerkzeuge oder simulierte Anrufer; ansonsten lassen sich Testsätze auch mit überschaubarem Aufwand selbst aufbauen.
Ein guter Voice Agent erkennt seine Grenzen. Klare Eskalationsregeln sind deshalb kein Zeichen von Schwäche, sondern ein zentrales Qualitätsmerkmal: Der Anrufer verlangt ausdrücklich einen Menschen, der Agent versteht nach zwei Versuchen nicht, das Anliegen liegt außerhalb seines Auftrags, der Anrufer ist erkennbar verärgert oder in einer Notlage, oder es geht um sensible Entscheidungen. In all diesen Fällen sollte die Übergabe schnell und mit Kontext erfolgen.
Außerhalb der Geschäftszeiten oder bei voller Warteschlange ist eine verlässliche Alternative wichtig: ein zugesagter Rückruf mit erfasstem Anliegen, eine Weiterleitung an einen Notdienst oder eine klare Auskunft, wann jemand erreichbar ist. Mitarbeitende im Service sollten von Beginn an eingebunden werden. Sie kennen die Anliegen am besten, übernehmen die eskalierten Gespräche und entscheiden mit über die Akzeptanz des Systems.
Die meisten erfolgreichen Projekte beginnen im Inbound, also bei eingehenden Anrufen. Hier ist der Nutzen unmittelbar messbar: weniger verpasste Anrufe, kürzere Wartezeiten, Erreichbarkeit außerhalb der Geschäftszeiten und Entlastung der Mitarbeitenden von Routinefragen. Ein häufig unterschätzter Einstieg ist die intelligente Vorqualifizierung: Der Agent nimmt das Anliegen auf, identifiziert den Anrufer, löst einfache Fälle selbst und leitet den Rest mit Zusammenfassung an die richtige Stelle. Selbst wenn wenige Gespräche vollständig automatisiert werden, sparen Mitarbeitende so pro Anruf Zeit.
Im Handwerk und in kleineren Betrieben ist oft schon der „digitale Telefondienst“ ein großer Gewinn: Statt Anrufbeantworter, den niemand abhört, erfasst ein Agent strukturiert, wer anruft, worum es geht und wann ein Rückruf passt, und legt die Anfrage direkt im System ab. In Praxen und Kanzleien geht es vor allem um die Entlastung des Empfangs zu Spitzenzeiten.
Ausgehende Anrufe durch Voice Agents sind technisch ebenso möglich. Sinnvolle Szenarien sind Terminerinnerungen, die Bestätigung von Lieferterminen, Rückrufe auf Anfragen oder kurze Zufriedenheitsabfragen bei Bestandskunden. Hier gelten jedoch deutlich strengere rechtliche Anforderungen, insbesondere zur Einwilligung bei werblichen Anrufen. Zudem ist die Akzeptanz bei Angerufenen geringer, wenn sie überraschend von einer KI kontaktiert werden. Outbound sollte daher erst nach erfolgreichem Inbound-Einsatz und nur mit sauberer rechtlicher Prüfung angegangen werden; Kaltakquise per KI-Anruf ist im DACH-Raum in aller Regel keine Option.
Eine belastbare Wirtschaftlichkeitsbetrachtung beginnt mit den eigenen Zahlen: Wie viele Anrufe kommen zu welchen Anliegen, wie lange dauern sie, wie viele gehen verloren, was kostet eine Stunde Servicezeit? Daraus ergibt sich, welcher Anteil realistisch automatisiert oder verkürzt werden kann. Auf der Nutzenseite stehen eingesparte Bearbeitungszeit, zusätzlich angenommene Anrufe und damit gewonnene Aufträge, Erreichbarkeit außerhalb der Geschäftszeiten und weniger Belastung für das Team. Auf der Kostenseite stehen Plattform, Minutenkosten, Einführung und laufende Pflege.
Wichtig ist, nicht mit idealisierten Automatisierungsquoten zu rechnen. Ein Pilot mit echten Anrufen liefert die belastbarste Grundlage. Oft zeigt sich, dass der größte Wert nicht in vollständig automatisierten Gesprächen liegt, sondern in der Kombination aus Teilautomatisierung, Vorqualifizierung und nie mehr verpassten Anrufen. Eine Betrachtung über mehrere Jahre und mit Szenarien für unterschiedliche Volumen macht die Entscheidung robuster.
Ein Voice Agent verarbeitet zwangsläufig personenbezogene Daten: die Stimme, die Telefonnummer, den Inhalt des Gesprächs und häufig Kundendaten aus angebundenen Systemen. Für jede dieser Verarbeitungen braucht es eine Rechtsgrundlage, eine transparente Information der Anrufer und ein Löschkonzept. Besonders sensibel ist die Aufzeichnung von Gesprächen. Die Verarbeitung des Audiostroms in Echtzeit zur Gesprächsführung ist anders zu bewerten als die dauerhafte Speicherung von Mitschnitten zu Qualitäts- oder Trainingszwecken; für Letzteres ist häufig eine Einwilligung erforderlich. Die Stimme kann zudem in bestimmten Konstellationen als biometrisches Merkmal gelten, etwa bei Stimmauthentifizierung, was die Anforderungen weiter erhöht. Für Praxen, Kanzleien und andere Berufsgeheimnisträger kommen besondere Vertraulichkeitspflichten hinzu.
Ein zentrales Thema ist der Drittlandtransfer. Viele leistungsfähige Sprachmodelle und Sprachdienste stammen von US-Anbietern. Ihr Einsatz ist nicht ausgeschlossen, erfordert aber eine sorgfältige Prüfung: Gibt es eine EU-Region? Welche Unterauftragsverarbeiter sind beteiligt? Werden Daten zum Training verwendet? Welcher Transfermechanismus greift? Als Alternativen kommen europäische Anbieter, Verarbeitung in einer EU-Region mit vertraglichen Zusicherungen oder der Selbstbetrieb offener Modelle auf eigener oder europäischer Infrastruktur in Frage. Letzteres bietet die höchste Datenhoheit, erhöht aber Aufwand und Betriebsverantwortung.
Der EU AI Act sieht für KI-Systeme, die direkt mit Menschen interagieren, Transparenzpflichten vor: Menschen sollen erkennen können, dass sie mit einer KI sprechen, sofern das nicht offensichtlich ist. Für Voice Agents bedeutet das praktisch einen klaren, gesprochenen Hinweis zu Beginn des Gesprächs. Bei sehr menschlich klingenden Stimmen ist diese Offenlegung besonders wichtig; auch Fragen zur Kennzeichnung synthetisch erzeugter Inhalte sind zu beachten. Die meisten Voice Agents im Kundenservice gelten nicht als Hochrisiko-Systeme. Werden sie jedoch für Entscheidungen eingesetzt, die den Zugang zu wesentlichen Leistungen betreffen, kann die Einstufung anders ausfallen und ist im Einzelfall zu bewerten.
Für ausgehende Anrufe ist zusätzlich das Wettbewerbsrecht (UWG) maßgeblich. Werbeanrufe gegenüber Verbrauchern sind in Deutschland ohne vorherige ausdrückliche Einwilligung unzulässig, gegenüber Unternehmen gelten ebenfalls enge Grenzen. Für Anrufe mit automatischen Systemen bestehen besonders strenge Anforderungen. Auch servicebezogene Outbound-Anrufe wie Terminerinnerungen sollten auf einer sauberen Grundlage stehen und eine einfache Möglichkeit zum Widerspruch bieten. Hinzu kommen telekommunikationsrechtliche Aspekte wie die Rufnummernanzeige.