Wissensdatenbank · Voice & Conversational AI · Speech-to-Speech-API

OpenAI Realtime API – Sprach-KI in Echtzeit als Baustein für eigene Voice Agents.

Die OpenAI Realtime API ist eine Schnittstelle, über die ein Sprachmodell gesprochene Sprache direkt versteht und direkt mit Sprache antwortet – ohne den klassischen Umweg über getrennte Spracherkennung, Textmodell und Sprachsynthese. Das ermöglicht natürliche, unterbrechbare Gespräche mit kurzer Reaktionszeit. Für den Mittelstand ist sie ein leistungsfähiger Baustein, aber kein fertiges Produkt: Telefonie, Geschäftslogik, Qualitätssicherung und vor allem der Datenschutz bei einem US-Anbieter müssen bewusst gestaltet werden.

Dieser Artikel wurde mithilfe künstlicher Intelligenz erstellt und redaktionell geprüft.

28 Min. Lesezeit
Aktualisiert · Oktober 2026
Fachartikel · Expertenbeitrag
OpenAI Realtime API
OpenAI · USA (Vertragspartner für EU-Kunden prüfen)
Typ
Speech-to-Speech-API für Voice Agents
Modelle
Realtime-Modelle, inkl. kleinerer Varianten (prüfen)
Anbindung
WebRTC, WebSocket, SIP
Agent-Funktionen
Function Calling, MCP, Agents SDK
Datenhoheit
US-Cloud – Drittlandtransfer; EU-Optionen prüfen
Hauptwettbewerb
Cascaded-Pipelines, ElevenLabs, Gemini Live
INAGRO Eignung Mittelstand mit Entwicklungspartner
★★★★★
Kapitel 01 · Überblick

Was ist die OpenAI Realtime API?

Die OpenAI Realtime API ist eine Programmierschnittstelle, über die Anwendungen eine fortlaufende, bidirektionale Verbindung zu einem Sprachmodell aufbauen. Audio fließt in Echtzeit zum Modell, das Modell antwortet in Echtzeit mit Audio – und kann dabei Werkzeuge aufrufen, Daten abfragen und auf Unterbrechungen reagieren. Sie ist damit ein zentraler Baustein für Voice Agents, also Sprachassistenten, die Gespräche führen statt nur Befehle entgegenzunehmen.

Lange Zeit funktionierten Sprachassistenten nach einem festen Schema: Eine Spracherkennung wandelt das Gesprochene in Text um, ein Sprachmodell oder eine Dialoglogik erzeugt eine Textantwort, und eine Sprachsynthese liest diese Antwort vor. Diese Kette – im Fachjargon Cascaded Pipeline – ist bewährt und flexibel, hat aber zwei typische Schwächen. Jede Stufe kostet Zeit, sodass sich Verzögerungen addieren. Und mit der Umwandlung in Text gehen Informationen verloren: Tonfall, Zögern, Betonung, Lachen oder Ärger in der Stimme kommen beim Sprachmodell nicht an.
Die Realtime API setzt auf ein anderes Prinzip. Die dahinterliegenden Modelle sind darauf ausgelegt, Audio direkt zu verarbeiten und direkt Audio zu erzeugen. Man spricht von Speech-to-Speech oder nativ multimodalen Sprachmodellen. Das verkürzt die Reaktionszeit, macht Gespräche flüssiger und erlaubt eine Ausdrucksweise, die näher an menschlicher Kommunikation liegt. Gleichzeitig bleibt die Schnittstelle offen für klassische Elemente: Transkripte lassen sich mitschreiben, Textnachrichten können eingespeist werden, und Funktionen in eigenen Systemen werden aus dem Gespräch heraus aufgerufen.
Drei Eigenschaften prägen die Realtime API:
  • Echtzeit-Verbindung statt Anfrage-Antwort – Anders als bei klassischen API-Aufrufen wird eine Sitzung geöffnet, in der laufend Ereignisse in beide Richtungen fließen: Audiofragmente, Transkripte, Statusmeldungen, Werkzeugaufrufe. Das ist technisch anspruchsvoller, aber die Voraussetzung für natürliche Gespräche.
  • Gesprächsfähigkeit eingebaut – Die API erkennt, wann ein Sprecher fertig ist, lässt sich vom Gegenüber unterbrechen und kann mitten im Satz auf Einwürfe reagieren. Funktionen, die man bei Cascaded-Systemen mühsam selbst bauen muss, sind hier Teil der Plattform.
  • Baustein, kein Produkt – Die Realtime API liefert die Sprach-Intelligenz. Telefonnummern, Gesprächslogik, Anbindung an CRM oder ERP, Protokollierung, Qualitätssicherung und Datenschutz-Konzept sind Aufgabe des Unternehmens oder seines Umsetzungspartners.

Vom Sprachmodus der Chat-App zur Entwickler-Schnittstelle

Viele kennen die Technologie aus dem Sprachmodus von ChatGPT, in dem man sich frei mit dem Modell unterhalten kann. Die Realtime API stellt vergleichbare Fähigkeiten Entwicklern zur Verfügung, damit diese eigene Anwendungen bauen können – vom Telefon-Assistenten für die Kundenhotline über Sprachsteuerung in Software bis zu Trainings- und Lernanwendungen. OpenAI hat die Schnittstelle zunächst als Vorschau veröffentlicht und seither schrittweise erweitert: um zusätzliche Verbindungswege, um Telefonie über SIP, um die Anbindung externer Werkzeuge und um weitere Modellvarianten. Da sich Funktionsumfang, Modellbezeichnungen und Bedingungen in diesem Bereich schnell ändern, gilt für jede Planung: Der aktuelle Stand ist in der Dokumentation des Anbieters zu prüfen, nicht in älteren Blogartikeln.
Wichtig für die Einordnung ist auch der Anbieter selbst. OpenAI ist ein US-Unternehmen. Die Verarbeitung findet – sofern keine besonderen Optionen gewählt werden – in Rechenzentren außerhalb der EU statt. Das hat Folgen für die datenschutzrechtliche Bewertung, die wir in Kapitel 09 ausführlich behandeln. Wer die Realtime API einsetzt, sollte diese Frage nicht ans Ende des Projekts schieben, sondern vor dem ersten produktiven Gespräch klären.

Für wen die Realtime API gedacht ist

Die Realtime API richtet sich an Entwicklerteams und Softwareanbieter, die Sprachanwendungen in eigene Produkte und Prozesse einbauen wollen. Typische Nutzer sind Unternehmen mit eigener Softwareentwicklung, Digitalagenturen und Systemhäuser, Anbieter von Contact-Center- und Telefonie-Lösungen sowie Plattformen, die Voice Agents als Service anbieten und die Realtime API im Hintergrund nutzen. Für eine Fachabteilung, die ohne IT-Unterstützung einen Telefon-Assistenten aufsetzen möchte, ist die API in Reinform zu technisch – hier sind Plattformen, die sie kapseln, oder spezialisierte Voice-AI-Anbieter der passendere Weg.
INAGRO-Einschätzung

Die Realtime API gehört zu den leistungsfähigsten Bausteinen für natürliche, schnelle Sprachdialoge. Ihr Wert entfaltet sich aber erst in einer sauberen Architektur mit klarer Gesprächslogik, Werkzeugen, Tests und einem tragfähigen Datenschutz-Konzept. Für den Mittelstand ist sie besonders interessant, wenn ein erfahrener Umsetzungspartner oder ein eigenes Entwicklerteam vorhanden ist – und wenn die Frage des Drittlandtransfers geklärt oder über eine EU-Bezugsoption gelöst wird.

Kapitel 02 · Modellfamilie & Positionierung

Realtime-Modelle und ihre Rolle im OpenAI-Angebot

Hinter der Realtime API stehen eigens auf Sprache optimierte Modelle. Sie unterscheiden sich in Qualität, Geschwindigkeit und Kosten und stehen neben weiteren Audio-Angeboten von OpenAI. Wer die Rollen der einzelnen Bausteine kennt, wählt die passende Architektur. Konkrete Modellbezeichnungen und Versionen ändern sich regelmäßig – sie sind immer beim Anbieter zu prüfen.

Realtime-Modell (Standard)
Flaggschiff

Das leistungsstärkere Speech-to-Speech-Modell für anspruchsvolle Gespräche: besseres Befolgen von Anweisungen, zuverlässigere Werkzeugaufrufe, natürlichere Stimmen und mehr Ausdrucksfähigkeit. Höhere Kosten je Gesprächsminute.

EingabeAudio, Text, teils Bild (prüfen)
AusgabeAudio und Text
StärkeQualität, Tool-Nutzung
EinsatzKundendialog, komplexe Fälle
Kleinere Realtime-Variante
Kosteneffizient

Eine kompaktere Variante mit geringeren Kosten, gedacht für hohe Volumen und einfachere Dialoge. Je nach Anwendungsfall ausreichend – oder bei komplexen Anweisungen und Werkzeugketten spürbar schwächer. Eignung im Test messen.

EingabeAudio, Text
AusgabeAudio und Text
StärkePreis, Volumen
EinsatzFAQ, Vorqualifizierung
Transkriptionsmodelle
Speech-to-Text

Spezialisierte Modelle zur Umwandlung von Sprache in Text, nutzbar als eigenständige Audio-API oder innerhalb einer Realtime-Sitzung für Mitschriften. Grundlage für Protokolle, Auswertung und Cascaded-Architekturen.

EingabeAudio
AusgabeText
StärkeMitschrift, Analyse
EinsatzProtokolle, Live-Untertitel
Sprachsynthese-Modelle
Text-to-Speech

Modelle, die Text in gesprochene Sprache umwandeln, teils mit steuerbarer Sprechweise. Sie sind Baustein einer klassischen Kette aus Spracherkennung, Textmodell und Synthese – die Alternative zum direkten Speech-to-Speech-Ansatz.

EingabeText
AusgabeAudio
StärkeKontrolle über Text
EinsatzCascaded-Pipelines

Standard- und Mini-Varianten: Qualität gegen Kosten abwägen

OpenAI bietet für die Realtime API in der Regel mindestens zwei Leistungsstufen an: ein leistungsstärkeres Modell und eine kleinere, günstigere Variante. Die Unterschiede zeigen sich weniger bei einfachen Smalltalk-Sätzen als in den Details, auf die es im Unternehmenseinsatz ankommt. Hält sich der Assistent an lange, verschachtelte Anweisungen? Ruft er Werkzeuge mit den richtigen Parametern auf, auch wenn der Anrufer die Kundennummer in drei Anläufen nennt? Bleibt er beim Thema, wenn das Gespräch abschweift? Versteht er Dialekt, Fachbegriffe und Eigennamen? Erfahrungsgemäß schneidet das größere Modell bei solchen Anforderungen robuster ab, während die kleinere Variante für einfache, klar umrissene Abläufe ausreichen kann.
Eine pauschale Empfehlung ist nicht seriös. Sinnvoll ist ein strukturierter Vergleich mit eigenen Testgesprächen: dieselben Szenarien, dieselben Anweisungen, beide Modelle, gemessen an Erfolgsquote, Werkzeugtreue und subjektiver Gesprächsqualität. Daneben lohnt der Blick auf die Weiterentwicklung: OpenAI veröffentlicht in diesem Bereich regelmäßig neue Modellstände, die ältere ablösen. Eine Architektur, in der das Modell per Konfiguration austauschbar ist, und eine Testsuite, die einen Modellwechsel absichert, sind daher keine Kür, sondern Pflicht.

Verhältnis zu Chat-, Responses- und Audio-APIs

Die Realtime API ist nicht die einzige Möglichkeit, mit OpenAI-Modellen Sprachanwendungen zu bauen. Daneben stehen die textbasierten Schnittstellen für Chat und Agenten sowie eigenständige Audio-Schnittstellen für Transkription und Sprachsynthese. Daraus ergeben sich zwei grundsätzliche Architekturen. Bei der Speech-to-Speech-Architektur verarbeitet ein Realtime-Modell Audio direkt, was kurze Reaktionszeiten und natürliche Prosodie bringt. Bei der verketteten Architektur werden Transkription, ein Textmodell und Sprachsynthese hintereinandergeschaltet – mit mehr Kontrolle über jeden Zwischenschritt, voller Sicht auf den Text und der Freiheit, für jede Stufe ein anderes Modell oder einen anderen Anbieter zu wählen.
OpenAI selbst beschreibt beide Wege als legitim. Die Realtime API ist die erste Wahl, wenn die Gesprächserfahrung im Vordergrund steht: Telefonie, Live-Beratung, Sprachsteuerung. Die verkettete Architektur ist oft besser, wenn jede Antwort vor der Ausgabe geprüft werden muss, wenn sehr leistungsfähige Textmodelle für komplexes Schließen benötigt werden oder wenn Bausteine verschiedener Hersteller kombiniert werden sollen. In der Praxis entstehen zunehmend Mischformen, etwa Realtime-Modelle für das Gespräch und ein Textmodell im Hintergrund für schwierige Teilaufgaben.
Modellnamen sind Momentaufnahmen

Bezeichnungen wie „Realtime“, „Mini“ oder Versionsnummern mit Datumsangaben ändern sich häufig, ältere Stände werden abgekündigt. Legen Sie sich in Konzepten und Verträgen nicht auf einen Modellnamen fest, sondern auf Qualitätskriterien und einen Prozess, mit dem neue Modelle getestet und freigegeben werden. Aktuelle Modelle, Fähigkeiten und Abkündigungstermine sind beim Anbieter zu prüfen.

Kapitel 03 · Funktionsumfang

Speech-to-Speech, Sessions und natürlicher Gesprächsfluss

Technisch ist die Realtime API ein ereignisbasiertes System. Eine Sitzung wird geöffnet und konfiguriert, danach tauschen Anwendung und Modell laufend Ereignisse aus. Die Kunst liegt darin, Gesprächsmechanik wie Sprecherwechsel, Unterbrechungen und Mitschriften so einzustellen, dass sich das Gespräch für den Menschen natürlich anfühlt.

Sessions, Ereignisse und Konfiguration

Zu Beginn jeder Verbindung steht eine Session. In ihr werden die grundlegenden Eigenschaften des Assistenten festgelegt: die Anweisungen, also der Systemprompt mit Rolle, Tonalität und Regeln; die Stimme, mit der das Modell spricht; die verfügbaren Werkzeuge; die Audioformate für Ein- und Ausgabe; die Art der Sprechererkennung und ob Transkripte erzeugt werden sollen. Viele dieser Einstellungen lassen sich während des laufenden Gesprächs anpassen – etwa wenn der Assistent nach einer Authentifizierung zusätzliche Werkzeuge erhalten soll oder wenn ein anderer Gesprächsabschnitt andere Anweisungen erfordert.
Innerhalb der Session existiert eine Konversation aus einzelnen Einträgen: Nutzerbeiträge, Antworten des Modells, Werkzeugaufrufe und deren Ergebnisse. Die Anwendung kann Einträge hinzufügen, etwa Kontextinformationen aus dem CRM, oder entfernen, um den Gesprächsverlauf schlank zu halten. Das ist wichtig, weil lange Gespräche mit viel Audio-Kontext teurer und langsamer werden. Die Kommunikation selbst läuft über eine Vielzahl von Ereignissen: Das Modell meldet etwa, dass Sprache erkannt wurde, dass eine Antwort beginnt, dass Audiofragmente bereitstehen oder dass ein Werkzeugaufruf ansteht. Für Entwickler bedeutet das ein anderes Programmiermodell als bei klassischen Anfrage-Antwort-Schnittstellen.

Turn Detection und Unterbrechungen

Der vielleicht wichtigste Unterschied zwischen einem guten und einem schlechten Voice Agent ist das Timing. Antwortet der Assistent zu früh, fällt er dem Anrufer ins Wort, wenn dieser nur kurz Luft holt. Antwortet er zu spät, entstehen unangenehme Pausen. Die Realtime API bietet dafür eine eingebaute Voice Activity Detection (VAD), die erkennt, wann jemand spricht und wann eine Äußerung beendet ist. Neben einer klassischen, an Stille und Lautstärke orientierten Variante gibt es eine semantische Erkennung, die zusätzlich den Inhalt berücksichtigt: Ein Satz wie „Meine Kundennummer ist …“ deutet darauf hin, dass noch etwas folgt, auch wenn kurz Stille herrscht. Schwellenwerte, Pausendauer und Reaktionsfreudigkeit lassen sich konfigurieren; alternativ kann die Anwendung den Sprecherwechsel vollständig selbst steuern, etwa bei Push-to-Talk.
Ebenso wichtig ist der Umgang mit Unterbrechungen, im Fachjargon Barge-in. Spricht der Anrufer, während der Assistent noch redet, soll dieser verstummen und zuhören. Die API unterstützt dieses Verhalten. Damit der Gesprächsverlauf stimmig bleibt, muss die Anwendung allerdings mitteilen, bis zu welcher Stelle die Antwort tatsächlich abgespielt wurde – sonst „glaubt“ das Modell, es habe Informationen genannt, die der Anrufer nie gehört hat. Bei WebRTC übernimmt die Plattform vieles davon, bei WebSocket- und Telefonie-Integrationen ist hier sorgfältige Implementierung gefragt. Hintergrundgeräusche, Freisprecheinrichtungen und Echo am Telefon sind die häufigsten Ursachen für ungewollte Unterbrechungen und gehören in jeden Test.

Stimmen, Transkription und Mehrsprachigkeit

Das Modell spricht mit einer von mehreren vordefinierten Stimmen. Über die Anweisungen lassen sich Tempo, Tonfall und Stil beeinflussen – freundlich und ruhig, knapp und sachlich, mit oder ohne Duzen. Eigene, geklonte Stimmen wie bei spezialisierten Sprachsynthese-Anbietern sind nach unserem Kenntnisstand nicht der Kern des Angebots; der aktuelle Stand ist beim Anbieter zu prüfen. Wer eine markenspezifische Stimme benötigt, landet daher oft bei einer verketteten Architektur mit separater Sprachsynthese.
Parallel zum Gespräch kann die API eine Transkription der Nutzerbeiträge erzeugen, und die Antworten des Modells liegen ohnehin auch als Text vor. Diese Mitschriften sind Grundlage für Gesprächsprotokolle, Qualitätsanalysen, CRM-Einträge und die Übergabe an Mitarbeitende. Wichtig zu wissen: Die Transkription läuft als separater Prozess und ist nicht identisch mit dem, was das Modell „gehört“ hat – kleine Abweichungen sind möglich. Die Modelle sind mehrsprachig und verstehen Deutsch in der Regel gut; die Qualität bei Dialekten, Fachbegriffen, Produktnamen und am Telefon mit reduzierter Audioqualität muss jedoch im eigenen Szenario getestet werden.
Gesprächsmechanik ist Feintuning

Die Standardeinstellungen für Sprechererkennung und Unterbrechungen sind ein guter Start, aber selten das Optimum. Planen Sie gezielte Tests mit echten Telefonverbindungen, unterschiedlichen Sprechern und typischen Störgeräuschen ein. Kleine Änderungen an Pausendauer und Empfindlichkeit haben oft größeren Einfluss auf die Kundenzufriedenheit als ein Modellwechsel.

Kapitel 04 · Agent-Funktionen

Function Calling, MCP und das Agents SDK

Ein Voice Agent, der nur plaudert, löst kein Kundenanliegen. Erst durch Werkzeuge – Abfragen im Warenwirtschaftssystem, Termine im Kalender, Tickets im Service-Tool – wird aus einem Sprachmodell ein Mitarbeiter am Telefon. Die Realtime API bietet dafür mehrere Mechanismen, die von einfachen Funktionsaufrufen bis zu vollständigen Agenten-Frameworks reichen.

Function Calling: das Gespräch mit Systemen verbinden

Beim Function Calling beschreibt die Anwendung dem Modell in der Session-Konfiguration, welche Funktionen zur Verfügung stehen – zum Beispiel „Lieferstatus abfragen“ mit dem Parameter Auftragsnummer oder „Rückruf vereinbaren“ mit Datum, Uhrzeit und Telefonnummer. Erkennt das Modell im Gespräch, dass eine Funktion benötigt wird, sendet es einen strukturierten Aufruf mit den gesammelten Parametern. Die Anwendung führt die Funktion in den eigenen Systemen aus und gibt das Ergebnis zurück, woraufhin das Modell dem Anrufer antwortet. Wichtig: Das Modell selbst greift nie direkt auf Systeme zu. Die Kontrolle darüber, was tatsächlich ausgeführt wird, bleibt in der Anwendung.
Für den Sprachkanal gibt es einige Besonderheiten. Werkzeugaufrufe kosten Zeit, und Stille am Telefon wirkt schnell wie ein Verbindungsabbruch. Bewährt hat sich, dass der Assistent ankündigt, was er tut („Einen Moment, ich schaue nach“), und dass langsame Systeme asynchron angebunden werden. Ebenso wichtig ist die Validierung: Nummern, Daten und Namen sollten vor einer schreibenden Aktion bestätigt werden, und die Anwendung sollte Parameter prüfen, statt dem Modell blind zu vertrauen. Kritische Aktionen wie Stornierungen oder Gutschriften gehören hinter zusätzliche Prüfungen oder eine Freigabe durch Menschen.

Remote-Werkzeuge über MCP

Neben selbst implementierten Funktionen unterstützt die Realtime API die Anbindung von Werkzeugen über das Model Context Protocol (MCP), einen offenen Standard für die Verbindung von Sprachmodellen mit externen Diensten. Statt jede Funktion einzeln zu beschreiben, wird ein MCP-Server angegeben, dessen Werkzeuge das Modell dann nutzen kann. Das beschleunigt die Integration, wenn für ein System bereits ein MCP-Server existiert – etwa für Ticket-, Kalender- oder Wissenssysteme.
Mit der Bequemlichkeit wächst die Verantwortung. Bei MCP-Werkzeugen ruft die Plattform den externen Server unter Umständen direkt auf, statt den Umweg über die eigene Anwendung zu gehen. Damit verschieben sich Datenflüsse: Welche Daten gehen an welchen Server, wer authentifiziert sich wie, welche Werkzeuge sind freigegeben, und welche Aufrufe müssen vorher genehmigt werden? Für Unternehmensdaten empfehlen wir, MCP-Server nur aus vertrauenswürdigen Quellen zu nutzen, die Werkzeugliste explizit einzuschränken und schreibende Aktionen mit Freigabemechanismen abzusichern. Wie die Datenflüsse im Detail aussehen, ist in der Dokumentation des Anbieters zu prüfen und im Datenschutz-Konzept zu dokumentieren.

Agents SDK, Übergaben und Guardrails

Für komplexere Anwendungen stellt OpenAI ein Agents SDK bereit, das auch Realtime-Sprachagenten unterstützt. Es nimmt Entwicklern wiederkehrende Aufgaben ab: Sitzungsverwaltung, Werkzeugausführung, Gesprächsverlauf und die Übergabe zwischen spezialisierten Agenten. So lässt sich etwa ein Empfangsagent bauen, der das Anliegen klärt und an einen Agenten für Reklamationen oder einen für Terminbuchungen übergibt – jeweils mit eigenen Anweisungen und Werkzeugen. Welche Programmiersprachen und Funktionen das SDK für Realtime aktuell abdeckt, ist beim Anbieter zu prüfen.
Ebenfalls Teil des Konzepts sind Guardrails, also Schutzmechanismen, die Eingaben und Ausgaben prüfen. Bei Sprachagenten ist das anspruchsvoller als bei Text, weil Antworten gestreamt werden und bereits gesprochen sind, bevor eine Prüfung abgeschlossen ist. Typische Muster sind daher: Prüfung der Transkripte parallel zum Gespräch mit der Möglichkeit, die Antwort abzubrechen; eng gefasste Anweisungen mit klaren Themen- und Handlungsgrenzen; serverseitige Prüfung aller Werkzeugaufrufe; sowie definierte Übergaben an Menschen bei sensiblen Themen. Für Branchen mit Haftungsrisiken, etwa Finanz- oder Gesundheitsauskünfte, sind diese Mechanismen besonders sorgfältig auszulegen.
Empfehlung aus der Praxis

Starten Sie mit wenigen, gut beschriebenen Werkzeugen statt mit einem umfangreichen Katalog. Je mehr Werkzeuge ein Modell zur Auswahl hat, desto häufiger wählt es das falsche. Lieber zwei Agenten mit je fünf klaren Funktionen als einer mit zwanzig – und jede schreibende Aktion mit einer Bestätigung im Gespräch absichern.

Kapitel 05 · Integrationen & Ökosystem

WebRTC, WebSocket, SIP und das Voice-Ökosystem

Wie Audio zum Modell und zurück gelangt, entscheidet über Latenz, Sicherheit und Aufwand. Die Realtime API bietet dafür drei Wege – und ein wachsendes Ökosystem aus Telefonie-Anbietern und Echtzeit-Frameworks, die die Integration erleichtern. Die richtige Wahl hängt vor allem vom Kanal ab: Browser, App, Server oder Telefon.

Anbindung Typischer Einsatz Aufwand Hinweis
WebRTC Browser und mobile Apps, Sprachassistent auf der Website Gering bis mittel Kurzlebige Zugangsschlüssel vom eigenen Server nutzen
WebSocket Server-zu-Server, eigene Audio-Pipelines, Telefonie-Brücken Mittel Audio-Puffer und Unterbrechungen selbst steuern
SIP Direkte Anbindung an Telefonanlagen und SIP-Trunks Mittel Verfügbarkeit und Datenfluss beim Anbieter prüfen
Twilio & CPaaS Telefonnummern, Anrufsteuerung, Weiterleitung Mittel Weiterer Auftragsverarbeiter im Datenfluss
LiveKit, Pipecat Orchestrierung, Multi-Anbieter, eigene Pipelines Mittel bis hoch Mehr Kontrolle, mehr Engineering
CRM, ERP, Ticketing Werkzeuge per Function Calling oder MCP Mittel Saubere APIs der Kernsysteme vorausgesetzt

WebRTC und WebSocket: zwei Wege für Audio

WebRTC ist der Standard für Echtzeit-Kommunikation im Browser und in Apps. Die Verbindung läuft direkt vom Endgerät zum Anbieter, Audio wird effizient übertragen, und Netzwerkprobleme wie schwankende Bandbreite werden vom Protokoll abgefedert. Damit der eigentliche API-Schlüssel nicht im Browser landet, erzeugt der eigene Server kurzlebige Zugangsschlüssel, die nur für eine Sitzung gelten. Werkzeugaufrufe und Geschäftslogik können dennoch serverseitig bleiben, etwa über einen parallelen Kontrollkanal. WebRTC ist die erste Wahl für Sprachassistenten auf der Website, in Kundenportalen oder in mobilen Anwendungen.
WebSocket eignet sich für Server-zu-Server-Szenarien: Die eigene Anwendung hält die Verbindung zum Modell und leitet Audio von einer anderen Quelle weiter, typischerweise von einer Telefonieplattform. Das gibt volle Kontrolle über den Datenstrom – etwa für Protokollierung, Filterung oder das Einspielen von Wartemusik –, erfordert aber mehr eigene Arbeit bei Audio-Formaten, Pufferung und der korrekten Behandlung von Unterbrechungen.

Telefonie: SIP, Twilio und Telefonanlagen

Für Voice Agents am Telefon gibt es zwei Grundmuster. Beim ersten Muster nimmt ein Telefonie-Anbieter wie Twilio Voice den Anruf entgegen und streamt das Audio über eine eigene Anwendung per WebSocket zur Realtime API. Das ist flexibel, bewährt und erlaubt Funktionen wie Weiterleitung an Mitarbeitende, Aufzeichnung oder Warteschleifen über die Telefonieplattform. Beim zweiten Muster wird der Anruf per SIP direkt an die Realtime API übergeben, die Anwendung steuert das Gespräch über Ereignisse und Webhooks. Das reduziert eine Zwischenstation und kann die Latenz senken, bindet aber stärker an den Anbieter.
Für mittelständische Unternehmen ist häufig die Anbindung der bestehenden Telefonanlage die eigentliche Herausforderung. Ob Cloud-Telefonanlage, klassische Anlage mit SIP-Trunk oder Contact-Center-Software: Es muss geklärt werden, wie Anrufe zum Voice Agent gelangen, wie sie mit Kontext an Mitarbeitende zurückgegeben werden und wer welche Daten verarbeitet. Jeder zusätzliche Dienstleister im Datenfluss ist ein weiterer Auftragsverarbeiter mit eigener Standort- und Vertragsfrage.

Frameworks: LiveKit und Pipecat als Orchestrierungsschicht

Echtzeit-Frameworks wie LiveKit und Pipecat stellen eine Schicht zwischen Kanal und Modell bereit. Sie übernehmen Medientransport, Telefonie-Anbindung, Sprechererkennung, Unterbrechungslogik und die Verwaltung von Werkzeugen – und unterstützen die Realtime API ebenso wie verkettete Pipelines aus Spracherkennung, Textmodell und Synthese verschiedener Anbieter. Der große Vorteil: Das Modell wird austauschbar. Wer heute mit der Realtime API startet, kann morgen auf einen anderen Speech-to-Speech-Anbieter oder eine europäisch gehostete Kette wechseln, ohne die gesamte Anwendung neu zu bauen. Für Unternehmen, die Abhängigkeiten begrenzen wollen, ist eine solche Orchestrierungsschicht daher oft die strategisch sinnvollere Architektur.
Kapitel 06 · Abgrenzung

Realtime API im Vergleich zu Alternativen

Die Realtime API konkurriert mit verketteten Pipelines aus Einzeldiensten, mit spezialisierten Voice-AI-Anbietern, mit den Speech-to-Speech-Angeboten anderer großer Modellanbieter und mit Plattformen, die fertige Voice Agents liefern. Die folgende Einordnung ist herstellerneutral und qualitativ – sie ersetzt keinen Vergleichstest mit eigenen Szenarien.

Aspekt OpenAI Realtime Cascaded STT/LLM/TTS ElevenLabs Gemini Live Parloa / Cognigy
Grundansatz Speech-to-Speech-API Kette aus Einzeldiensten Voice-Agent-Plattform mit Stimm-Fokus Speech-to-Speech-API Plattform für Kundenservice
Natürlichkeit & Tempo Sehr hoch Abhängig vom Setup Hoch Hoch Abhängig vom Modell
Kontrolle über Text Mittel Sehr hoch Mittel bis hoch Mittel Hoch
Anbieterwahl / EU-Hosting Über Optionen prüfen Frei kombinierbar Prüfen Prüfen Je nach Vertrag
Benötigte Skills Entwicklung Entwicklung & Tuning Mittel Entwicklung Gering bis mittel
Sweet Spot Natürliche Dialoge, eigene Produkte Kontrolle, Compliance, Flexibilität Markenstimme, schneller Start Google-Ökosystem, Multimodalität Contact Center ohne Eigenentwicklung

Realtime API vs. verkettete Pipeline

Die verkettete Architektur aus Spracherkennung, Sprachmodell und Sprachsynthese bleibt eine starke Alternative. Ihr größter Vorteil ist Kontrolle: Jede Antwort liegt zuerst als Text vor und kann geprüft, gefiltert oder angereichert werden, bevor sie gesprochen wird. Für jede Stufe lässt sich der beste oder datenschutzfreundlichste Anbieter wählen – etwa eine selbst gehostete Spracherkennung wie Whisper, ein Sprachmodell in einer EU-Region und eine Synthese mit markenspezifischer Stimme. Eine ausführliche Einordnung bietet unser Artikel zu STT, TTS und Voice Agents.
Der Preis dafür sind mehr Schnittstellen, mehr Tuning und tendenziell höhere Reaktionszeiten, weil sich die Verzögerungen der Stufen addieren. Mit Streaming auf allen Ebenen lässt sich das deutlich reduzieren, aber selten ganz auf das Niveau eines nativen Speech-to-Speech-Modells bringen. Zudem gehen Informationen aus der Stimme verloren. Die Realtime API punktet dagegen mit Natürlichkeit und Einfachheit, verlangt aber Vertrauen in ein Modell, dessen Antworten nicht vorab als Text geprüft werden können. In regulierten Szenarien spricht das häufig für die Kette, in serviceorientierten Szenarien mit Fokus auf Gesprächserlebnis eher für Speech-to-Speech.

Realtime API vs. ElevenLabs und Gemini Live

ElevenLabs kommt aus der Sprachsynthese und bietet eine Plattform für Conversational Agents mit besonderem Fokus auf Stimmqualität, Stimmauswahl und eigene Markenstimmen. Die Plattform liefert mehr Bausteine fertig – Wissensbasis, Telefonie-Anbindung, Auswertung – und erlaubt die Wahl unterschiedlicher Sprachmodelle im Hintergrund. Für Unternehmen, denen eine unverwechselbare Stimme wichtig ist oder die schneller ohne viel eigene Entwicklung starten wollen, ist das ein ernsthafter Vergleichskandidat.
Gemini Live von Google verfolgt einen ähnlichen Ansatz wie die Realtime API: ein nativ multimodales Modell für Audio-Gespräche in Echtzeit, eingebettet in die Google-Cloud-Welt. Für Unternehmen, die bereits stark auf Google Cloud setzen, kann die Integration einfacher sein, auch bei Fragen der Datenregion. Qualität, Deutschkenntnisse, Werkzeugtreue und Konditionen sollten im direkten Vergleich mit eigenen Testgesprächen bewertet werden – Herstellerbenchmarks sind hier wenig aussagekräftig.

Realtime API vs. Plattformen wie Parloa und Cognigy

Plattformen wie Parloa oder Cognigy setzen eine Ebene höher an. Sie liefern nicht nur das Modell, sondern eine vollständige Umgebung: Gesprächsdesign, Telefonie-Integration, Übergabe an Contact Center, Analyse, Rollen und Rechte, Betrieb. Häufig nutzen sie im Hintergrund selbst Sprachmodelle verschiedener Anbieter, teils auch Speech-to-Speech-Modelle. Für ein Unternehmen ohne eigene Entwicklung führt eine solche Plattform oft schneller und mit weniger Risiko ans Ziel. Die Realtime API ist dagegen die richtige Wahl, wenn Sprachfunktionen Teil des eigenen Produkts werden sollen oder wenn maximale Gestaltungsfreiheit gefragt ist. Ergänzend lohnt der Blick auf Plattformen wie Vapi, die als Entwicklerplattform zwischen beiden Welten liegen.
Wann die Realtime API gewinnt – und wann nicht
Die Realtime API gewinnt, wenn natürliche, schnelle Gespräche im Vordergrund stehen, ein Entwicklungsteam oder Partner vorhanden ist und Sprachfunktionen in eigene Anwendungen integriert werden sollen. Sie verliert gegen die verkettete Pipeline, wenn jede Antwort vorab geprüft werden muss oder Daten die EU nicht verlassen dürfen, gegen ElevenLabs bei Markenstimmen, und gegen Plattformen wie Parloa, wenn ein Contact Center ohne Eigenentwicklung schnell automatisieren will.
Kapitel 07 · Einführung & Betrieb

Prompting, Evaluierung und stabiler Betrieb

Ein Prototyp mit der Realtime API ist schnell gebaut – oft in wenigen Tagen. Der Weg zu einem Voice Agent, der täglich hunderte Gespräche zuverlässig führt, ist deutlich länger. Er führt über sorgfältige Anweisungen, systematische Tests, Kostensteuerung und durchdachte Rückfallebenen.

01
Use Case und Erfolgskriterien
Welche Anliegen soll der Voice Agent lösen, über welchen Kanal, mit welchem Volumen? Wir priorisieren nach Häufigkeit, Prozessklarheit und Integrationsaufwand und definieren messbare Ziele wie Lösungsquote, Übergabequote und Zufriedenheit.
02
Datenschutz- und Architekturentscheidung
Direkter Bezug bei OpenAI oder über eine EU-Region bei einem Cloud-Anbieter? Speech-to-Speech oder Kette? Welche Telefonie, welches Framework? Diese Fragen bestimmen Datenflüsse, Verträge und Kosten und gehören vor den ersten Prototyp.
03
Prototyp mit realistischen Gesprächen
Zwei bis drei Kernszenarien mit wenigen Werkzeugen, getestet mit echten Telefonverbindungen und anonymisierten, realistischen Formulierungen. Ziel ist eine belastbare Aussage zu Verständnis, Gesprächsfluss und Aufwand.
04
Evaluierung und Testsuite
Aufbau einer Sammlung von Testszenarien mit erwarteten Ergebnissen, automatisierte Simulationen und manuelle Hörproben. Jede Änderung an Anweisungen, Werkzeugen oder Modell wird gegen diese Suite geprüft.
05
Pilot mit begrenztem Volumen
Start in einem Zeitfenster oder für eine Teilmenge der Anrufe, mit klarer Übergabe an Mitarbeitende und enger Auswertung. Fehler aus echten Gesprächen werden zu neuen Testfällen.
06
Skalierung und Betrieb
Ausbau auf weitere Anliegen, Monitoring von Qualität, Kosten und Verfügbarkeit, Prozess für Modellwechsel sowie ein festes Team, das den Voice Agent als Produkt verantwortet.

Prompting für Sprache: anders schreiben als für Text

Anweisungen für einen Voice Agent unterscheiden sich deutlich von Prompts für Chat-Anwendungen. Gesprochene Antworten müssen kurz sein; Aufzählungen, Tabellen und lange Absätze funktionieren am Telefon nicht. Bewährt haben sich klar gegliederte Anweisungen mit Abschnitten für Rolle und Ziel, Persönlichkeit und Tonfall, Sprachregeln, Gesprächsablauf, Werkzeugnutzung und Grenzen. Dazu gehören konkrete Vorgaben wie „antworte in höchstens zwei Sätzen“, „wiederhole Nummern Ziffer für Ziffer zur Bestätigung“ oder „wenn du unsicher bist, frage nach statt zu raten“.
Besondere Aufmerksamkeit verdienen Zahlen, Namen und Abkürzungen: Wie soll eine Bestellnummer vorgelesen werden, wie ein Produktname ausgesprochen, wie eine E-Mail-Adresse buchstabiert? Ebenso wichtig sind Beispiele für typische Formulierungen und für unerwünschtes Verhalten. Anweisungen sollten versioniert werden wie Software, damit nachvollziehbar bleibt, welche Fassung zu welchem Zeitpunkt aktiv war – auch mit Blick auf Dokumentationspflichten.

Evaluierung und Qualitätssicherung

Sprachmodelle verhalten sich nicht deterministisch. Dieselbe Frage kann zu leicht unterschiedlichen Antworten führen, und eine kleine Änderung an den Anweisungen kann unerwartete Nebenwirkungen haben. Deshalb braucht jeder produktive Voice Agent eine Evaluierung: eine Sammlung typischer und schwieriger Gesprächsszenarien, die regelmäßig durchgespielt und bewertet wird. Bewertet werden etwa, ob das Anliegen gelöst wurde, ob die richtigen Werkzeuge mit korrekten Parametern aufgerufen wurden, ob Grenzen eingehalten wurden und wie natürlich das Gespräch wirkte. Automatisierte Simulationen, bei denen ein zweites Modell den Anrufer spielt, ergänzen manuelle Stichproben, ersetzen sie aber nicht.
Im laufenden Betrieb kommen Kennzahlen hinzu: Anteil gelöster Anliegen, Übergaben an Menschen, Abbrüche, durchschnittliche Gesprächsdauer, Reaktionszeiten und Fehler bei Werkzeugaufrufen. Gesprächsprotokolle sind dafür unverzichtbar – aber datenschutzrechtlich sensibel. Speicherdauer, Zugriffsrechte und Pseudonymisierung sind von Anfang an festzulegen.

Kostenkontrolle und Fallbacks

Weil die Abrechnung nutzungsabhängig erfolgt, können Kosten bei langen Gesprächen und hohem Volumen schnell steigen. Wirksame Hebel sind: Gesprächskontext begrenzen und alte Einträge entfernen, Anweisungen schlank halten, die kleinere Modellvariante für einfache Abschnitte nutzen, maximale Gesprächsdauer definieren und Ausgabelänge begrenzen. Budgets und Warnschwellen auf Konto- und Projektebene sowie ein Monitoring der Kosten pro Gespräch gehören in jeden produktiven Betrieb.
Ebenso wichtig sind Rückfallebenen. Cloud-Dienste können ausfallen, langsamer werden oder Kapazitätsgrenzen erreichen. Ein Voice Agent braucht daher definierte Wege, wenn das Modell nicht antwortet: Weiterleitung an Mitarbeitende, Ansage mit Rückrufangebot oder Umschalten auf einen alternativen Anbieter über eine Orchestrierungsschicht. Auch inhaltlich muss klar sein, wann der Agent aufgibt und an einen Menschen übergibt – idealerweise mit Zusammenfassung, damit der Anrufer nicht alles wiederholen muss.
Realistische Zeitplanung

Ein überzeugender Prototyp ist mit erfahrenem Team in wenigen Wochen machbar. Bis zum stabilen Produktivbetrieb mit Telefonie-Integration, Werkzeugen, Testsuite, Monitoring und Datenschutz-Dokumentation vergehen typischerweise mehrere Monate. Der Engpass liegt selten im Modell, sondern bei Schnittstellen, Freigaben und der Abstimmung mit Datenschutz und Betriebsrat.

Kapitel 08 · Einsatz im Mittelstand

Die Realtime API im DACH-Mittelstand

Für mittelständische Unternehmen ist Erreichbarkeit ein echter Wettbewerbsfaktor – gerade wenn Fachkräfte knapp sind und Telefonzeiten begrenzt. Voice Agents auf Basis der Realtime API können hier spürbar entlasten. Die folgenden Szenarien zeigen, wo der Einsatz realistisch Wert stiften kann.

Telefonische Vorqualifizierung

Der Voice Agent nimmt Anrufe an, klärt das Anliegen, erfasst Kundennummer und Kontext und leitet gezielt an die zuständige Person weiter – mit Zusammenfassung im CRM.

Weniger Weiterleitungen
Erreichbarkeit außerhalb der Geschäftszeiten

Abends, am Wochenende oder bei Spitzenlast beantwortet der Agent Standardfragen, nimmt Störungsmeldungen auf und vereinbart Rückrufe, statt Anrufer in die Mailbox zu schicken.

Rund um die Uhr erreichbar
Termin- und Auftragsannahme

Handwerksbetriebe, Praxen, Werkstätten und Dienstleister lassen Termine per Telefon buchen, verschieben oder absagen – mit direkter Anbindung an Kalender und Auftragssystem.

Entlastung am Empfang
Bestell- und Lieferstatus

Großhandel und Hersteller beantworten wiederkehrende Fragen zu Lieferterminen, Rückständen und Sendungsverfolgung automatisch aus dem ERP – auf Wunsch mehrsprachig.

Innendienst entlastet
Sprachfunktionen im eigenen Produkt

Softwareanbieter integrieren Sprachsteuerung oder einen sprechenden Assistenten in ihre Anwendung – etwa für Außendienst, Lager oder Fertigung, wo die Hände nicht frei sind.

Produktdifferenzierung
Training und Gesprächssimulation

Vertrieb und Service üben schwierige Gespräche mit einem simulierten Kunden – realistisch, jederzeit verfügbar und ohne personenbezogene Kundendaten im Spiel.

Schneller eingearbeitet

Wer zur Realtime API passt – und wer nicht

Die Realtime API passt zu Mittelständlern, die einen klar umrissenen Sprach-Anwendungsfall mit spürbarem Volumen haben, über eigene Entwicklung oder einen erfahrenen Partner verfügen und das Datenschutzthema aktiv angehen – entweder durch eine tragfähige Bewertung des direkten Bezugs oder durch eine EU-Bezugsoption. Besonders gut passt sie zu Softwareanbietern, die Sprachfunktionen in eigene Produkte einbauen, und zu Unternehmen, die bereits mit OpenAI-Modellen arbeiten und deren Verträge, Prozesse und Freigaben nutzen können.
Weniger gut passt sie, wenn keine Entwicklungskapazität vorhanden ist und ein fertiger Telefon-Assistent gesucht wird; wenn Gesprächsinhalte aus rechtlichen oder vertraglichen Gründen die EU unter keinen Umständen verlassen dürfen und keine geeignete EU-Option verfügbar ist; oder wenn jede Antwort vor der Ausgabe nachweisbar geprüft werden muss. In diesen Fällen sind Plattformen, eine verkettete Architektur mit europäischen Bausteinen oder selbst gehostete Komponenten die bessere Wahl.

Ein typischer Einstiegspfad

Bewährt hat sich ein Einstieg mit einem einzigen, häufigen Anliegen und begrenztem Risiko – etwa Rückrufwünsche außerhalb der Geschäftszeiten oder die Vorqualifizierung von Anrufen. Zunächst wird intern mit Mitarbeitenden als Testanrufern gearbeitet, dann folgt ein Pilot mit einem Teil der echten Anrufe. Erst wenn Gesprächsqualität, Übergaben und Datenschutz-Dokumentation stimmen, wird ausgebaut. Wer die Grundlagen vertiefen möchte, findet sie in unserem Überblicksartikel zu Voice AI; Aspekte der emotionalen Sprachwahrnehmung behandelt der Beitrag zu Hume.
Kapitel 09 · Kosten & DSGVO

Kosten, DSGVO und Datenhoheit

Die Realtime API wird nutzungsabhängig abgerechnet, und sie ist das Angebot eines US-Anbieters. Beides prägt die Planung: Kosten skalieren mit Gesprächsvolumen und -länge, und die datenschutzrechtliche Bewertung muss den Drittlandbezug ausdrücklich adressieren. Konkrete Preise nennen wir nicht; sie sind beim Anbieter zu prüfen.

Modellnutzung
Variabel / beim Anbieter prüfen
Tokenbasiert, getrennt nach Audio und Text, Ein- und Ausgabe
  • Audio-Tokens sind deutlich teurer als Text-Tokens. Zwischengespeicherte Eingaben können günstiger sein. Modellvariante wirkt stark auf die Kosten.
Telefonie
€–€€ / minutenabhängig
Rufnummern, Gesprächsminuten, SIP-Trunks
  • Kosten des Telefonie-Anbieters kommen zur Modellnutzung hinzu. Bei direkter SIP-Anbindung Konditionen gesondert prüfen.
Infrastruktur
€–€€ / laufend
Anwendungsserver, Orchestrierung, Protokolle, Monitoring
  • Eigene Server für Sitzungen, Werkzeuge und Protokollierung oder gemanagte Framework-Dienste einplanen.
Team & Betrieb
€€€ / laufend
Entwicklung, Gesprächsdesign, Qualitätssicherung
  • Häufig der größte Block: Ein Voice Agent ist ein Produkt, das laufend getestet, ausgewertet und verbessert werden muss.

Kosten verstehen und steuern

Die Abrechnung der Realtime API erfolgt über Tokens – getrennt nach Text und Audio sowie nach Eingabe und Ausgabe. Audio ist dabei erheblich teurer als Text. Ein wichtiger, oft unterschätzter Effekt: Bei jeder neuen Antwort wird der bisherige Gesprächskontext erneut als Eingabe verarbeitet. Lange Gespräche werden dadurch überproportional teurer, sofern Zwischenspeicherung und Kontextbegrenzung nicht gezielt genutzt werden. Auch lange Anweisungen und viele Werkzeugbeschreibungen erhöhen die Kosten jeder einzelnen Antwort.
Für die Wirtschaftlichkeitsbetrachtung empfiehlt sich eine Rechnung pro gelöstem Anliegen statt pro Minute: Was kostet ein durch den Voice Agent vollständig erledigter Anruf inklusive Modell, Telefonie und anteiligem Betrieb – und was kostet derselbe Anruf im eigenen Service? Diese Zahlen lassen sich nur im Pilotbetrieb seriös ermitteln. Aktuelle Preise, mögliche Rabatte und Unterschiede zwischen direktem Bezug und Bezug über einen Cloud-Anbieter sind beim jeweiligen Anbieter zu prüfen.
Datenschutz-Stack im Detail

Bei der Realtime API werden Stimme und Gesprächsinhalte an einen Cloud-Dienst übertragen. Stimmen sind personenbezogene Daten, Gesprächsinhalte häufig ebenfalls. Folgende Punkte sind für die Bewertung besonders relevant:

Serverstandort
Standardmäßig Verarbeitung in den USA – Drittlandtransfer ausdrücklich bewerten
EU-Optionen
Datenresidenz bei OpenAI oder Azure OpenAI in EU-Region – Verfügbarkeit für Realtime prüfen
Datenverwendung
Speicherdauer, Missbrauchsüberwachung, Zero Data Retention – vertraglich klären
AVV
Mit Modellanbieter, Telefonie-Anbieter und Plattformen abschließen
Aufzeichnung
Information, ggf. Einwilligung, Speicherfristen für Audio und Transkripte
Vertragspartner
Rechtsträger für EU-Kunden und Unterauftragsverarbeiter prüfen

Drittlandtransfer, Datenresidenz und die Azure-Option

OpenAI ist ein US-Anbieter, und die Realtime API verarbeitet Daten im Standardfall in Rechenzentren außerhalb der EU. Damit liegt ein Drittlandtransfer vor, der eine tragfähige Grundlage benötigt – etwa einen Angemessenheitsbeschluss wie das EU-US Data Privacy Framework, sofern der Anbieter zertifiziert ist, oder Standardvertragsklauseln mit ergänzender Risikobewertung. Für Kunden im Europäischen Wirtschaftsraum tritt nach unserem Kenntnisstand eine europäische Gesellschaft des Anbieters als Vertragspartner auf; das ändert jedoch nichts daran, dass die Verarbeitung selbst in den USA stattfinden kann. Ob und wie sich die Rechtslage zum Datentransfer weiterentwickelt, sollte laufend beobachtet werden.
Zwei Wege können die Situation verbessern. Erstens bietet OpenAI für bestimmte Kunden und Schnittstellen Datenresidenz in Europa und Vereinbarungen zu reduzierter oder keiner Datenspeicherung (Zero Data Retention) an. Ob die Realtime API davon erfasst ist, welche Voraussetzungen gelten und welche Daten trotzdem kurzzeitig gespeichert werden, ist beim Anbieter zu prüfen. Zweitens sind Realtime-Modelle auch über Azure OpenAI von Microsoft verfügbar. Dort kann – je nach Modell und Verfügbarkeit – eine Bereitstellung in einer EU-Region gewählt werden, und es gelten die Datenschutzzusagen und Auftragsverarbeitungsbedingungen von Microsoft. Für viele Unternehmen, die bereits Microsoft-Cloud-Dienste nutzen, ist das die DSGVO-konformere Option. Aber auch hier gilt: Welche Realtime-Modelle in welcher EU-Region verfügbar sind, ob Funktionen wie SIP oder MCP dort identisch angeboten werden und wie der US-Bezug des Mutterkonzerns zu bewerten ist, muss im Einzelfall geprüft werden.

Aufzeichnung, Einwilligung und EU AI Act

Unabhängig vom Anbieter gelten die Grundpflichten der DSGVO: Rechtsgrundlage für die Verarbeitung, transparente Information der Anrufer, Datenminimierung, Löschkonzept und technische sowie organisatorische Maßnahmen. Bei Telefongesprächen ist besonders sensibel, ob Audio aufgezeichnet und gespeichert wird. Die Verarbeitung in Echtzeit ist rechtlich anders zu bewerten als eine dauerhafte Aufzeichnung; für Aufzeichnungen kann eine Einwilligung erforderlich sein, zudem ist die Vertraulichkeit des gesprochenen Wortes zu beachten. Werden sensible Daten verarbeitet oder Gespräche systematisch ausgewertet, kann eine Datenschutz-Folgenabschätzung notwendig sein. In Unternehmen mit Betriebsrat ist außerdem die Mitbestimmung zu beachten, wenn Daten von Mitarbeitenden betroffen sind.
Der EU AI Act sieht für KI-Systeme, die direkt mit Menschen interagieren, Transparenzpflichten vor: Anrufer müssen erkennen können, dass sie mit einer KI sprechen. Am Telefon bedeutet das einen klaren, gesprochenen Hinweis zu Beginn des Gesprächs. Da die Realtime API synthetische Stimmen erzeugt, sind auch Kennzeichnungsfragen zu KI-generierten Inhalten zu beachten. Die meisten Kundenservice-Anwendungen fallen nicht in die Hochrisiko-Kategorie; je nach Einsatzzweck kann das aber anders sein und ist im Einzelfall zu bewerten.
Keine Rechtsberatung

Die Hinweise in diesem Kapitel sind eine allgemeine fachliche Einordnung aus IT- und Projektsicht und keine Rechtsberatung. Die Bewertung des konkreten Einsatzes – insbesondere zu Drittlandtransfer, Datenresidenz, Sprachaufzeichnung, Einwilligung und den Pflichten aus dem EU AI Act – sollte mit dem eigenen Datenschutzbeauftragten oder fachkundiger rechtlicher Begleitung erfolgen. Die Verantwortung im Sinne der DSGVO bleibt beim einsetzenden Unternehmen.

Kapitel 10 · Häufige Fragen

Häufig gestellte Fragen zur OpenAI Realtime API

Die wichtigsten Antworten für Entscheider, Projektverantwortliche und IT-Teams im Überblick.

Was ist die OpenAI Realtime API?
Die Realtime API ist eine Schnittstelle von OpenAI, über die Anwendungen eine fortlaufende Echtzeit-Verbindung zu einem Sprachmodell aufbauen. Das Modell versteht gesprochene Sprache direkt und antwortet direkt mit Sprache, kann Werkzeuge aufrufen und auf Unterbrechungen reagieren. Sie ist ein Baustein für Voice Agents, etwa Telefon-Assistenten oder Sprachfunktionen in Software, aber kein fertiges Produkt.
Was ist der Unterschied zu einer klassischen Sprachkette?
Bei der klassischen Kette werden Spracherkennung, Textmodell und Sprachsynthese hintereinandergeschaltet. Das bietet viel Kontrolle über den Text, kostet aber Zeit und verliert Informationen aus der Stimme. Die Realtime API verarbeitet Audio direkt und reagiert dadurch schneller und natürlicher. Dafür liegen Antworten nicht vorab als Text zur Prüfung vor. Welche Architektur passt, hängt vom Anwendungsfall ab.
Versteht die Realtime API Deutsch?
Die Modelle sind mehrsprachig und verstehen und sprechen Deutsch in der Regel gut. Die tatsächliche Qualität bei Dialekten, Fachbegriffen, Produktnamen, Zahlen und reduzierter Telefonqualität sollte jedoch mit eigenen Testgesprächen geprüft werden. Gerade das Erfassen von Kundennummern und Adressen am Telefon gehört in jeden Pilotversuch.
Kann ich die Realtime API an meine Telefonanlage anbinden?
Ja, grundsätzlich auf zwei Wegen: über einen Telefonie-Anbieter wie Twilio, der das Audio an eine eigene Anwendung und von dort an die API streamt, oder über eine direkte SIP-Anbindung. Welche Variante passt, hängt von der vorhandenen Telefonanlage, gewünschten Funktionen wie Weiterleitung und Aufzeichnung sowie von Datenschutzfragen ab. Jeder beteiligte Dienst ist ein weiterer Auftragsverarbeiter.
Was kostet die Realtime API?
Die Abrechnung erfolgt nutzungsabhängig über Tokens, getrennt nach Audio und Text sowie Ein- und Ausgabe; Audio ist deutlich teurer als Text. Lange Gespräche werden überproportional teurer, weil der Kontext bei jeder Antwort erneut verarbeitet wird. Hinzu kommen Telefonie, Infrastruktur und vor allem Entwicklung und Betrieb. Aktuelle Preise sind beim Anbieter zu prüfen; belastbare Kosten je Anliegen liefert erst ein Pilot.
Ist die Realtime API DSGVO-konform nutzbar?
Das hängt von der Ausgestaltung ab. OpenAI ist ein US-Anbieter, die Verarbeitung findet standardmäßig außerhalb der EU statt, sodass ein Drittlandtransfer zu bewerten ist. Zu prüfen sind Vertragspartner, Auftragsverarbeitungsvertrag, Transfergrundlage, Datenspeicherung und Optionen wie Datenresidenz oder Zero Data Retention. Dies ist eine fachliche Einordnung und keine Rechtsberatung – die Bewertung gehört zum Datenschutzbeauftragten.
Ist Azure OpenAI in einer EU-Region die bessere Wahl?
Für viele Unternehmen ist der Bezug über Azure OpenAI in einer EU-Region die datenschutzfreundlichere Option, weil die Verarbeitung in Europa stattfinden kann und die Vertragsbedingungen von Microsoft gelten. Allerdings sind nicht alle Modelle und Funktionen in allen Regionen verfügbar, und neue Fähigkeiten kommen dort teils später an. Verfügbarkeit, Funktionsumfang und Konditionen sind im Einzelfall zu prüfen.
Wie verbinde ich den Voice Agent mit CRM oder ERP?
Über Function Calling oder über MCP-Server. Die Anwendung beschreibt dem Modell, welche Funktionen es nutzen kann, und führt die Aufrufe in den eigenen Systemen aus. Empfehlenswert sind wenige, klar beschriebene Werkzeuge, die Prüfung aller Parameter auf Serverseite und eine Bestätigung im Gespräch vor jeder schreibenden Aktion. Saubere Schnittstellen der Kernsysteme sind Voraussetzung.
Realtime API, ElevenLabs oder Parloa – was passt besser?
Die Realtime API passt, wenn natürliche Gespräche im Vordergrund stehen und ein Entwicklungsteam oder Partner Sprachfunktionen individuell umsetzt. ElevenLabs ist stark bei Stimmqualität und Markenstimmen und liefert mehr Plattform-Bausteine. Parloa richtet sich an Unternehmen, die telefonischen Kundenservice ohne eigene Entwicklung automatisieren möchten. Ein Vergleichstest mit eigenen Szenarien schafft Klarheit.
Was verlangt der EU AI Act von einem Voice Agent?
Für Systeme, die direkt mit Menschen interagieren, gelten Transparenzpflichten: Anrufer müssen erkennen können, dass sie mit einer KI sprechen. Am Telefon heißt das ein klarer, gesprochener Hinweis zu Beginn. Auch Kennzeichnungsfragen zu synthetischen Stimmen sind zu beachten. Typische Service-Anwendungen sind meist nicht hochriskant, die Einstufung hängt aber vom Einsatzzweck ab und ist im Einzelfall zu bewerten.

Voice AI souverän einsetzen

Brauchen Sie eine tragfähige Voice-Agent-Strategie?

Wir prüfen herstellerunabhängig, ob die OpenAI Realtime API zu Ihren Anforderungen passt: Use-Case-Auswahl, Architektur, Telefonie-Anbindung, Werkzeuge, Datenschutz mit Blick auf Drittlandtransfer und EU-Optionen sowie Betriebsmodell – pragmatisch auf den Mittelstand zugeschnitten und mit ehrlichem Blick auf Cascaded-Pipelines, ElevenLabs und Plattformen wie Parloa als Alternativen.

Seit 2006 am Markt

Erfahrung aus über 100 Digitalprojekten

DSGVO & Souveränität

Datenschutz von Anfang an mitgedacht

Rückmeldung in 24 h

Schnell, direkt, unverbindlich