Lange Zeit funktionierten Sprachassistenten nach einem festen Schema: Eine Spracherkennung wandelt das Gesprochene in Text um, ein Sprachmodell oder eine Dialoglogik erzeugt eine Textantwort, und eine Sprachsynthese liest diese Antwort vor. Diese Kette – im Fachjargon Cascaded Pipeline – ist bewährt und flexibel, hat aber zwei typische Schwächen. Jede Stufe kostet Zeit, sodass sich Verzögerungen addieren. Und mit der Umwandlung in Text gehen Informationen verloren: Tonfall, Zögern, Betonung, Lachen oder Ärger in der Stimme kommen beim Sprachmodell nicht an.
Die Realtime API setzt auf ein anderes Prinzip. Die dahinterliegenden Modelle sind darauf ausgelegt, Audio direkt zu verarbeiten und direkt Audio zu erzeugen. Man spricht von Speech-to-Speech oder nativ multimodalen Sprachmodellen. Das verkürzt die Reaktionszeit, macht Gespräche flüssiger und erlaubt eine Ausdrucksweise, die näher an menschlicher Kommunikation liegt. Gleichzeitig bleibt die Schnittstelle offen für klassische Elemente: Transkripte lassen sich mitschreiben, Textnachrichten können eingespeist werden, und Funktionen in eigenen Systemen werden aus dem Gespräch heraus aufgerufen.
Drei Eigenschaften prägen die Realtime API:
Viele kennen die Technologie aus dem Sprachmodus von ChatGPT, in dem man sich frei mit dem Modell unterhalten kann. Die Realtime API stellt vergleichbare Fähigkeiten Entwicklern zur Verfügung, damit diese eigene Anwendungen bauen können – vom Telefon-Assistenten für die Kundenhotline über Sprachsteuerung in Software bis zu Trainings- und Lernanwendungen. OpenAI hat die Schnittstelle zunächst als Vorschau veröffentlicht und seither schrittweise erweitert: um zusätzliche Verbindungswege, um Telefonie über SIP, um die Anbindung externer Werkzeuge und um weitere Modellvarianten. Da sich Funktionsumfang, Modellbezeichnungen und Bedingungen in diesem Bereich schnell ändern, gilt für jede Planung: Der aktuelle Stand ist in der Dokumentation des Anbieters zu prüfen, nicht in älteren Blogartikeln.
Wichtig für die Einordnung ist auch der Anbieter selbst. OpenAI ist ein US-Unternehmen. Die Verarbeitung findet – sofern keine besonderen Optionen gewählt werden – in Rechenzentren außerhalb der EU statt. Das hat Folgen für die datenschutzrechtliche Bewertung, die wir in Kapitel 09 ausführlich behandeln. Wer die Realtime API einsetzt, sollte diese Frage nicht ans Ende des Projekts schieben, sondern vor dem ersten produktiven Gespräch klären.
Die Realtime API richtet sich an Entwicklerteams und Softwareanbieter, die Sprachanwendungen in eigene Produkte und Prozesse einbauen wollen. Typische Nutzer sind Unternehmen mit eigener Softwareentwicklung, Digitalagenturen und Systemhäuser, Anbieter von Contact-Center- und Telefonie-Lösungen sowie Plattformen, die Voice Agents als Service anbieten und die Realtime API im Hintergrund nutzen. Für eine Fachabteilung, die ohne IT-Unterstützung einen Telefon-Assistenten aufsetzen möchte, ist die API in Reinform zu technisch – hier sind Plattformen, die sie kapseln, oder spezialisierte Voice-AI-Anbieter der passendere Weg.
OpenAI bietet für die Realtime API in der Regel mindestens zwei Leistungsstufen an: ein leistungsstärkeres Modell und eine kleinere, günstigere Variante. Die Unterschiede zeigen sich weniger bei einfachen Smalltalk-Sätzen als in den Details, auf die es im Unternehmenseinsatz ankommt. Hält sich der Assistent an lange, verschachtelte Anweisungen? Ruft er Werkzeuge mit den richtigen Parametern auf, auch wenn der Anrufer die Kundennummer in drei Anläufen nennt? Bleibt er beim Thema, wenn das Gespräch abschweift? Versteht er Dialekt, Fachbegriffe und Eigennamen? Erfahrungsgemäß schneidet das größere Modell bei solchen Anforderungen robuster ab, während die kleinere Variante für einfache, klar umrissene Abläufe ausreichen kann.
Eine pauschale Empfehlung ist nicht seriös. Sinnvoll ist ein strukturierter Vergleich mit eigenen Testgesprächen: dieselben Szenarien, dieselben Anweisungen, beide Modelle, gemessen an Erfolgsquote, Werkzeugtreue und subjektiver Gesprächsqualität. Daneben lohnt der Blick auf die Weiterentwicklung: OpenAI veröffentlicht in diesem Bereich regelmäßig neue Modellstände, die ältere ablösen. Eine Architektur, in der das Modell per Konfiguration austauschbar ist, und eine Testsuite, die einen Modellwechsel absichert, sind daher keine Kür, sondern Pflicht.
Die Realtime API ist nicht die einzige Möglichkeit, mit OpenAI-Modellen Sprachanwendungen zu bauen. Daneben stehen die textbasierten Schnittstellen für Chat und Agenten sowie eigenständige Audio-Schnittstellen für Transkription und Sprachsynthese. Daraus ergeben sich zwei grundsätzliche Architekturen. Bei der Speech-to-Speech-Architektur verarbeitet ein Realtime-Modell Audio direkt, was kurze Reaktionszeiten und natürliche Prosodie bringt. Bei der verketteten Architektur werden Transkription, ein Textmodell und Sprachsynthese hintereinandergeschaltet – mit mehr Kontrolle über jeden Zwischenschritt, voller Sicht auf den Text und der Freiheit, für jede Stufe ein anderes Modell oder einen anderen Anbieter zu wählen.
OpenAI selbst beschreibt beide Wege als legitim. Die Realtime API ist die erste Wahl, wenn die Gesprächserfahrung im Vordergrund steht: Telefonie, Live-Beratung, Sprachsteuerung. Die verkettete Architektur ist oft besser, wenn jede Antwort vor der Ausgabe geprüft werden muss, wenn sehr leistungsfähige Textmodelle für komplexes Schließen benötigt werden oder wenn Bausteine verschiedener Hersteller kombiniert werden sollen. In der Praxis entstehen zunehmend Mischformen, etwa Realtime-Modelle für das Gespräch und ein Textmodell im Hintergrund für schwierige Teilaufgaben.
Zu Beginn jeder Verbindung steht eine Session. In ihr werden die grundlegenden Eigenschaften des Assistenten festgelegt: die Anweisungen, also der Systemprompt mit Rolle, Tonalität und Regeln; die Stimme, mit der das Modell spricht; die verfügbaren Werkzeuge; die Audioformate für Ein- und Ausgabe; die Art der Sprechererkennung und ob Transkripte erzeugt werden sollen. Viele dieser Einstellungen lassen sich während des laufenden Gesprächs anpassen – etwa wenn der Assistent nach einer Authentifizierung zusätzliche Werkzeuge erhalten soll oder wenn ein anderer Gesprächsabschnitt andere Anweisungen erfordert.
Innerhalb der Session existiert eine Konversation aus einzelnen Einträgen: Nutzerbeiträge, Antworten des Modells, Werkzeugaufrufe und deren Ergebnisse. Die Anwendung kann Einträge hinzufügen, etwa Kontextinformationen aus dem CRM, oder entfernen, um den Gesprächsverlauf schlank zu halten. Das ist wichtig, weil lange Gespräche mit viel Audio-Kontext teurer und langsamer werden. Die Kommunikation selbst läuft über eine Vielzahl von Ereignissen: Das Modell meldet etwa, dass Sprache erkannt wurde, dass eine Antwort beginnt, dass Audiofragmente bereitstehen oder dass ein Werkzeugaufruf ansteht. Für Entwickler bedeutet das ein anderes Programmiermodell als bei klassischen Anfrage-Antwort-Schnittstellen.
Der vielleicht wichtigste Unterschied zwischen einem guten und einem schlechten Voice Agent ist das Timing. Antwortet der Assistent zu früh, fällt er dem Anrufer ins Wort, wenn dieser nur kurz Luft holt. Antwortet er zu spät, entstehen unangenehme Pausen. Die Realtime API bietet dafür eine eingebaute Voice Activity Detection (VAD), die erkennt, wann jemand spricht und wann eine Äußerung beendet ist. Neben einer klassischen, an Stille und Lautstärke orientierten Variante gibt es eine semantische Erkennung, die zusätzlich den Inhalt berücksichtigt: Ein Satz wie „Meine Kundennummer ist …“ deutet darauf hin, dass noch etwas folgt, auch wenn kurz Stille herrscht. Schwellenwerte, Pausendauer und Reaktionsfreudigkeit lassen sich konfigurieren; alternativ kann die Anwendung den Sprecherwechsel vollständig selbst steuern, etwa bei Push-to-Talk.
Ebenso wichtig ist der Umgang mit Unterbrechungen, im Fachjargon Barge-in. Spricht der Anrufer, während der Assistent noch redet, soll dieser verstummen und zuhören. Die API unterstützt dieses Verhalten. Damit der Gesprächsverlauf stimmig bleibt, muss die Anwendung allerdings mitteilen, bis zu welcher Stelle die Antwort tatsächlich abgespielt wurde – sonst „glaubt“ das Modell, es habe Informationen genannt, die der Anrufer nie gehört hat. Bei WebRTC übernimmt die Plattform vieles davon, bei WebSocket- und Telefonie-Integrationen ist hier sorgfältige Implementierung gefragt. Hintergrundgeräusche, Freisprecheinrichtungen und Echo am Telefon sind die häufigsten Ursachen für ungewollte Unterbrechungen und gehören in jeden Test.
Das Modell spricht mit einer von mehreren vordefinierten Stimmen. Über die Anweisungen lassen sich Tempo, Tonfall und Stil beeinflussen – freundlich und ruhig, knapp und sachlich, mit oder ohne Duzen. Eigene, geklonte Stimmen wie bei spezialisierten Sprachsynthese-Anbietern sind nach unserem Kenntnisstand nicht der Kern des Angebots; der aktuelle Stand ist beim Anbieter zu prüfen. Wer eine markenspezifische Stimme benötigt, landet daher oft bei einer verketteten Architektur mit separater Sprachsynthese.
Parallel zum Gespräch kann die API eine Transkription der Nutzerbeiträge erzeugen, und die Antworten des Modells liegen ohnehin auch als Text vor. Diese Mitschriften sind Grundlage für Gesprächsprotokolle, Qualitätsanalysen, CRM-Einträge und die Übergabe an Mitarbeitende. Wichtig zu wissen: Die Transkription läuft als separater Prozess und ist nicht identisch mit dem, was das Modell „gehört“ hat – kleine Abweichungen sind möglich. Die Modelle sind mehrsprachig und verstehen Deutsch in der Regel gut; die Qualität bei Dialekten, Fachbegriffen, Produktnamen und am Telefon mit reduzierter Audioqualität muss jedoch im eigenen Szenario getestet werden.
Beim Function Calling beschreibt die Anwendung dem Modell in der Session-Konfiguration, welche Funktionen zur Verfügung stehen – zum Beispiel „Lieferstatus abfragen“ mit dem Parameter Auftragsnummer oder „Rückruf vereinbaren“ mit Datum, Uhrzeit und Telefonnummer. Erkennt das Modell im Gespräch, dass eine Funktion benötigt wird, sendet es einen strukturierten Aufruf mit den gesammelten Parametern. Die Anwendung führt die Funktion in den eigenen Systemen aus und gibt das Ergebnis zurück, woraufhin das Modell dem Anrufer antwortet. Wichtig: Das Modell selbst greift nie direkt auf Systeme zu. Die Kontrolle darüber, was tatsächlich ausgeführt wird, bleibt in der Anwendung.
Für den Sprachkanal gibt es einige Besonderheiten. Werkzeugaufrufe kosten Zeit, und Stille am Telefon wirkt schnell wie ein Verbindungsabbruch. Bewährt hat sich, dass der Assistent ankündigt, was er tut („Einen Moment, ich schaue nach“), und dass langsame Systeme asynchron angebunden werden. Ebenso wichtig ist die Validierung: Nummern, Daten und Namen sollten vor einer schreibenden Aktion bestätigt werden, und die Anwendung sollte Parameter prüfen, statt dem Modell blind zu vertrauen. Kritische Aktionen wie Stornierungen oder Gutschriften gehören hinter zusätzliche Prüfungen oder eine Freigabe durch Menschen.
Neben selbst implementierten Funktionen unterstützt die Realtime API die Anbindung von Werkzeugen über das Model Context Protocol (MCP), einen offenen Standard für die Verbindung von Sprachmodellen mit externen Diensten. Statt jede Funktion einzeln zu beschreiben, wird ein MCP-Server angegeben, dessen Werkzeuge das Modell dann nutzen kann. Das beschleunigt die Integration, wenn für ein System bereits ein MCP-Server existiert – etwa für Ticket-, Kalender- oder Wissenssysteme.
Mit der Bequemlichkeit wächst die Verantwortung. Bei MCP-Werkzeugen ruft die Plattform den externen Server unter Umständen direkt auf, statt den Umweg über die eigene Anwendung zu gehen. Damit verschieben sich Datenflüsse: Welche Daten gehen an welchen Server, wer authentifiziert sich wie, welche Werkzeuge sind freigegeben, und welche Aufrufe müssen vorher genehmigt werden? Für Unternehmensdaten empfehlen wir, MCP-Server nur aus vertrauenswürdigen Quellen zu nutzen, die Werkzeugliste explizit einzuschränken und schreibende Aktionen mit Freigabemechanismen abzusichern. Wie die Datenflüsse im Detail aussehen, ist in der Dokumentation des Anbieters zu prüfen und im Datenschutz-Konzept zu dokumentieren.
Für komplexere Anwendungen stellt OpenAI ein Agents SDK bereit, das auch Realtime-Sprachagenten unterstützt. Es nimmt Entwicklern wiederkehrende Aufgaben ab: Sitzungsverwaltung, Werkzeugausführung, Gesprächsverlauf und die Übergabe zwischen spezialisierten Agenten. So lässt sich etwa ein Empfangsagent bauen, der das Anliegen klärt und an einen Agenten für Reklamationen oder einen für Terminbuchungen übergibt – jeweils mit eigenen Anweisungen und Werkzeugen. Welche Programmiersprachen und Funktionen das SDK für Realtime aktuell abdeckt, ist beim Anbieter zu prüfen.
Ebenfalls Teil des Konzepts sind Guardrails, also Schutzmechanismen, die Eingaben und Ausgaben prüfen. Bei Sprachagenten ist das anspruchsvoller als bei Text, weil Antworten gestreamt werden und bereits gesprochen sind, bevor eine Prüfung abgeschlossen ist. Typische Muster sind daher: Prüfung der Transkripte parallel zum Gespräch mit der Möglichkeit, die Antwort abzubrechen; eng gefasste Anweisungen mit klaren Themen- und Handlungsgrenzen; serverseitige Prüfung aller Werkzeugaufrufe; sowie definierte Übergaben an Menschen bei sensiblen Themen. Für Branchen mit Haftungsrisiken, etwa Finanz- oder Gesundheitsauskünfte, sind diese Mechanismen besonders sorgfältig auszulegen.
WebRTC ist der Standard für Echtzeit-Kommunikation im Browser und in Apps. Die Verbindung läuft direkt vom Endgerät zum Anbieter, Audio wird effizient übertragen, und Netzwerkprobleme wie schwankende Bandbreite werden vom Protokoll abgefedert. Damit der eigentliche API-Schlüssel nicht im Browser landet, erzeugt der eigene Server kurzlebige Zugangsschlüssel, die nur für eine Sitzung gelten. Werkzeugaufrufe und Geschäftslogik können dennoch serverseitig bleiben, etwa über einen parallelen Kontrollkanal. WebRTC ist die erste Wahl für Sprachassistenten auf der Website, in Kundenportalen oder in mobilen Anwendungen.
WebSocket eignet sich für Server-zu-Server-Szenarien: Die eigene Anwendung hält die Verbindung zum Modell und leitet Audio von einer anderen Quelle weiter, typischerweise von einer Telefonieplattform. Das gibt volle Kontrolle über den Datenstrom – etwa für Protokollierung, Filterung oder das Einspielen von Wartemusik –, erfordert aber mehr eigene Arbeit bei Audio-Formaten, Pufferung und der korrekten Behandlung von Unterbrechungen.
Für mittelständische Unternehmen ist häufig die Anbindung der bestehenden Telefonanlage die eigentliche Herausforderung. Ob Cloud-Telefonanlage, klassische Anlage mit SIP-Trunk oder Contact-Center-Software: Es muss geklärt werden, wie Anrufe zum Voice Agent gelangen, wie sie mit Kontext an Mitarbeitende zurückgegeben werden und wer welche Daten verarbeitet. Jeder zusätzliche Dienstleister im Datenfluss ist ein weiterer Auftragsverarbeiter mit eigener Standort- und Vertragsfrage.
Der Preis dafür sind mehr Schnittstellen, mehr Tuning und tendenziell höhere Reaktionszeiten, weil sich die Verzögerungen der Stufen addieren. Mit Streaming auf allen Ebenen lässt sich das deutlich reduzieren, aber selten ganz auf das Niveau eines nativen Speech-to-Speech-Modells bringen. Zudem gehen Informationen aus der Stimme verloren. Die Realtime API punktet dagegen mit Natürlichkeit und Einfachheit, verlangt aber Vertrauen in ein Modell, dessen Antworten nicht vorab als Text geprüft werden können. In regulierten Szenarien spricht das häufig für die Kette, in serviceorientierten Szenarien mit Fokus auf Gesprächserlebnis eher für Speech-to-Speech.
Gemini Live von Google verfolgt einen ähnlichen Ansatz wie die Realtime API: ein nativ multimodales Modell für Audio-Gespräche in Echtzeit, eingebettet in die Google-Cloud-Welt. Für Unternehmen, die bereits stark auf Google Cloud setzen, kann die Integration einfacher sein, auch bei Fragen der Datenregion. Qualität, Deutschkenntnisse, Werkzeugtreue und Konditionen sollten im direkten Vergleich mit eigenen Testgesprächen bewertet werden – Herstellerbenchmarks sind hier wenig aussagekräftig.
Anweisungen für einen Voice Agent unterscheiden sich deutlich von Prompts für Chat-Anwendungen. Gesprochene Antworten müssen kurz sein; Aufzählungen, Tabellen und lange Absätze funktionieren am Telefon nicht. Bewährt haben sich klar gegliederte Anweisungen mit Abschnitten für Rolle und Ziel, Persönlichkeit und Tonfall, Sprachregeln, Gesprächsablauf, Werkzeugnutzung und Grenzen. Dazu gehören konkrete Vorgaben wie „antworte in höchstens zwei Sätzen“, „wiederhole Nummern Ziffer für Ziffer zur Bestätigung“ oder „wenn du unsicher bist, frage nach statt zu raten“.
Besondere Aufmerksamkeit verdienen Zahlen, Namen und Abkürzungen: Wie soll eine Bestellnummer vorgelesen werden, wie ein Produktname ausgesprochen, wie eine E-Mail-Adresse buchstabiert? Ebenso wichtig sind Beispiele für typische Formulierungen und für unerwünschtes Verhalten. Anweisungen sollten versioniert werden wie Software, damit nachvollziehbar bleibt, welche Fassung zu welchem Zeitpunkt aktiv war – auch mit Blick auf Dokumentationspflichten.
Sprachmodelle verhalten sich nicht deterministisch. Dieselbe Frage kann zu leicht unterschiedlichen Antworten führen, und eine kleine Änderung an den Anweisungen kann unerwartete Nebenwirkungen haben. Deshalb braucht jeder produktive Voice Agent eine Evaluierung: eine Sammlung typischer und schwieriger Gesprächsszenarien, die regelmäßig durchgespielt und bewertet wird. Bewertet werden etwa, ob das Anliegen gelöst wurde, ob die richtigen Werkzeuge mit korrekten Parametern aufgerufen wurden, ob Grenzen eingehalten wurden und wie natürlich das Gespräch wirkte. Automatisierte Simulationen, bei denen ein zweites Modell den Anrufer spielt, ergänzen manuelle Stichproben, ersetzen sie aber nicht.
Im laufenden Betrieb kommen Kennzahlen hinzu: Anteil gelöster Anliegen, Übergaben an Menschen, Abbrüche, durchschnittliche Gesprächsdauer, Reaktionszeiten und Fehler bei Werkzeugaufrufen. Gesprächsprotokolle sind dafür unverzichtbar – aber datenschutzrechtlich sensibel. Speicherdauer, Zugriffsrechte und Pseudonymisierung sind von Anfang an festzulegen.
Weil die Abrechnung nutzungsabhängig erfolgt, können Kosten bei langen Gesprächen und hohem Volumen schnell steigen. Wirksame Hebel sind: Gesprächskontext begrenzen und alte Einträge entfernen, Anweisungen schlank halten, die kleinere Modellvariante für einfache Abschnitte nutzen, maximale Gesprächsdauer definieren und Ausgabelänge begrenzen. Budgets und Warnschwellen auf Konto- und Projektebene sowie ein Monitoring der Kosten pro Gespräch gehören in jeden produktiven Betrieb.
Ebenso wichtig sind Rückfallebenen. Cloud-Dienste können ausfallen, langsamer werden oder Kapazitätsgrenzen erreichen. Ein Voice Agent braucht daher definierte Wege, wenn das Modell nicht antwortet: Weiterleitung an Mitarbeitende, Ansage mit Rückrufangebot oder Umschalten auf einen alternativen Anbieter über eine Orchestrierungsschicht. Auch inhaltlich muss klar sein, wann der Agent aufgibt und an einen Menschen übergibt – idealerweise mit Zusammenfassung, damit der Anrufer nicht alles wiederholen muss.
Die Realtime API passt zu Mittelständlern, die einen klar umrissenen Sprach-Anwendungsfall mit spürbarem Volumen haben, über eigene Entwicklung oder einen erfahrenen Partner verfügen und das Datenschutzthema aktiv angehen – entweder durch eine tragfähige Bewertung des direkten Bezugs oder durch eine EU-Bezugsoption. Besonders gut passt sie zu Softwareanbietern, die Sprachfunktionen in eigene Produkte einbauen, und zu Unternehmen, die bereits mit OpenAI-Modellen arbeiten und deren Verträge, Prozesse und Freigaben nutzen können.
Weniger gut passt sie, wenn keine Entwicklungskapazität vorhanden ist und ein fertiger Telefon-Assistent gesucht wird; wenn Gesprächsinhalte aus rechtlichen oder vertraglichen Gründen die EU unter keinen Umständen verlassen dürfen und keine geeignete EU-Option verfügbar ist; oder wenn jede Antwort vor der Ausgabe nachweisbar geprüft werden muss. In diesen Fällen sind Plattformen, eine verkettete Architektur mit europäischen Bausteinen oder selbst gehostete Komponenten die bessere Wahl.
Die Abrechnung der Realtime API erfolgt über Tokens – getrennt nach Text und Audio sowie nach Eingabe und Ausgabe. Audio ist dabei erheblich teurer als Text. Ein wichtiger, oft unterschätzter Effekt: Bei jeder neuen Antwort wird der bisherige Gesprächskontext erneut als Eingabe verarbeitet. Lange Gespräche werden dadurch überproportional teurer, sofern Zwischenspeicherung und Kontextbegrenzung nicht gezielt genutzt werden. Auch lange Anweisungen und viele Werkzeugbeschreibungen erhöhen die Kosten jeder einzelnen Antwort.
Für die Wirtschaftlichkeitsbetrachtung empfiehlt sich eine Rechnung pro gelöstem Anliegen statt pro Minute: Was kostet ein durch den Voice Agent vollständig erledigter Anruf inklusive Modell, Telefonie und anteiligem Betrieb – und was kostet derselbe Anruf im eigenen Service? Diese Zahlen lassen sich nur im Pilotbetrieb seriös ermitteln. Aktuelle Preise, mögliche Rabatte und Unterschiede zwischen direktem Bezug und Bezug über einen Cloud-Anbieter sind beim jeweiligen Anbieter zu prüfen.
OpenAI ist ein US-Anbieter, und die Realtime API verarbeitet Daten im Standardfall in Rechenzentren außerhalb der EU. Damit liegt ein Drittlandtransfer vor, der eine tragfähige Grundlage benötigt – etwa einen Angemessenheitsbeschluss wie das EU-US Data Privacy Framework, sofern der Anbieter zertifiziert ist, oder Standardvertragsklauseln mit ergänzender Risikobewertung. Für Kunden im Europäischen Wirtschaftsraum tritt nach unserem Kenntnisstand eine europäische Gesellschaft des Anbieters als Vertragspartner auf; das ändert jedoch nichts daran, dass die Verarbeitung selbst in den USA stattfinden kann. Ob und wie sich die Rechtslage zum Datentransfer weiterentwickelt, sollte laufend beobachtet werden.
Zwei Wege können die Situation verbessern. Erstens bietet OpenAI für bestimmte Kunden und Schnittstellen Datenresidenz in Europa und Vereinbarungen zu reduzierter oder keiner Datenspeicherung (Zero Data Retention) an. Ob die Realtime API davon erfasst ist, welche Voraussetzungen gelten und welche Daten trotzdem kurzzeitig gespeichert werden, ist beim Anbieter zu prüfen. Zweitens sind Realtime-Modelle auch über Azure OpenAI von Microsoft verfügbar. Dort kann – je nach Modell und Verfügbarkeit – eine Bereitstellung in einer EU-Region gewählt werden, und es gelten die Datenschutzzusagen und Auftragsverarbeitungsbedingungen von Microsoft. Für viele Unternehmen, die bereits Microsoft-Cloud-Dienste nutzen, ist das die DSGVO-konformere Option. Aber auch hier gilt: Welche Realtime-Modelle in welcher EU-Region verfügbar sind, ob Funktionen wie SIP oder MCP dort identisch angeboten werden und wie der US-Bezug des Mutterkonzerns zu bewerten ist, muss im Einzelfall geprüft werden.
Unabhängig vom Anbieter gelten die Grundpflichten der DSGVO: Rechtsgrundlage für die Verarbeitung, transparente Information der Anrufer, Datenminimierung, Löschkonzept und technische sowie organisatorische Maßnahmen. Bei Telefongesprächen ist besonders sensibel, ob Audio aufgezeichnet und gespeichert wird. Die Verarbeitung in Echtzeit ist rechtlich anders zu bewerten als eine dauerhafte Aufzeichnung; für Aufzeichnungen kann eine Einwilligung erforderlich sein, zudem ist die Vertraulichkeit des gesprochenen Wortes zu beachten. Werden sensible Daten verarbeitet oder Gespräche systematisch ausgewertet, kann eine Datenschutz-Folgenabschätzung notwendig sein. In Unternehmen mit Betriebsrat ist außerdem die Mitbestimmung zu beachten, wenn Daten von Mitarbeitenden betroffen sind.
Der EU AI Act sieht für KI-Systeme, die direkt mit Menschen interagieren, Transparenzpflichten vor: Anrufer müssen erkennen können, dass sie mit einer KI sprechen. Am Telefon bedeutet das einen klaren, gesprochenen Hinweis zu Beginn des Gesprächs. Da die Realtime API synthetische Stimmen erzeugt, sind auch Kennzeichnungsfragen zu KI-generierten Inhalten zu beachten. Die meisten Kundenservice-Anwendungen fallen nicht in die Hochrisiko-Kategorie; je nach Einsatzzweck kann das aber anders sein und ist im Einzelfall zu bewerten.