Bevor Whisper erschien, war hochwertige Spracherkennung für mittelständische Unternehmen vor allem eine Frage der Cloud. Wer brauchbare Transkripte wollte, schickte Audiodaten an einen großen Anbieter und bezahlte nach Minuten. Lokal betreibbare Systeme gab es zwar, sie waren aber entweder teuer, auf einzelne Sprachen beschränkt oder in der Qualität deutlich schwächer. Whisper hat diese Lage verändert: Ein frei verfügbares Modell erreichte eine Erkennungsqualität, die in vielen Alltagsszenarien mit kommerziellen Diensten mithalten konnte – und das über viele Sprachen hinweg, ausdrücklich auch auf Deutsch.
Technisch ist Whisper ein Transformer-Modell mit Encoder-Decoder-Architektur. Das Audiosignal wird in kurze Abschnitte zerlegt, in eine spektrale Darstellung umgewandelt und vom Encoder verarbeitet. Der Decoder erzeugt daraus Schritt für Schritt Text, ähnlich wie ein Sprachmodell Wörter aneinanderreiht. Trainiert wurde Whisper auf einer sehr großen, mehrsprachigen Sammlung aus Audio und zugehörigen Transkripten aus dem Netz. Diese Breite erklärt die Robustheit gegenüber Akzenten, Hintergrundgeräuschen und Fachvokabular – und zugleich einige Schwächen, auf die wir in Kapitel 04 eingehen.
Drei Eigenschaften machen Whisper für Unternehmen interessant:
Im Alltag wird „Whisper“ für drei unterschiedliche Dinge verwendet, und diese Unschärfe sorgt in Projekten regelmäßig für Missverständnisse. Erstens bezeichnet der Name die Modellfamilie, also die trainierten Gewichte in verschiedenen Größen. Zweitens gibt es die Referenzimplementierung von OpenAI, eine Python-Bibliothek, mit der sich die Modelle laden und ausführen lassen. Drittens bietet OpenAI eine Transkriptions-API an, über die Audio in die OpenAI-Cloud geschickt und dort transkribiert wird. Inzwischen laufen über diese API neben dem klassischen Whisper-Modell auch neuere, proprietäre Transkriptionsmodelle, deren Gewichte nicht veröffentlicht sind.
Für die Datenschutzbewertung ist diese Unterscheidung zentral. Wer sagt „Wir nutzen Whisper“, kann eine vollständig lokale Verarbeitung meinen oder eine Übermittlung an einen US-Dienst. Klären Sie in jedem Projekt deshalb zuerst, welche dieser drei Bedeutungen gemeint ist.
Whisper richtet sich an Organisationen, die Sprache verschriftlichen wollen und dabei Wert auf Kontrolle legen: Unternehmen mit sensiblen Gesprächsinhalten, Kanzleien und Beratungen, Gesundheitsanbieter, Behörden, Hochschulen und Softwarehäuser, die Spracherkennung in eigene Produkte einbauen. Für reine Fachanwender ohne IT-Unterstützung ist das nackte Modell weniger geeignet – hier kommen fertige Anwendungen ins Spiel, die Whisper im Hintergrund nutzen und eine bedienbare Oberfläche liefern.
Die Whisper-Familie reicht von sehr kleinen Modellen bis zu großen Varianten, die mehrfach in überarbeiteten Versionen erschienen sind. Für einige Größen gibt es zusätzlich rein englischsprachige Ableger, die für Deutsch naturgemäß keine Rolle spielen. Als Faustregel gilt: Je größer das Modell, desto besser die Qualität bei schwierigem Audio, desto höher aber auch Rechenbedarf und Latenz. Die genauen Parameterzahlen und den Speicherbedarf entnehmen Sie am besten der offiziellen Dokumentation, da sie sich zwischen Versionen und Laufzeitumgebungen unterscheiden.
Die Turbo-Varianten sind für den praktischen Einsatz besonders interessant. Sie behalten den leistungsfähigen Encoder eines großen Modells, arbeiten aber mit einem schlankeren Decoder. Weil der Decoder Text Token für Token erzeugt, ist er für einen erheblichen Teil der Rechenzeit verantwortlich – eine Verkleinerung bringt daher deutlichen Tempogewinn. Die Qualität liegt nach unserer Erfahrung für Deutsch in vielen Szenarien nahe am großen Modell, bei einzelnen Aufgaben wie der Übersetzung kann sie abfallen. Hinzu kommen von der Community destillierte Varianten, die ähnliche Ziele verfolgen, aber teils auf bestimmte Sprachen optimiert sind. Prüfen Sie bei jeder Variante, ob Deutsch tatsächlich gut abgedeckt ist.
Unsere Empfehlung für Pilotprojekte: Starten Sie mit einem großen Modell oder einer Turbo-Variante, messen Sie die Qualität an eigenen Aufnahmen und gehen Sie erst dann zu kleineren Modellen hinunter, wenn Hardware oder Latenz es erzwingen. Wer umgekehrt beginnt, verwirft Whisper oft vorschnell wegen einer Qualität, die mit einem größeren Modell gar kein Problem wäre.
Whisper nimmt eine Sonderstellung ein. Auf der einen Seite ist es ein frei verfügbares Modell, das sich gegen kommerzielle Speech-to-Text-Dienste stellen lässt – mit dem Unterschied, dass keine Lizenzgebühren pro Minute anfallen, sondern Infrastruktur- und Betriebskosten. Auf der anderen Seite ist OpenAI selbst einer der großen Cloud-Anbieter, und die API-Variante konkurriert direkt mit Deepgram, AssemblyAI und den Sprachdiensten der Hyperscaler.
Für die API gilt: Neben dem ursprünglichen Whisper-Modell bietet OpenAI inzwischen weiterentwickelte Transkriptionsmodelle an, die auf neueren Modellgenerationen aufbauen und teils bessere Ergebnisse oder zusätzliche Funktionen versprechen. Diese Modelle sind nicht offen; sie lassen sich ausschließlich über die Cloud nutzen. Wie die Modelle aktuell heißen, welche Formate, Dateigrößen und Zusatzfunktionen unterstützt werden und wie abgerechnet wird, ändert sich regelmäßig und sollte vor jeder Planung direkt beim Anbieter nachgelesen werden.
Die Hauptaufgabe ist die Transkription: Aus einer Audiodatei entsteht fließender Text mit Groß- und Kleinschreibung und Satzzeichen. Gerade die automatische Zeichensetzung ist ein spürbarer Fortschritt gegenüber älteren Systemen, die oft nur eine durchgehende Wortkette lieferten. Für die Weiterverarbeitung – etwa die Zusammenfassung durch ein Sprachmodell oder die Ablage im Dokumentenmanagement – ist ein gut lesbarer Text ein großer Vorteil.
Whisper erkennt die gesprochene Sprache automatisch anhand des Audioanfangs. Das ist bequem, kann aber bei kurzen Aufnahmen, starkem Akzent oder Sprachmischungen danebenliegen. In produktiven Systemen mit bekannter Sprache empfiehlt es sich daher, die Sprache explizit vorzugeben. Das spart Rechenzeit und verhindert, dass ein deutsches Diktat mit schwäbischem Einschlag plötzlich als niederländischer Text zurückkommt.
Die zweite eingebaute Aufgabe ist die Übersetzung, allerdings mit einer wichtigen Einschränkung: Whisper übersetzt ausschließlich ins Englische. Ein deutsches Gespräch lässt sich also direkt als englischer Text ausgeben, ein englisches aber nicht als deutscher. Wer andere Zielsprachen braucht, kombiniert die Transkription mit einem separaten Übersetzungsmodell oder einem Sprachmodell.
Whisper gliedert die Ausgabe in Segmente, also Textabschnitte mit Start- und Endzeit. Daraus lassen sich direkt Untertitel in gängigen Formaten wie SRT oder WebVTT erzeugen, ebenso strukturierte JSON-Ausgaben für die Weiterverarbeitung. Für viele Anwendungen – Protokolle, Mediatheken, durchsuchbare Archive – reicht diese Segmentgenauigkeit vollkommen aus.
Wer Zeitstempel auf Wortebene braucht, etwa für Karaoke-artige Untertitel, Schnittwerkzeuge oder die exakte Zuordnung von Sprechern, stößt bei der Standardausgabe an Grenzen. Die Zeitstempel des Modells sind eher Näherungen. Werkzeuge wie WhisperX ergänzen deshalb eine nachgelagerte Zwangsausrichtung (Forced Alignment), die Wörter präziser am Audiosignal verankert. Dazu mehr in Kapitel 05.
Whisper wurde auf Audio in sehr vielen Sprachen trainiert. Die Qualität hängt stark davon ab, wie viel Trainingsmaterial für eine Sprache vorhanden war. Deutsch gehört zu den gut abgedeckten Sprachen; in unseren Projekten liefern die großen Modelle bei sauberen Aufnahmen Hochdeutsch in einer Qualität, die nur noch punktuell nachbearbeitet werden muss. Konkrete Fehlerraten nennen wir bewusst nicht – sie hängen massiv von Mikrofon, Raumakustik, Sprechtempo, Dialekt und Fachvokabular ab und sind nur mit eigenen Testdaten aussagekräftig.
Schwächer wird es typischerweise bei ausgeprägten Dialekten, bei sehr schneller oder überlappender Rede, bei Telefonqualität mit schmalem Frequenzband sowie bei Eigennamen, Produktbezeichnungen und Abkürzungen. Schweizerdeutsch ist ein Sonderfall: Whisper gibt hier meist eine hochdeutsche Annäherung aus, was je nach Zweck gewünscht oder störend sein kann. Für Österreich und die Schweiz lohnt ein Test mit regionalen Sprecherinnen und Sprechern besonders.
Die bekannteste Schwäche von Whisper sind sogenannte Halluzinationen. Weil der Decoder wie ein Sprachmodell arbeitet, neigt er dazu, in Passagen ohne verständliche Sprache trotzdem plausiblen Text zu erzeugen: Wiederholungsschleifen, Floskeln wie Abspanntexte aus Videos oder frei erfundene Sätze. Besonders anfällig sind lange Pausen, Musik, Rauschen und das Ende von Aufnahmen. In sensiblen Kontexten wie Medizin, Recht oder Personalgesprächen ist das kein Schönheitsfehler, sondern ein echtes Risiko – ein erfundener Satz in einem Protokoll kann Folgen haben.
Das wirksamste Gegenmittel ist eine vorgeschaltete Sprachaktivitätserkennung (Voice Activity Detection, VAD). Sie schneidet Stille und Geräusche heraus, sodass Whisper nur noch Abschnitte mit tatsächlicher Sprache sieht. Viele Laufzeitumgebungen wie faster-whisper bringen eine VAD-Option bereits mit. Ergänzend helfen konservativere Dekodierungsparameter, Schwellenwerte für die Modellsicherheit, das Unterbinden der Kontextübernahme zwischen Segmenten sowie eine Nachkontrolle auf auffällige Wiederholungen. Und organisatorisch gilt: Transkripte mit Tragweite werden von Menschen gegengelesen.
Whisper sagt, was gesagt wurde, aber nicht, wer es gesagt hat. Für Besprechungsprotokolle, Interviews oder Callcenter-Analysen ist diese Diarisierung jedoch oft unverzichtbar. Die übliche Lösung ist ein zweites Modell, das das Audio nach Stimmen segmentiert – in der Open-Source-Welt häufig auf Basis von pyannote. Die Ergebnisse beider Modelle werden anschließend über die Zeitstempel zusammengeführt. WhisperX bündelt genau diesen Ablauf. Die Qualität der Sprechertrennung hängt stark von der Aufnahme ab: Getrennte Kanäle pro Sprecher sind ideal, ein Raummikrofon mit sechs Personen und Zwischenrufen ist die schwierigste Variante. Beachten Sie zudem, dass manche Diarisierungsmodelle eigene Lizenz- oder Registrierungsbedingungen haben.
Die zweite große Lücke ist das Echtzeit-Streaming. Whisper verarbeitet Audio in festen Zeitfenstern von einigen Sekunden und wurde nicht als Streaming-Modell entworfen. Für Live-Untertitel oder Sprachassistenten am Telefon behilft man sich mit Workarounds: Das Audio wird in kurzen, überlappenden Blöcken verarbeitet, vorläufige Ergebnisse werden angezeigt und bei stabiler Erkennung bestätigt. Community-Projekte setzen solche Verfahren um und erreichen eine Latenz, die für Live-Untertitel oft genügt. Für natürliche Telefondialoge mit sehr kurzen Antwortzeiten sind native Streaming-Dienste jedoch meist überlegen. Wir ordnen Whisper deshalb primär als Batch- und Nahe-Echtzeit-Werkzeug ein.
Firmen-, Produkt- und Personennamen sowie Fachbegriffe sind eine typische Fehlerquelle. Whisper bietet dafür einen einfachen Hebel: einen Anfangs-Prompt, also einen kurzen Text, der dem Modell als Kontext vorangestellt wird. Enthält er die relevanten Begriffe in korrekter Schreibweise, steigt die Wahrscheinlichkeit, dass sie richtig erkannt werden. Das ist kein hartes Vokabular-Boosting wie bei manchen kommerziellen Diensten, sondern ein sanfter Hinweis – mit Grenzen bei der Länge und gelegentlichen Nebenwirkungen, etwa wenn das Modell den Stil des Prompts übernimmt. Ergänzend bewährt sich eine regelbasierte Nachkorrektur mit einer Ersetzungsliste oder eine Überarbeitung durch ein Sprachmodell, das auf das Firmenglossar zugreift.
Wo das nicht reicht, ist Fine-Tuning möglich: Das Modell wird mit eigenen Aufnahmen und geprüften Transkripten nachtrainiert, etwa für einen bestimmten Dialekt, eine Fachdomäne oder eine spezielle Aufnahmesituation. Das verlangt allerdings sauber annotierte Daten in ausreichender Menge, GPU-Kapazität und Erfahrung, um eine Verschlechterung in anderen Bereichen zu vermeiden. Für die meisten Mittelständler lohnt sich Fine-Tuning erst, wenn Prompting, Audiooptimierung und Nachkorrektur ausgeschöpft sind und ein hohes, stabiles Volumen den Aufwand rechtfertigt. Sprachaufnahmen für das Training sind zudem personenbezogene Daten und brauchen eine eigene Rechtsgrundlage.
faster-whisper ist eine Neuimplementierung auf Basis einer optimierten Inferenz-Engine für Transformer-Modelle. Sie nutzt dieselben Gewichte in konvertierter Form, arbeitet aber deutlich schneller und speichersparender als die Referenzimplementierung – auf GPU wie auf CPU. Quantisierung, also die Reduktion der Rechengenauigkeit, senkt den Speicherbedarf weiter, meist mit geringem Qualitätsverlust. Eine integrierte Sprachaktivitätserkennung hilft gegen Halluzinationen. faster-whisper ist in vielen Server-Setups und Anwendungen der faktische Standard.
whisper.cpp portiert Whisper nach C und C++ ohne schwere Abhängigkeiten. Das Projekt ist auf Effizienz auf gewöhnlicher Hardware ausgelegt, läuft ausgesprochen gut auf Apple-Silicon-Rechnern, unterstützt aber auch verschiedene GPU-Beschleuniger. Es eignet sich besonders für Desktop-Anwendungen, eingebettete Systeme und Szenarien, in denen keine Python-Umgebung gewünscht ist. Viele Mac-Diktier- und Transkriptions-Apps nutzen whisper.cpp unter der Haube.
Daneben existieren Implementierungen in verbreiteten Machine-Learning-Bibliotheken, Varianten mit Batch-Verarbeitung für sehr hohen Durchsatz sowie destillierte Modelle, die kleiner und schneller sind. Welche Laufzeitumgebung passt, hängt von Hardware, Programmiersprache und Durchsatzanforderung ab. Für Server mit GPU ist faster-whisper ein guter Startpunkt, für Arbeitsplatzrechner und Apple-Geräte whisper.cpp.
WhisperX kombiniert eine schnelle Whisper-Transkription mit Sprachaktivitätserkennung, präziser Wortausrichtung über ein zusätzliches Alignment-Modell und Sprechertrennung. Das Ergebnis sind Transkripte mit Wortzeitstempeln und Sprecherlabels – genau das, was für Besprechungsprotokolle und Interviewauswertungen benötigt wird. Für die Ausrichtung braucht WhisperX ein sprachspezifisches Hilfsmodell; für Deutsch sind solche Modelle verfügbar, ihre Qualität sollte aber im eigenen Szenario geprüft werden.
In größeren Architekturen ist Whisper ein Baustein in einer Verarbeitungskette: Audio-Eingang über Upload, Telefonanlage oder Meeting-Aufzeichnung, Vorverarbeitung und Normalisierung, Transkription, Diarisierung, anschließend Zusammenfassung, Klassifikation oder Extraktion durch ein Sprachmodell und schließlich die Übergabe an CRM, ERP, Ticket- oder Dokumentenmanagement. Workflow-Werkzeuge, Message-Queues und Container-Orchestrierung sorgen dafür, dass diese Kette zuverlässig und skalierbar läuft. Für Sprachagenten in Echtzeit lassen sich Whisper-basierte Erkennungsbausteine auch in Frameworks wie Pipecat oder LiveKit einhängen – mit den in Kapitel 04 genannten Einschränkungen bei der Latenz.
Für Anwender ohne Entwicklungsressourcen sind fertige Anwendungen der praktischste Weg. Es gibt Desktop-Programme für Windows und macOS, die Audiodateien lokal transkribieren und teilweise Sprechertrennung mitbringen – einige davon als Open Source aus dem akademischen und europäischen Umfeld. Kollaborationsplattformen, die sich selbst hosten lassen, bieten teils lokale Transkriptionsfunktionen auf Whisper-Basis. Hinzu kommen Diktierlösungen, die Sprache direkt in beliebige Textfelder schreiben, sowie kommerzielle Meeting-Assistenten, die Whisper oder verwandte Modelle in der Cloud nutzen.
Bei allen fertigen Lösungen gilt: Nicht jede Anwendung, die mit „Whisper“ wirbt, verarbeitet lokal. Manche senden Audio an die OpenAI-API oder an eigene Cloud-Server. Prüfen Sie vor der Einführung, wo die Verarbeitung tatsächlich stattfindet, ob Daten gespeichert oder für Trainingszwecke genutzt werden und wer der Vertragspartner ist.
Deepgram und AssemblyAI sind spezialisierte Speech-to-Text-Anbieter, die nicht nur ein Modell, sondern einen vollständigen Dienst liefern: Streaming mit niedriger Latenz, Sprechertrennung, Vokabular-Anpassung, Formatierung von Zahlen und Daten, teils zusätzliche Analysefunktionen wie Stimmung, Themen oder Zusammenfassungen – alles über eine API mit Service-Level. Deepgram ist besonders im Echtzeit- und Voice-Agent-Umfeld stark, AssemblyAI hat einen Schwerpunkt auf Audio-Intelligenz und Entwicklerfreundlichkeit. Beide bieten nach unserem Kenntnisstand Optionen für Datenregionen oder dedizierte Bereitstellungen an; Details sind beim jeweiligen Anbieter zu prüfen.
Whisper ist dagegen zunächst ein Modell. Wer es selbst betreibt, muss Streaming, Diarisierung und Vokabularanpassung selbst zusammenbauen, gewinnt dafür aber volle Datenkontrolle und unabhängige Kostenstruktur. Die Faustregel: Für Batch-Transkription sensibler Inhalte spricht viel für Whisper im Eigenbetrieb. Für Live-Telefonie mit Sprachagenten und hohem Anspruch an Latenz sind spezialisierte Dienste meist die pragmatischere Wahl.
Die Sprachdienste von Microsoft Azure und Google Cloud spielen ihre Stärke aus, wenn ein Unternehmen ohnehin tief in diesem Ökosystem arbeitet: zentrale Verträge, Identitätsmanagement, EU-Rechenzentrumsregionen, Anbindung an Contact-Center- und Office-Produkte. Sie bieten Streaming, Sprechertrennung und Anpassung an eigenes Vokabular. Die Datenverarbeitung findet bei US-Konzernen statt, auch wenn EU-Regionen gewählt werden – die rechtliche Bewertung bleibt daher eine Einzelfallfrage.
Daneben gibt es europäische und deutsche Anbieter, die Spracherkennung mit Hosting in Deutschland, Branchenwortschätzen etwa für Medizin oder Recht und teils On-Premises-Varianten anbieten. Sie sind besonders dort interessant, wo eine schlüsselfertige Lösung mit deutschem Vertragspartner und Support gewünscht ist, aber kein eigenes Team für den Whisper-Betrieb existiert. Nicht selten basieren auch solche Lösungen im Kern auf Whisper oder verwandten Modellen und ergänzen sie um Betrieb, Benutzeroberfläche und Fachvokabular. Die Frage lautet dann weniger „Whisper oder nicht“, sondern „selbst betreiben oder betreiben lassen“.
Für produktive Server-Setups mit großen Modellen ist eine GPU der Normalfall. Schon eine einzelne aktuelle Karte mit ausreichend Grafikspeicher kann – je nach Laufzeitumgebung, Modell und Quantisierung – ein beachtliches Volumen an Audiostunden pro Tag verarbeiten. Wie viel genau, hängt von zu vielen Faktoren ab, um seriös eine Zahl zu nennen; ein Lasttest mit eigenen Daten ist Pflicht. Wichtig ist die Wahl einer Karte, deren Speicher das gewünschte Modell plus Puffer für parallele Aufträge aufnehmen kann.
Auf CPU läuft Whisper ebenfalls, insbesondere mit optimierten Laufzeitumgebungen und quantisierten Modellen. Für kleinere Volumen, nächtliche Batch-Läufe oder kleine und mittlere Modelle kann ein vorhandener Server ausreichen. Große Modelle auf CPU sind möglich, aber langsam. Eine interessante Mittelklasse bilden Apple-Silicon-Rechner: Dank gemeinsamem Speicher und effizienter Beschleunigung laufen große Modelle hier mit whisper.cpp erstaunlich flott – eine pragmatische Option für einzelne Arbeitsplätze oder kleine Teams ohne Rechenzentrum.
Die meisten Mittelstandsszenarien sind Batch-Verarbeitung: Eine Aufnahme wird hochgeladen, landet in einer Warteschlange und ist nach einigen Minuten als Text verfügbar. Diese Architektur ist robust, gut auslastbar und verzeiht Lastspitzen. Für Nahe-Echtzeit, etwa Live-Untertitel in Besprechungen, sind Streaming-Workarounds und ausreichend reservierte GPU-Kapazität nötig. Echte Dialog-Echtzeit am Telefon ist mit Whisper machbar, verlangt aber deutlich mehr Engineering und sollte gegen spezialisierte Dienste abgewogen werden.
Zum Betrieb gehört ein durchdachtes Monitoring: Auslastung von GPU und Speicher, Länge der Warteschlange, Durchlaufzeiten, Fehlerraten der Aufträge und Speicherverbrauch. Ebenso wichtig ist ein inhaltliches Qualitätsmonitoring – regelmäßige Stichproben, die von Menschen geprüft werden, sowie automatische Hinweise auf typische Halluzinationsmuster wie lange Wiederholungen. Und schließlich: Modell und Laufzeitumgebung werden versioniert, Updates erst nach einem Regressionstest mit Referenzaufnahmen ausgerollt. Protokolle dürfen keine Transkriptinhalte im Klartext enthalten, wenn das nicht ausdrücklich vorgesehen ist.
Whisper passt besonders gut, wenn Inhalte vertraulich sind, die Verarbeitung nicht in Echtzeit erfolgen muss und ein Mindestmaß an IT-Kompetenz vorhanden ist – intern oder über einen Dienstleister. Kanzleien, Steuerberatungen, Arztpraxen und Pflegedienste, Ingenieurbüros und produzierende Unternehmen mit sensiblen Entwicklungsthemen profitieren von der Möglichkeit, Sprache zu verschriftlichen, ohne Daten an Dritte zu geben. Auch für Unternehmen, die bereits eigene Server oder eine private Cloud betreiben, ist der Schritt klein.
Weniger geeignet ist Whisper im Eigenbetrieb, wenn ein telefonischer Sprachagent mit sehr kurzen Antwortzeiten gebaut werden soll, wenn integrierte Analysefunktionen ohne Entwicklungsaufwand gefragt sind oder wenn schlicht niemand den Dienst betreuen kann. In diesen Fällen ist ein gemanagter Dienst, gegebenenfalls ein europäischer Anbieter, oft die wirtschaftlichere Wahl.
Bewährt hat sich ein Einstieg in drei Stufen. Zunächst ein kurzer Qualitätstest mit einer lokalen Anwendung und echten Aufnahmen, um die grundsätzliche Eignung zu klären. Dann ein kleiner, zentral betriebener Transkriptionsdienst für eine Abteilung – etwa für Besprechungsprotokolle der Geschäftsleitung oder Diktate im Vertrieb – inklusive Löschkonzept und Zugriffsregeln. Erst wenn dieser Dienst stabil läuft und angenommen wird, folgen weitere Anwendungsfälle wie Serviceanalyse oder Integration in Fachanwendungen. So bleibt das Risiko klein, und jede Stufe liefert für sich bereits Nutzen.
„Whisper ist kostenlos“ stimmt nur für die Lizenz. Im Eigenbetrieb stehen Fixkosten für Hardware oder gemietete GPU-Kapazität, Einrichtung, Wartung und Qualitätssicherung im Vordergrund. Diese Kosten sind weitgehend unabhängig davon, ob ein Server zehn oder hundert Stunden Audio am Tag verarbeitet. Bei der API-Nutzung ist es umgekehrt: kaum Fixkosten, aber Kosten pro Nutzung, die mit dem Volumen wachsen. Daraus folgt eine einfache Logik: Bei kleinem oder sehr schwankendem Volumen ist die API wirtschaftlich attraktiv, bei regelmäßig hohem Volumen und vorhandener Infrastruktur rechnet sich der Eigenbetrieb meist schnell.
Für eine faire Rechnung gehören auch versteckte Posten dazu: Zeit für Nachkorrektur bei schwächerer Qualität, Aufwand für Diarisierung und Integration, Sicherheitsupdates, Ausfallsicherheit. Umgekehrt verursachen API-Lösungen Aufwand für Datenschutzprüfung, Verträge und gegebenenfalls Anonymisierung. Eine Betrachtung über drei Jahre mit realistischen Volumenszenarien schafft Klarheit.
Sprachaufnahmen sind in aller Regel personenbezogene Daten. Die Stimme selbst kann eine Person identifizierbar machen, und Inhalte enthalten oft Namen, Gesundheitsangaben, Vertragsdetails oder Meinungen. Schon die Aufzeichnung eines Gesprächs braucht daher eine tragfähige Rechtsgrundlage und eine transparente Information der Beteiligten; bei Telefonaten kommen zusätzliche strafrechtliche Aspekte der Vertraulichkeit des gesprochenen Wortes hinzu. Wird die Stimme zur Identifizierung genutzt, kann es sich um biometrische Daten mit besonderem Schutz handeln.
Im Eigenbetrieb on-premises oder bei einem europäischen Hoster entfällt der Drittlandtransfer, sofern keine weiteren Dienste angebunden sind. Das vereinfacht die Bewertung erheblich – Pflichten wie Zweckbindung, Datenminimierung, Löschung, Zugriffskontrolle und gegebenenfalls eine Datenschutz-Folgenabschätzung bleiben aber bestehen. Bei API-Nutzung werden Audiodaten an OpenAI und damit an einen US-Anbieter übermittelt. Dann sind Auftragsverarbeitungsvertrag, Transfermechanismus, Angaben zur Datenverwendung und Speicherdauer sowie verfügbare Datenregionen zu prüfen. Ob und unter welchen Bedingungen eine Verarbeitung in Europa angeboten wird, ist beim Anbieter zu klären.
Werden Gespräche von Beschäftigten ausgewertet – etwa im Callcenter, im Vertrieb oder in Besprechungen –, berührt das regelmäßig die Mitbestimmung. Technische Einrichtungen, die geeignet sind, Verhalten oder Leistung zu überwachen, sind in Deutschland mitbestimmungspflichtig. Eine Betriebsvereinbarung, die Zweck, Auswertungsumfang, Zugriffe und Löschfristen regelt, schafft Rechtssicherheit und Akzeptanz. Planen Sie den Betriebsrat früh ein, nicht erst kurz vor dem Rollout.
Ein Spracherkennungsmodell, das Audio in Text verwandelt, fällt für sich genommen typischerweise nicht in die Hochrisiko-Kategorien des EU AI Act. Relevant wird die Verordnung über den Verwendungszweck: Werden Transkripte etwa zur Leistungsbewertung von Beschäftigten oder zur Emotionserkennung am Arbeitsplatz genutzt, können strenge Regeln oder Verbote greifen. Wird Whisper Teil eines Sprachassistenten, der direkt mit Menschen spricht, gelten Transparenzpflichten – Nutzer müssen erkennen können, dass sie mit einer KI interagieren. Hinzu kommt die Pflicht, für ausreichende KI-Kompetenz der Beschäftigten zu sorgen, die mit solchen Systemen arbeiten.
Für Unternehmen, die Whisper selbst betreiben, ist es sinnvoll, Einsatzzweck, Modellversion, Datenflüsse und menschliche Kontrolle zu dokumentieren. Diese Dokumentation hilft nicht nur beim AI Act, sondern auch bei der DSGVO-Rechenschaftspflicht und bei internen Audits.