DeepL Aure: Kölner Voice-Modell soll beim Übersetzen auch Tonfall und Gefühl mitnehmen

Wer schon einmal eine maschinell übersetzte Stimme gehört hat, kennt das Problem: Die Wörter stimmen meistens, aber der Mensch dahinter verschwindet. Aus einem begeisterten Satz wird ein gleichförmiger Nachrichtensprecher-Ton. Genau da setzt DeepL aus Köln jetzt mit einem neuen Modell namens Aure an.

Was Aure anders macht

Bisher hat DeepL Voice zu Beginn eines Gesprächs eine kurze Stimmprobe ausgewertet und daraus eine feste synthetische Stimme gebaut. Ändert sich später die Stimmung, bleibt die Übersetzung im alten Tonfall hängen. Aure hört dagegen laufend mit und passt sich während des ganzen Gesprächs an Betonung, Sprechtempo und Emotionen an. Laut DeepL lernt das Modell dabei Stimmidentität, Prosodie und Inhalt getrennt, damit etwa ein Akzent nicht die eigentliche Aussage verfälscht. Störgeräusche und Echos sollen vorher herausgefiltert werden.

Wo und in welchen Sprachen

Aure steckt ab sofort in DeepL Voice für Online-Meetings und persönliche Gespräche und ist auch über die DeepL-API nutzbar, ohne dass man etwas einstellen muss. Zum Start spricht es Englisch, Deutsch, Spanisch, Französisch, Italienisch, Portugiesisch, Koreanisch und Japanisch. Weitere Sprachen sollen folgen.

Meine Einschätzung

Dass Japanisch und Koreanisch direkt dabei sind, finde ich spannend, gerade weil im Japanischen so viel über Tonfall und Satzmelodie transportiert wird. Ob Aure wirklich die feinen Nuancen trifft, muss sich im Alltag zeigen. Für Messen, Fan-Events mit Gästen aus Japan oder ganz normale Videocalls über Sprachgrenzen hinweg wäre es jedenfalls ein echter Fortschritt, wenn die Übersetzung endlich auch nach der Person klingt, die gerade spricht.

Mehr Details gibt es bei heise online.