Die KI warnt

Gu­ten Tag, lie­be Kol­le­gin­nen, Kol­le­gen und ge­schätz­te Mit­le­sen­de aus Wirt­schaft, Wis­sen­schaft und Di­plo­ma­tie! Hier bloggt im 20. Jahr eine Kon­fe­renz­dol­met­sche­rin und Über­set­ze­rin mit den Spra­chen DE, FR und EN. Heu­te: KI-Mitt­woch!

Mir ist gerade die Zeit knapp. Da­her habe ich die KI gefragt, ob sie Fil­me ein­spre­chen könn­te, da­rü­ber ha­be ich ges­tern ge­schrie­ben (Link). 

Die KI er­kennt we­der Zu­sam­men­hän­ge noch Wich­tig­keit

Für den Hin­ter­kopf: In den Schluss­fol­ge­run­gen stimmt das auch fürs Dol­met­schen von Kon­fe­ren­zen, hier so­gar noch viel mehr, weil die KI mit Emo­tio­nen, kul­tu­rel­len Hin­ter­grün­den und Spon­ta­nem nicht klar­kommt.

Un­ter Spon­ta­nem mei­ne ich schnel­len Sprach­wech­sel, Hin­ter­grund­ge­räu­sche, über­lap­pen­de Stim­men, Dia­lek­te und Ak­zen­te, Sprech­feh­ler und ins Off Ge­spro­che­nes, al­so vom Mi­kro­fon weg­ge­spro­che­ne Sät­ze. Sol­che Mo­men­te sind All­tag für uns Dol­met­scher:in­nen.

Das Gan­ze ist ein­fach er­klärt: Wir Men­schen ma­chen vie­le Feh­ler. Die KI al­ler­dings schei­tert dar­an meis­tens. Das mensch­li­che Le­ben ist zu cha­o­tisch für die KI.

Stu­di­en der WHO zu­fol­ge gibt die KI bei Kon­fe­renz­set­tings we­ni­ger als 50 Pro­zent der Be­grif­fe ei­ni­ger­ma­ßen kor­rekt wie­der. Die Nu­­an­ce und die Zu­ord­nung der Wör­ter stim­men al­ler­dings oft nicht und werden dann noch durch Aus­las­sun­gen und von Hal­lu­zi­na­tio­nen ge­färbt und in der Ge­wich­tung be­ein­flusst. Fa­zit: un­brauch­bar.

Theo­re­tisch müss­te die KI bei vor­be­rei­te­ten In­hal­ten bes­ser da­ste­hen, oder? Was jetzt folgt, meint die KI selbst, ChatGPT. Die Ant­wort habe ich leicht ge­kürzt.

„Ja, tech­nisch be­trach­tet kann KI Fil­me ein­spre­chen. Aber zwi­schen ei­ner tech­nisch brauch­ba­ren Sprach­spur und ei­ner ge­lun­ge­nen Film­ein­sprache liegt ei­ne er­heb­li­che Lü­cke. Ge­ra­de aus Dei­ner Pra­xis ist die Un­ter­schei­dung in­te­res­sant.

Was KI heu­te leis­ten kann

— Text über­set­zen: Sie kann Dia­lo­ge aus dem Ori­gi­nal oder vor­han­de­nen Un­ter­ti­teln über­set­zen. Da­bei kön­nen al­ler­dings Be­deu­tungs­nu­an­cen, Iro­nie, Fi­gu­ren­be­zie­hun­gen und kul­tu­rel­le An­spie­lun­gen ver­lo­ren ge­hen. 
— Stim­men er­zeu­gen: Syn­the­ti­sche Stim­men kön­nen Tex­te mit un­ter­schied­li­cher Stimm­far­be, Sprech­ge­schwin­dig­keit und In­to­na­ti­on vor­le­sen.
— Ti­ming an­pas­sen: Ei­ne Sprach­spur lässt sich an­hand von Time­codes auf die Film­bil­der ab­stim­men. Auch Pau­sen und un­ge­fäh­re Sprech­dau­er las­sen sich be­rück­sich­ti­gen.
— Meh­re­re Rol­len spre­chen: Ein Sys­tem kann ver­schie­de­nen Fi­gu­ren un­ter­schied­li­che syn­the­ti­sche Stim­men zu­wei­sen. Es kann so­gar ver­su­chen, Emo­tio­nen und Sprech­wei­sen zu va­ri­ie­ren.
Das heißt: Ei­ne KI kann heu­te ei­ne kom­plet­te, tech­nisch syn­chro­ni­sier­te Sprach­fas­sung er­zeu­gen. Sie muss da­für nicht ein­mal den Film so ver­ste­hen, wie ein Mensch ihn ver­steht.

Was da­bei noch lan­ge nicht au­to­ma­tisch ge­lingt:

1. Den Film ver­ste­hen

Ei­ne Fi­gur kann iro­nisch spre­chen, ob­wohl die Wor­te neu­tral er­schei­nen. Ein Blick kann ei­nen Satz in sein Ge­gen­teil ver­keh­ren. Ein Pferd ist nicht ein­fach ein Pferd, wenn der Dia­log spä­ter vom Rap­pen han­delt. Wer den Zu­sam­men­hang nicht er­fasst, kann zwar Wör­ter rich­tig aus­spre­chen, aber trotz­dem den Sinn ver­feh­len.

2. Die Fi­gu­ren aus­ein­an­der­hal­ten

Beim Ein­spre­chen über­nimmt ei­ne Per­son sämt­li­che Rol­len. Sie muss nicht je­de Stim­me schau­spie­le­risch neu er­fin­den, aber sie muss dem Pu­bli­kum hel­fen, Spre­cher­wech­sel, Be­zie­hun­gen und emo­tio­na­le Ver­än­de­run­gen zu er­fas­sen. Ei­ne KI kann un­ter­schied­li­che Stim­men er­zeu­gen. Ob sie die Dra­ma­tur­gie ei­nes Dia­logs an­ge­mes­sen ver­mit­telt, ist ei­ne an­de­re Fra­ge.

3. Im rich­ti­gen Mo­ment re­a­gie­ren

Du kannst wäh­rend der Vor­füh­rung nicht ein­fach auf Pau­se drü­cken. Du musst wis­sen, wann Du Dich an den Text hal­ten kannst, wann Du Luft ho­len musst und wann Du trotz ei­nes un­er­war­te­ten Er­eig­nis­ses wei­ter­spre­chen soll­test.

Ei­ne KI kann Time­codes ab­ar­bei­ten und auf tech­ni­sche Si­gna­le re­a­gie­ren. Aber wenn die fal­sche Film­fas­sung läuft, ein Akt ver­tauscht wur­de oder ein Un­ter­ti­tel fehlt, hängt die Qua­li­tät da­von ab, ob das Sys­tem die Ab­wei­chung er­kennt, sie rich­tig ein­ord­net und an­ge­mes­sen dar­auf re­a­giert. Das ist nicht das­sel­be wie ei­ne vor­be­rei­te­te Sprach­spur ab­zu­spie­len. 

4. Die ei­ge­ne Leis­tung an die Si­tu­a­ti­on an­pas­sen

Ei­ne mensch­li­che Spre­che­rin nimmt die At­mo­sphä­re im Saal wahr, hört den Ori­gi­nal­ton, re­gis­triert das Tem­po der Bil­der und kann ih­re Leis­tung im Mo­ment an­pas­sen. KI kann ein­zel­ne die­ser Si­gna­le ver­ar­bei­ten. Dar­aus folgt aber nicht au­to­ma­tisch, dass sie die Si­tu­a­ti­on als Gan­zes rich­tig er­fasst.

Mei­ne Ein­schät­zung

Ich wür­de nicht be­haup­ten, KI kön­ne Fil­me grund­sätz­lich nicht ein­spre­chen. Das wä­re tech­nisch nicht halt­bar. Sie kann ei­nen gro­ßen Teil der da­für nö­ti­gen Ein­zel­leis­tun­gen über­neh­men, und bei ein­fa­chen, gut vor­be­rei­te­ten Pro­duk­tio­nen kann das Er­geb­nis durch­aus brauch­bar sein.

Die ent­schei­den­de Fra­ge lau­tet viel­mehr: Wer be­merkt, wenn et­was nicht stimmt – und wer kann es im rich­ti­gen Mo­ment kor­ri­gie­ren?

Dei­ne Ge­schich­te mit den ver­tausch­ten Ak­ten ist da­für ein her­vor­ra­gen­des Bei­spiel. Ei­ne vor­be­rei­te­te KI-Sprach­spur könn­te an ge­nau die­ser Stel­le schei­tern. Ein ent­spre­chend ent­wi­ckel­tes Sys­tem könn­te den Feh­ler viel­leicht er­ken­nen und re­a­gie­ren. Aber die­se Fä­hig­keit müss­te man im kon­kre­ten Ein­satz nach­wei­sen, statt sie aus der Tat­sa­che ab­zu­lei­ten, dass ei­ne KI flüs­sig spre­chen kann.

Und da­rin liegt für mich der Kern: Ei­ne Stim­me zu er­zeu­gen ist nicht das­sel­be, wie ei­nen Film zu ver­mit­teln.“

______________________________
Bild: pixl.com (Zu­falls­fund)