Hello, bienvenue und guten Tag hier beim Dolmetschweblog. Seit 2007 berichte ich in loser Folge über das Arbeitsleben von Übersetzerinnen, Übersetzern, Dolmetscherinnen und Dolmetschern. Wir sind vor allem auf Konferenzen und bei Delegationsreisen tätig, aber auch in den Kulissen des politischen und wissenschaftlichen Betriebs. Heute: Grenzen der KI.
|
| Rechts doppelt, links vier Finger |
Jetzt ist es also passiert. Vorbereitet bin ich. Denn natürlich sind wir gewappnet, seit diese Technik viel Risikokapital angezogen hat.
Mein Vorschlag an die Dame: Sehen wir uns das doch gemeinsam in Ruhe an.
Zunächst erkläre ich ihr, was diese Anbieter konkret tun: Gesprochene Sprache wird zunächst in Text umgewandelt. Dieser Text wandert anschließend in eine Übersetzungsmaschine. Ich nenne Google Translate und DeepL, sie bestätigt, diese selbst schon genutzt zu haben. Das Ergebnis wird danach in ein „Text-to-Speech-Programm“ eingespeist, und „fertig“ ist die sogenannte automatisierte Sprachübersetzung. Sie zeigt sich überrascht, mit so vielen Verarbeitungsschritten habe sie nicht gerechnet.
Ich greife ihren eigenen Gedanken auf: Jeder dieser Schritte ist ein Einfallstor für Fehler. Interessanterweise bestand die Kundin dennoch darauf, dass die Anbieter ihr eine hohe Genauigkeit zugesagt hätten.
Also berichte ich von unseren Beobachtungen. Dabei waren Fehler beim Hin und Her zwischen den Programmen nicht einmal das größte Problem. Wir haben zwei der aktuell am Markt recgt selbstbewusst auftretenden Anbieter testen dürfen. Als höchste Genauigkeit wurden uns 95 Prozent angekündigt.
Auffällig war Folgendes: Die KI wartete, genauso wie wir, beim „Zuhören“ zunächst ab, bis klar war, worum es ging. Anders als wir spulte sie das Gesagte anschließend wiederholt in überhöhter Geschwindigkeit ab. Zwischendurch wurde etwas nicht verstanden, Begriffe tauchten in falschen Bedeutungszusammenhängen auf, Aussagen brachen ab und wurden später wieder aufgenommen.
Einmal fehlte ein zentraler Begriff, weil der Redner zum Wasserglas griff und den Kopf minimal vom Mikrofon wegbewegt hatte. Das System geriet ins Stocken, logische Bezüge gingen verloren, am Ende kollabierte der Absatz, war alles Murks. Ähnliche Effekte traten auf, als eine Rednerin unter (simuliertem) Stress falsch betont hat.
Was sonst noch passiert ist, lässt sich in unserer Liste unten erahnen.
Grundsätzlich zeigte sich, dass die KI die Struktur der Reden verändert hat: Akzentuierungen verschoben sich, Schwerpunkte wurden verlagert, teils sogar Forderungen inhaltlich verändert. Genau das hat auch die Dolmetschabteilung des Europarats in ihrer Veröffentlichung Synthèse de rapport sur l’interpretation automatique (speech-to-speech) bestätigt [hier der Direktlink].
Auch die Weltgesundheitsorganisation [Direktlink] hat diese Effekte beobachtet. In einer Versuchsreihe mit 90 getesteten Reden lag die Genauigkeit in Summe zwischen 5 und 83 Prozent. Diese veränderten Argumentationslinien sind einmal mehr der Beweis dafür, dass die KI (natürlich) nicht weiß, welche Kommunikationsstrategien hinter den Aussagen steht.
Doch das ist nur eines von vielen Problemen. Ich kürze mal ab.
Wir haben der Kundin zu KI-Verdolmetschung geraten, wenn:
- die Veranstaltung einem 08-15-Thema gewidmet ist, zu dem es bereits massenhaft Material im Netz gibt
- die Kommunikationsabsicht der Redner:innen unwichtig ist
- im Raum garantiert Ruhe herrscht (kein Husten, kein Stühlerücken)
- Redner:innen nicht unter Stress geraten, keinen Akzent sprechen und auch sonst nicht von der Normaussprache abweichen
- niemand Emotionen zeigt, da diese die Stimme verändern
- keine rhetorischen Schleifen nötig sind, um Aussagen einzuordnen oder kulturell anschlussfähig zu machen
- niemand Rückfragen stellt
- Halluzinationen der KI egal sind oder vom Publikum sofort als solche erkannt werden
- keine geschlechter- oder minderheitensensible Kommunikationssituation vorliegt, da KI nachweislich bestehende Vorurteile verstärkt (bedingt durch das Trainingsmaterial)
- bei Fehlübertragungen niemand Verantwortung übernehmen muss
- ein möglicher politischer Missbrauch der eigenen Daten vollkommen egal ist (Big Tech sitzt bekannterweise in den USA)
Sie halten das für überzogen? Alle aktuellen wissenschaftlichen Untersuchungen bestätigen diese Einschätzungen. Und die Halluzinationen werden eher schlimmer. Denn die KI hat das Internet weitgehend abgegrast und trainiert inzwischen zunehmend mit eigenen Auswürfen. Diese sind weniger akkurat als menschlich erzeugte Inhalte. Die Qualität der Gesamtheit aller Publikationen sinkt, parallel dazu die Genauigkeit der KI, die grobe Fehler einbaut.
Für diese Fehler gibt es inzwischen einen Namen: AI slop oder KI-Slop. Gemeint sind Inhalte, die auf den ersten Blick korrekt wirken, aber so echt sind wie die Spam-Mails, in denen ein Anwalt Ihnen 14 Millionen Dollar verspricht. Diese Mails sind leicht zu erkennen, Slop hingegen nicht immer.
Wörtlich bedeutet the slop Brühe, Schmutzwasser oder Rückstand. Gemeint sind massenhaft produzierte falsche Inhalte, die plausibel wirken und sich automatisch reproduzieren. Sie verzerren am Ende alle KI-Auswürfe, da diese stets vom statistischen Durchschnitt dessen ausgehen, was zuvor „rezipiert“ wurde, siehe oben.
Auch die Kundin kannte solche Beispiele bereits: Erfindungen, Verzerrungen und Absurditäten in von der KI erstellten Texten oder Bildern.
Hier mein Schlenker zurück zum Anfang: Selbst wenn bei Konferenzen reine Laborbedingungen herrschen würden und die KI sogar 95 Prozent korrekt übertrüge, blieben Reihenfolge der Argumente, Gewichtung des Neuen und die fehlenden fünf Prozent entscheidend. Slop wird die KI immer produzieren. Das ist systemisch.
Diese Verzerrungen betrefen auch unseren Markt. Tatsächlich schaffen es einige Nerds, reine KI-„Lösungen“ ohne Dolmetscher:innen zu verkaufen. Das wird nicht lange gutgehen. Die Kundin von oben hat die KI-Bude jetzt aussortiert.
In anderen Fällen setze ich auf kritische Rückmeldungen der Endkund:innen.
______________________________
Grafik: pixlr.com (Zufallsfund)
Keine Kommentare:
Kommentar veröffentlichen