Juristische Übersetzung: Eine eingehende Prüfung der Leistung von ChatGPT- und Neural Network Translation (NMT)-Systemen

In der sich ständig verändernden Welle der Übersetzungstechnologie ist dieChatGPT (Chat generativ vor-trainiert Transformator) hat zweifelsohne weltweite Aufmerksamkeit erregt. Als ein fortschrittliches Makrolanguage-Modell (Large Language Models (LLM)) hat ChatGPT beeindruckende Fähigkeiten bei der Verarbeitung natürlicher Sprache bewiesen, und bei einigen Übersetzungsaufgaben ist seine Leistung sogar mit der von professionellen Übersetzungsprogrammen vergleichbar. Kann ChatGPT jedoch im Bereich der juristischen Übersetzung, die für ihre hohe Strenge und Professionalität bekannt ist, die derzeitigen Mainstream-Übersetzungstools wirklich erschüttern? neuronale maschinelle Übersetzung (Neuronale Maschinelle Übersetzung, NMT) den Status des Systems?

In diesem Beitrag werden wir uns eine aktuelle Studie genauer ansehen, die die Leistung von ChatGPT-4 mit den vier wichtigsten NMT-Systemen in Bezug auf folgende Punkte vergleicht Übersetzung von englisch-chinesischen und chinesisch-englischen Rechtstexten Die Studie zeigt nicht nur die Leistungsunterschiede zwischen den beiden in verschiedenen Übersetzungsrichtungen auf, sondern analysiert auch detailliert ihre Leistung in verschiedenen Übersetzungsrichtungen. Die Studie zeigt nicht nur die Leistungsunterschiede zwischen den beiden in verschiedenen Übersetzungsrichtungen auf, sondern analysiert auch im Detail ihre Leistung in den Übersetzung von Terminologie, grammatikalischer Struktur und Stilkonventionen Typische Fehler, die in solchen Bereichen gemacht werden.

Hintergrund der Studie: Entwicklung der maschinellen Übersetzungstechnologie und Herausforderungen der juristischen Übersetzung

In den letzten Jahren hat die KI-Übersetzungstechnologie eine rasante Entwicklung erfahren, wobei die neuronale maschinelle Übersetzungstechnologie eine besondere Rolle spielt. Zahlreiche Wissenschaftler haben sich der Erforschung und Optimierung der NMT gewidmet und sind bestrebt, sie durch technologische Innovationen weiter zu verbessern. maschinelle Übersetzung In der Studie von Feng und Zhang (2022) wird darauf hingewiesen, dass die NMT-Technologie inzwischen in großem Umfang praktisch angewendet wird, insbesondere im Bereich der Englisch-Chinesischen Übersetzung, wobei die Übersetzungsgenauigkeit gewöhnlicher Texte 90% übersteigt, was den Übersetzungsbedarf alltäglicher Szenarien wie Nachrichten, Produktbeschreibungen und Verkehrsinformationen usw. voll und ganz befriedigen kann. In der Studie von Li (2021) wird auch festgestellt, dass fünf Arten von auf neuronalen Netzen basierenden Techniken für die Übersetzung verwendet werden können und dass sie für die Übersetzung desselben Textes eingesetzt werden können. In der Studie von Li (2021) wird auch festgestellt, dass fünf Arten von auf neuronalen Netzen basierenden Maschinelle Online-Übersetzung Das System der maschinellen Online-Übersetzung (OMT) hat ein akzeptables Niveau der Übersetzungsqualität erreicht, aber es gibt noch Raum für Verbesserungen im Streben nach Spitzenleistungen.

Zur gleichen Zeit.Makrolanguage-Modell Auch das Potenzial im Bereich der Übersetzung zeichnet sich allmählich ab, wobei einige Studien zeigen, dass ihre Leistung bei bestimmten Übersetzungsaufgaben bereits mit einigen professionellen Übersetzungsplattformen auf dem Markt vergleichbar oder sogar besser ist. So ergab die Studie von Yang (2023), dass ChatGPT bei der Übersetzung vietnamesischer Rechtstexte keine signifikanten Vorteile gegenüber anderen maschinellen Übersetzungssystemen und menschlichen Übersetzern aufweist. Es ist jedoch erwähnenswert, dass ChatGPT erhebliche Fortschritte in den Bereichen der Verarbeitung natürlicher Sprache, des Problemverständnisses und der Benutzerinteraktion gemacht hat, und selbst in Bezug auf die syntaktische Komplexität waren die Übersetzungsergebnisse von ChatGPT mit denen von menschlichen Übersetzern und DeepL Übersetzung Ähnlich.

Die meisten der oben genannten Studien haben jedoch verallgemeinerte Korpora verwendet, und die Übersetzungsrichtung hat mehrere Sprachen abgedeckt, wobei sich nur wenige Studien auf ChatGPT Die besondere Leistung im Bereich der Englisch-Chinesischen Rechtsübersetzung, ganz zu schweigen von dem Fehlen eines eingehenden Vergleichs der Unterschiede zwischen ChatGPT und NMT-Systemen in Bezug auf die Qualität der Rechtsübersetzung.

Eine vergleichende Analyse der Stärken und Schwächen von ChatGPT und NMT, den derzeit fortschrittlichsten Übersetzungstechnologien, wird nicht nur nützliche Hinweise für die Verbesserung des Übersetzungssystems liefern, sondern auch Praktikern der juristischen Übersetzung helfen, die Grenzen der Möglichkeiten dieser Technologien besser zu verstehen, damit sie die Übersetzungstools klüger auswählen und einsetzen können.

Ziel dieser Studie ist es, die Effektivität von ChatGPT-4 im Bereich der juristischen Übersetzung systematisch zu evaluieren, indem seine Leistung mit vier gängigen NMT-Systemen (Youdao Translator, Baidu Translator, Google Translator und DeepL Translator) bei der Übersetzung von englisch-chinesischen und chinesisch-englischen Rechtstexten verglichen wird. Zu den Kernfragen der Studie gehören:

• Welches System ist bei der Übersetzung von Rechtstexten vom Englischen ins Chinesische und vom Chinesischen ins Englische besser geeignet: ChatGPT oder NMT?
• Welche Übersetzungsrichtung schneidet unter den gleichen Bewertungskriterien bei der Übersetzung Englisch-Chinesisch und Chinesisch-Englisch zwischen ChatGPT und NMT-Systemen besser ab?
• Welche Unterschiede gibt es bei den typischen Fehlern, die das ChatGPT- und das NMT-System bei der Übersetzung von Rechtstexten verursachen?

Studiendesign: ein strenges Bewertungssystem

Um die Gültigkeit und Zuverlässigkeit der Ergebnisse der Studie zu gewährleisten, wurden die Quelltext (Quellentexte, ST) wurden unter strikter Einhaltung der folgenden Grundsätze ausgewählt:

• AusführlichkeitDie ausgewählten Texte decken ein breites Spektrum juristischer Teilgebiete ab, darunter Zivil-, Straf-, Handels- und Verwaltungsrecht, um die Erkenntnisse breit anwendbar und repräsentativ zu machen.
• Rechtzeitigkeit: Es wurden nur aktuell gültige Rechtstexte ausgewählt, um den tatsächlichen Bedürfnissen und Herausforderungen aktueller Rechtsübersetzungen gerecht zu werden.
• VielfaltDie ausgewählten Rechtstexte unterschieden sich in Bezug auf Struktur, Schwierigkeitsgrad und Kontext, um die Qualität der Übersetzungen von NMT und ChatGPT für verschiedene Arten von Rechtstexten umfassend zu bewerten.
• AuthentizitätAusgewählte Gesetze und Vorschriften stammen aus öffentlich zugänglichen Quellen, um die Überprüfung durch Fachkollegen zu erleichtern und die Objektivität der Ergebnisse zu gewährleisten.
• ReferentialitätAusgewählte Texte werden auf offizielle oder maßgebliche Übersetzungen verwiesen, um die Qualität der NMT- und ChatGPT-Übersetzungen automatisch zu bewerten.

Auf der Grundlage der oben genannten Prinzipien wählten die Forscher 15 chinesische Texte aus 14 verschiedenen chinesischen Gesetzen als Ausgangstexte für die chinesisch-englischen Übersetzungen aus, wobei die Länge jedes Textes auf 500 bis 550 Zeichen begrenzt wurde. Um die Genauigkeit und Autorität der Übersetzungsbewertung zu gewährleisten, wurden die offiziellen englischen Übersetzungen der Chinese Legal Information Database als Ausgangstexte verwendet. Zieltext Die Referenzübersetzungen der Hongkonger Gesetzestexte (Zieltexte, TT) wurden als Englisch-Chinesisch-Übersetzungen verwendet. Ebenso wurden zum Vergleich mit den chinesisch-englischen Übersetzungen 15 entsprechende englische Gesetzestexte aus der elektronischen Version der Hongkonger Gesetze, die ebenfalls auf 500-550 Wörter begrenzt sind, als Ausgangstexte für die englisch-chinesischen Übersetzungen verwendet. Die offiziellen chinesischen Versionen dieser englischen Texte (ebenfalls aus der elektronischen Version der Gesetze von Hongkong) wurden als Referenzübersetzungen der Zieltexte verwendet.

In Bezug auf die Forschungsmethodik wurden ChatGPT-4 sowie die aktuellen Mainstream-NMT-Systeme für diese Studie ausgewählt und verwendet Zweisprachige Substitution der Bewertung (Zweisprachige Evaluierung Understudy. BLEUBLEU ist ein international gebräuchlicher Index zur Bewertung der maschinellen Übersetzung, und je höher die Punktzahl, desto besser ist die Übersetzungsqualität. Das Forschungsteam verwendet das von der Trial Translation Platform zur Verfügung gestellte Übersetzungsbewertungstool, um den BLEU-Wert zu berechnen und so die Übersetzungsqualität der einzelnen Systeme quantitativ zu bewerten.

Die einzelnen Schritte der Studie sind wie folgt: Zunächst wurden 30 Ausgangstexte in NMT-Systeme wie Youdao Translate, Baidu Translate, Google Translate und DeepL Translate zur Übersetzung importiert, und ChatGPT-4 wurde ebenfalls zur Übersetzung verwendet. Anschließend werden die von NMT-Systemen und ChatGPT-4 generierten Zieltexte in Word-Dokumente kopiert. Anschließend wurde der BLEU-Wert des Zieltextes mit dem "Trial Translator - Translation Evaluation Tool" berechnet. Schließlich wurden die BLEU-Werte des Zieltextes mit der Statistiksoftware SPSS 27 statistisch ausgewertet.

Ergebnisse: quantitative Bewertung und statistische Analysen

Vergleich der Qualität chinesisch-englischer Übersetzungen

• In chinesisch-englischer Übersetzung.ChatGPT hatte den niedrigsten mittleren BLEU-Wert und die höchste StandardabweichungDies zeigt, dass die Qualität der chinesisch-englischen juristischen Übersetzungen nicht nur schlechter ist als die des NMT-Systems, sondern auch weniger stabil als das NMT-System.
• Youtube-Übersetzung erzielten die höchsten durchschnittlichen BLEU-Werte.Google Übersetzen Direkt dahinter.DeepL Übersetzung im Gesang antworten Baidu's Übersetzung Die Ergebnisse sind näher beieinander.
• Die ANOVA-Ergebnisse zeigten, dass die BLEU-Werte zwischen den Systemen Der Unterschied ist nicht signifikant (p = 0.119).
• Mehrfache Vergleichstests ergaben jedoch auch, dassSignifikante Unterschiede zwischen ChatGPT und Yodo TranslateDarüber hinaus besteht ein erheblicher Unterschied zwischen der Baidu-Übersetzung und der Youdao-Übersetzung innerhalb des NMT-Systems.
• Insgesamt ist die Qualität von ChatGPT in der chinesisch-englischen Rechtsübersetzung etwas schlechter als die des NMT-Systems, aber der Unterschied zwischen den beiden Systemen erreicht kein signifikantes Niveau (p = 0,258).

Vergleich der Qualität von Englisch-Chinesischen Übersetzungen

• In englischer und chinesischer Übersetzung.ChatGPT hat weiterhin die niedrigste durchschnittliche BLEU-Punktzahl, während Yodo Translator erneut die höchste durchschnittliche Punktzahl aufweist!Der Übersetzer DeepL folgt auf Arata Translator, relativ dicht dahinter liegen Baidu Translator und Google Translator.
• Die absoluten Werte der Kurtosis und der Schiefe der Daten für jede Systembewertung wurden auf einen Wert von über 1,96 getestet, was bedeutet, dass die Daten nicht normal verteilt.
• Daher wurde in der Studie der nichtparametrische Kruskal-Wallis-Test verwendet, und die Ergebnisse zeigten, dass die BLEU-Werte zwischen den fünf Systemen erheblicher Unterschied (p < 0.001).
• Die zwei-zu-zwei-Vergleichsanalysen zeigten außerdem, dass die Unterschiede zwischen ChatGPT und den übrigen vier NMT-Systemen alle das signifikante Niveau erreichten, während die Unterschiede zwischen den vier NMT-Systemen und untereinander unbedeutend.
• Zusammengenommen.Das NMT-System ist bei der Übersetzung von englisch-chinesischen Rechtstexten qualitativ deutlich besser als ChatGPT..

Gesamtvergleich der Übersetzungsqualität Englisch-Chinesisch und Chinesisch-Englisch

• Die Ergebnisse des t-Tests für unabhängige Stichproben zeigen, dass es einen signifikanten Unterschied (p < 0,001) in der Übersetzungsqualität zwischen den Übersetzungsrichtungen Englisch-Chinesisch und Chinesisch-Englisch sowohl für das ChatGPT- als auch das NMT-System gibt.
• Es ist erwähnenswert, dassDie BLEU-Werte waren für chinesisch-englische Übersetzungen signifikant höher als für englisch-chinesische Übersetzungen.Dies zeigt, dass sowohl ChatGPT- als auch NMT-Systeme bei der chinesisch-englischen juristischen Übersetzungsaufgabe besser abschneiden.

Diskussion: Fehlertypenanalyse und Systemstärken und -schwächen

Um ein tieferes Verständnis der Leistung der ChatGPT- und NMT-Systeme bei der Übersetzung von Rechtstexten zu erlangen, wird in dieser Studie die Methode der Fallstudie angewandt, um die Fehlerarten, die sie bei der Übersetzung von Rechtstexten machen, sorgfältig zu analysieren. In der Studie wurden die wichtigsten Fehler in die folgenden drei Hauptgruppen eingeteilt: terminologische Übersetzungsfehler, grammatikalische und syntaktische Strukturfehler sowie Stil- und Formatierungsfehler.

Chinesisch-Englische Übersetzungsfehleranalyse

• TerminologieWas die Übersetzung von Rechtsterminologie betrifft, so weisen die Systeme ChatGPT und NMT ein ähnliches Genauigkeitsniveau auf, und es ist schwierig, zwischen dem besten und dem schlechtesten System zu unterscheiden. Beispielsweise können Begriffe wie "befristete Freiheitsstrafe" und "lebenslange Freiheitsstrafe" von beiden Systemen korrekt übersetzt werden. Bei der Übersetzung von "strafrechtlicher Inhaftierung" gibt es jedoch Diskrepanzen zwischen einigen Systemen und der Referenz "begrenzte Inhaftierung", zum Beispiel übersetzt DeepL "control" mit "Kontrolle". Zum Beispiel übersetzt "control" mit "Kontrolle", was etwas weniger präzise ist.
• Grammatik und syntaktische StrukturJedes System hat auch seine eigenen Stärken und Schwächen in Bezug auf Grammatik und syntaktische Struktur. Bei der Übersetzung des Satzes "mehr als zehn Jahre Haft" beispielsweise weist die Übersetzung von Google Translate offensichtliche logische Fehler und Widersprüche im Ausdruck auf. Bei der Übersetzung des komplexen Satzes "Tod oder schwere Verletzung einer Person durch besonders grausame Mittel, die zu einer schweren Behinderung führen" ist die Übersetzung von ChatGPT relativ prägnant und klar, während die Übersetzungen einiger NMT-Systeme potenziell mehrdeutig sind.
• Stil und FormatStil und Formatierung: Weder das ChatGPT- noch das NMT-System wiesen offensichtliche Formatierungsfehler auf, und die Struktur der Übersetzungsergebnisse stimmte mit dem Originaltext überein und entsprach im Wesentlichen den typischen Formatierungsanforderungen für juristische Dokumente. Einige der Übersetzungen des NMT-Systems weisen jedoch leichte Stilmängel auf, z. B. übersetzt DeepL "intentional inflicts bodily harm" mit "intentional inflicts bodily harm", was etwas grob ist. harm", was etwas steif ist, und die von Baidu Translate verwendete Formulierung "those who..." ist im Rechtsenglisch ebenfalls relativ unüblich.

Analyse von Englisch-Chinesischen Übersetzungsfehlern

• TerminologieBei der Übersetzung vom Englischen ins Chinesische ist ChatGPT etwas ungenauer bei der Erfassung der juristischen Terminologie. So übersetzt ChatGPT beispielsweise "mit der Absicht zu morden" mit "以谋杀", was zu einfach ist und die im Originaltext implizierte rechtliche Absicht nicht vollständig wiedergibt. Ein weiteres Beispiel ist, dass ChatGPT "be guilty of an offence on indictment" mit "commit an indictable offence" übersetzt und dabei die Tatsache ignoriert, dass der Ausdruck "indictment (indictment)" nicht Teil des Originaltextes ist. "Anklageschrift", wodurch der entscheidende juristische Verfahrensschritt ignoriert wird. Im Gegensatz dazu ist das NMT-System in der Lage, genauere Übersetzungsergebnisse in Bezug auf die chinesische und englische Rechtsterminologie zu liefern.
• Grammatik und syntaktische StrukturDas NMT-System ist in Bezug auf grammatikalische Genauigkeit und Normalität der Satzstruktur besser als ChatGPT. DeepL zum Beispiel übersetzt "shall be guilty of an offence on indictment, and shall be liable to imprisonment for life" mit "shall be guilty of an offence on indictment, and shall be liable to imprisonment for life". Die Übersetzung "shall be guilty of an offence on indictment, and shall be liable to imprisonment for life" wird beispielsweise mit "shall be guilty of an offence on indictment, and shall be liable to imprisonment for life" übersetzt, was eine klare und strenge Satzstruktur aufweist und den Ausdrucksgewohnheiten von Rechtstexten entspricht.
• Stil und FormatBei der Übersetzung gängiger Änderungsklauseln in Rechtstexten ist das NMT-System standardisierter und kommt dem Ausdruck chinesischer Rechtstexte näher.

Alles in allem ist das NMT-System bei der Übersetzung von juristischen Texten aus dem Englischen ins Chinesische nicht nur in Bezug auf die Genauigkeit der Terminologieübersetzung besser, sondern auch in Bezug auf die grammatikalische Struktur, die Genauigkeit der direkten Übersetzung und den formalen Ausdruck.

Link zum Papier:https://tpls.academypublication.com/index.php/tpls/article/view/8692