Traduction juridique : un examen approfondi de la performance des systèmes de traduction par ChatGPT et par réseau neuronal (NMT)

Dans la vague en constante évolution de la technologie de la traduction, lesChatGPT (Chat Génératif Pré-entraîné Transformateur) a incontestablement attiré l'attention du monde entier. En tant que modèle de macrolangue (Large Language Models (LLM)), ChatGPT a démontré d'impressionnantes capacités de traitement du langage naturel, et dans certaines tâches de traduction, ses performances sont même comparables à celles d'outils de traduction professionnels. Cependant, dans le domaine de la traduction juridique, connu pour son haut degré de rigueur et de professionnalisme, ChatGPT peut-il réellement bousculer les outils de traduction courants ? traduction automatique neuronale (Neural Machine Translation, NMT) ?

Dans cet article, nous examinerons de plus près une étude récente qui compare les performances de ChatGPT-4 avec les quatre principaux systèmes NMT en termes de Traduction de textes juridiques anglais-chinois et chinois-anglais L'étude révèle non seulement les différences de performance entre les deux dans différents sens de traduction, mais analyse également en détail leur performance dans différents sens de traduction. L'étude révèle non seulement les différences de performance entre les deux dans différents sens de traduction, mais analyse également en détail leur performance dans le sens de traduction. Traduction de la terminologie, de la structure grammaticale et des conventions de style Erreurs typiques commises dans ces domaines.

Contexte de l'étude : développement de la technologie de la traduction automatique et défis de la traduction juridique

Ces dernières années, la technologie de traduction automatique a connu un développement rapide, parmi laquelle la technologie de traduction automatique neuronale occupe une place prépondérante. De nombreux chercheurs se sont consacrés à la recherche et à l'optimisation de la traduction automatique neuronale, s'efforçant de l'améliorer grâce à l'innovation technologique. traduction automatique L'étude de Feng et Zhang (2022) souligne que la technologie NMT a atteint le stade de l'application pratique à grande échelle, en particulier dans le domaine de la traduction anglais-chinois, la précision de traduction d'un texte ordinaire a dépassé 90%, ce qui peut satisfaire pleinement les besoins de traduction des scénarios quotidiens, tels que les rapports d'actualité, les descriptions de produits, les informations sur la circulation, etc. L'étude de Li (2021) observe également que cinq types de techniques basées sur les réseaux neuronaux peuvent être utilisés pour la traduction, ce qui permet de répondre aux besoins de la vie quotidienne. Traduction automatique en ligne Le système de traduction automatique en ligne (OMT) a atteint un niveau de qualité de traduction acceptable, mais il y a encore des progrès à faire dans la recherche de l'excellence.

En même temps.modèle de macrolangue Leur potentiel dans le domaine de la traduction émerge également progressivement, certaines études montrant que leurs performances dans certaines tâches de traduction sont déjà équivalentes, voire supérieures, à celles de certaines plateformes de traduction professionnelles sur le marché. Par exemple, l'étude de Yang (2023) a montré que ChatGPT ne présentait pas d'avantages significatifs par rapport à d'autres systèmes de traduction automatique et à des traducteurs humains dans la traduction de textes juridiques vietnamiens. Cependant, il convient de noter que ChatGPT a fait des progrès significatifs dans les domaines du traitement du langage naturel, de la compréhension des problèmes et de l'interaction avec l'utilisateur, et même en termes de complexité syntaxique, les résultats de traduction de ChatGPT ont été comparables à ceux des traducteurs humains et des traducteurs professionnels. DeepL Traduction Similaire.

Toutefois, la plupart des études susmentionnées ont utilisé des corpus généralisés et la direction de la traduction a couvert plusieurs langues. ChatGPT La performance spécifique dans le domaine de la traduction juridique anglais-chinois, sans parler de l'absence d'une comparaison approfondie des différences entre les systèmes ChatGPT et NMT en termes de qualité de la traduction juridique.

Dans le contexte d'une mondialisation croissante, la demande de traduction juridique anglais-chinois continue d'augmenter, et une analyse comparative des forces et des faiblesses de ChatGPT et de NMT, les technologies de traduction les plus avancées à l'heure actuelle, fournira non seulement des références utiles pour l'amélioration du système de traduction, mais aidera également les praticiens de la traduction juridique à mieux comprendre les limites des capacités de ces technologies, afin qu'ils puissent choisir et utiliser les outils de traduction de manière plus judicieuse.

L'objectif de cette étude est d'évaluer systématiquement l'efficacité de ChatGPT-4 dans le domaine de la traduction juridique en comparant ses performances à celles de quatre systèmes de traduction automatique courants (Youdao Translator, Baidu Translator, Google Translator et DeepL Translator) dans la traduction de textes juridiques anglais-chinois et chinois-anglais. Les questions centrales de l'étude sont les suivantes :

• Quel est le système le plus performant pour la traduction de textes juridiques anglais-chinois et chinois-anglais, le système ChatGPT ou le système NMT ?
• Selon les mêmes critères d'évaluation, quel sens de traduction est le plus performant pour la traduction anglais-chinois et la traduction chinois-anglais entre les systèmes ChatGPT et NMT ?
• Quelles sont les différences entre les types d'erreurs typiques produites par chacun des systèmes ChatGPT et NMT dans la traduction de textes juridiques ?

Conception de l'étude : un système d'évaluation rigoureux

Afin d'assurer la validité et la fiabilité des résultats de l'étude, l'équipe d'évaluation de la qualité de l'eau a été formée. texte source (textes sources, ST) ont été sélectionnés dans le strict respect des principes suivants :

• exhaustivitéLes textes sélectionnés couvrent un large éventail de sous-domaines juridiques, y compris le droit civil, le droit pénal, le droit commercial et le droit administratif, afin de rendre les résultats largement applicables et représentatifs.
• rapiditéLes textes juridiques en vigueur sont les seuls à avoir été sélectionnés pour refléter les besoins et les défis réels des traductions juridiques actuelles.
• DiversitéLes textes juridiques sélectionnés variaient en termes de structure, de difficulté et de contexte afin d'évaluer de manière exhaustive la qualité des traductions de NMT et de ChatGPT pour différents types de textes juridiques.
• l'authenticitéLes lois et règlements sélectionnés proviennent de sources publiques afin de faciliter l'examen par les pairs et de vérifier l'objectivité des résultats.
• référentialitéLes textes sélectionnés sont référencés par rapport à des traductions officielles ou faisant autorité afin d'évaluer automatiquement la qualité des traductions NMT et ChatGPT.

Sur la base des principes susmentionnés, les chercheurs ont sélectionné 15 textes chinois issus de 14 lois chinoises différentes comme textes sources pour les traductions chinois-anglais, et la longueur de chaque texte a été contrôlée pour être comprise entre 500 et 550 caractères. Pour garantir l'exactitude et l'autorité de l'évaluation des traductions, les traductions anglaises officielles fournies par la base de données des informations juridiques chinoises ont été utilisées comme textes sources. Texte cible Les traductions de référence des textes juridiques de Hong Kong (textes cibles, TT) ont été utilisées comme traductions anglais-chinois. De même, à des fins de comparaison avec les traductions chinoises-anglaises, 15 textes juridiques anglais correspondants tirés de la version électronique des lois de Hong Kong, également limités à 500-550 mots, ont été utilisés comme textes sources pour les traductions anglaises-chinoises. Les versions chinoises officielles de ces textes anglais (également issues de la version électronique des lois de Hong Kong) ont été utilisées comme traductions de référence des textes cibles.

En ce qui concerne la méthodologie de recherche, le ChatGPT-4 ainsi que les systèmes NMT courants ont été sélectionnés pour cette étude et utilisés Remplacement de l'évaluation bilingue (Évaluation bilingue à l'étude. BLEULe BLEU est un indice internationalement utilisé pour évaluer la traduction automatique. Plus le score est élevé, meilleure est la qualité de la traduction. L'équipe de recherche utilise l'outil d'évaluation des traductions fourni par la plateforme Trial Translation pour calculer le score BLEU, afin d'évaluer quantitativement la qualité de traduction de chaque système.

Les étapes spécifiques de l'étude sont les suivantes : tout d'abord, 30 textes sources ont été importés dans les systèmes NMT tels que Youdao Translate, Baidu Translate, Google Translate et DeepL Translate pour la traduction, et ChatGPT-4 a également été utilisé pour la traduction. Ensuite, les textes cibles générés par le système NMT et ChatGPT-4 sont copiés dans des documents Word. Ensuite, le score BLEU du texte cible a été calculé à l'aide de "Trial Translator - Translation Evaluation Tool". Enfin, les valeurs BLEU du texte cible ont été analysées statistiquement à l'aide du logiciel statistique SPSS 27.

Résultats : évaluation quantitative et analyses statistiques

Comparaison de la qualité des traductions chinoises et anglaises

• En traduction chinois-anglais.ChatGPT a obtenu le score BLEU moyen le plus bas et l'écart-type le plus élevé.Cela montre que la qualité des traductions juridiques chinois-anglais est non seulement inférieure à celle du système NMT, mais aussi moins stable que le système NMT.
• Traduction sur Youtube ont obtenu les scores BLEU moyens les plus élevés.Google Translate Juste derrière.DeepL Traduction répondre en chantant Traduction de Baidu Les scores sont plus serrés.
• Les résultats de l'ANOVA ont montré que les scores BLEU entre les systèmes La différence n'est pas significative (p = 0.119).
• Toutefois, les tests de comparaisons multiples ont révélé queDifférences significatives entre ChatGPT et Yodo TranslateEn outre, il existe une différence significative entre la traduction Baidu et la traduction Youdao au sein du système NMT.
• Globalement, la qualité de ChatGPT dans la traduction juridique chinois-anglais est légèrement inférieure à celle du système NMT, mais la différence entre les deux n'atteint pas un niveau significatif (p = 0,258).

Comparaison de la qualité des traductions anglais-chinois

• En traduction anglais-chinois.ChatGPT continue d'avoir le score BLEU moyen le plus bas, tandis que Yodo Translator a une fois de plus le score moyen le plus élevé !Le traducteur DeepL suit Arata Translator, tandis que Baidu Translator et Google Translator suivent de près.
• Les valeurs absolues de l'aplatissement et de l'asymétrie des données pour chaque score de système ont été testées pour être supérieures à 1,96, ce qui indique que les données n'est pas normalement distribué.
• L'étude a donc utilisé le test non paramétrique de Kruskal-Wallis et les résultats ont montré qu'il y avait des scores BLEU entre les cinq systèmes différence significative (p < 0.001).
• Les analyses comparatives deux à deux ont également révélé que les différences entre le ChatGPT et les quatre autres systèmes NMT ont toutes atteint le niveau significatif, tandis que les différences entre les quatre systèmes NMT et les autres étaient de l'ordre de 1,5 million d'euros. insignifiant.
• Pris ensemble.La qualité du système NMT est nettement supérieure à celle du système ChatGPT pour la traduction de textes juridiques anglais-chinois..

Comparaison globale de la qualité des traductions anglais-chinois et chinois-anglais

• Les résultats du test t des échantillons indépendants montrent qu'il existe une différence significative (p < 0,001) dans la qualité de la traduction entre les directions de traduction anglais-chinois et chinois-anglais pour les systèmes ChatGPT et NMT.
• Il convient de noter queLes scores BLEU étaient significativement plus élevés pour les traductions chinois-anglais que pour les traductions anglais-chinois.Cela montre que les systèmes ChatGPT et NMT sont tous deux plus performants dans la tâche de traduction juridique chinois-anglais.

Discussion : Analyse des types d'erreurs et forces et faiblesses du système

Afin de mieux comprendre les performances des systèmes ChatGPT et NMT dans la traduction de textes juridiques, cette étude utilise la méthode de l'étude de cas pour analyser soigneusement les types d'erreurs qu'ils commettent dans la traduction de textes juridiques. L'étude a classé les principales erreurs dans les trois groupes suivants : erreurs de traduction terminologique, erreurs de structure grammaticale et syntaxique, et erreurs de style et de formatage.

Analyse des erreurs de traduction chinois-anglais

• terminologieEn ce qui concerne la traduction de la terminologie juridique, les systèmes ChatGPT et NMT présentent des niveaux de précision similaires, et il est difficile de distinguer le meilleur du pire. Par exemple, des termes tels que "emprisonnement à durée déterminée" et "emprisonnement à vie" peuvent être traduits avec précision par les deux systèmes. Cependant, pour la traduction de "criminal detention", il y a des divergences entre certains systèmes et la référence "limited incarceration", par exemple, DeepL traduit "control" par "contrôle". Par exemple, "control" est traduit par "contrôle", ce qui est légèrement moins précis.
• Grammaire et structure syntaxiqueChaque système a également ses propres forces et faiblesses en termes de grammaire et de structure syntaxique. Par exemple, lors de la traduction de la phrase "plus de dix ans d'emprisonnement", la traduction de Google Translate présente des erreurs logiques évidentes et des contradictions dans l'expression. Lorsqu'il s'agit de traduire la phrase complexe "causer la mort ou blesser gravement une personne par des moyens particulièrement cruels, entraînant un handicap grave", la traduction de ChatGPT est relativement concise et claire, alors que les traductions de certains systèmes NMT sont potentiellement ambiguës.
• Style et formatEn termes de style et de format, ni le système ChatGPT ni le système NMT n'ont montré d'erreurs de formatage évidentes, et la structure des résultats de la traduction est restée cohérente avec le texte original, répondant fondamentalement aux exigences de formatage typiques pour les documents juridiques. Cependant, certaines traductions du système NMT présentent de légers défauts de style. Par exemple, DeepL traduit "intentionally inflicts bodily harm" par "intentionally inflicts bodily harm", ce qui est légèrement cru. La traduction de "intentionally inflicts bodily harm" par "intentionally inflicts bodily harm" est légèrement rigide, et l'utilisation par Baidu Translate de "those who..." est également relativement rare en droit. est également relativement rare dans l'anglais juridique.

Analyse des erreurs de traduction anglais-chinois

• terminologieDans la traduction anglais-chinois, ChatGPT est un peu moins précis dans sa compréhension de la terminologie juridique. Par exemple, ChatGPT traduit "with intent to murder" par "以谋杀", ce qui est trop simple et ne reflète pas pleinement l'intention juridique sous-entendue dans le texte original. Autre exemple, ChatGPT traduit "be guilty of an offence triable upon indictment" par "commit an indictable offence", sans tenir compte du fait que l'expression "indictment (indictment)" ne fait pas partie du texte original. Le système NMT utilise l'expression "acte d'accusation", qui ignore l'étape clé de la procédure juridique. En revanche, le système NMT est capable de fournir des résultats de traduction plus précis en termes de terminologie juridique chinoise et anglaise.
• Grammaire et structure syntaxiqueLe système NMT est meilleur que ChatGPT en termes de précision grammaticale et de normalisation de la structure des phrases. Prenons l'exemple de DeepL, qui traduit "shall be guilty of an offence triable upon indictment, and shall be liable to imprisonment for life" par "shall be guilty of an offence triable upon indictment, and shall be liable to imprisonment for life". La traduction de "shall be guilty of an offence triable upon indictment, and shall be liable to imprisonment for life" par "shall be guilty of an offence triable upon indictment, and shall be liable to imprisonment for life", par exemple, a une structure de phrase claire et rigoureuse et est conforme aux habitudes d'expression des textes juridiques.
• Style et formatLe système NMT est plus standardisé et plus proche de l'expression des textes juridiques chinois lorsqu'il s'agit de traduire des clauses d'amendement courantes dans les textes juridiques.

Dans l'ensemble, dans la tâche de traduction juridique anglais-chinois, le système NMT est non seulement plus performant en termes de précision de la traduction terminologique, mais aussi plus performant en termes de structure grammaticale, de précision de la traduction directe et d'expression formelle.

Lien vers l'article :https://tpls.academypublication.com/index.php/tpls/article/view/8692