Traducción jurídica: una revisión en profundidad del rendimiento de los sistemas ChatGPT y de traducción por redes neuronales (NMT)

En la ola siempre cambiante de la tecnología de la traducción, laChatGPT (Chat Generativo Preentrenado Transformador) ha atraído sin duda la atención mundial. Como modelo de macrolenguaje (Large Language Models, LLM), ChatGPT ha demostrado unas impresionantes capacidades de procesamiento del lenguaje natural y, en algunas tareas de traducción, su rendimiento es incluso comparable al de las herramientas de traducción profesionales. Sin embargo, en el campo de la traducción jurídica, conocido por su alto grado de rigor y profesionalidad, ¿puede ChatGPT hacer tambalearse realmente a las actuales herramientas de traducción mayoritarias? traducción automática neural (Neural Machine Translation, NMT)?

En este artículo, analizaremos un estudio reciente que compara el rendimiento de ChatGPT-4 con los cuatro principales sistemas NMT en términos de Traducción de textos jurídicos inglés-chino y chino-inglés El estudio no sólo revela las diferencias de rendimiento entre ambos en las distintas direcciones de traducción, sino que también analiza con más detalle su rendimiento en las distintas direcciones de traducción. El estudio no sólo revela las diferencias de rendimiento entre ambos en distintas direcciones de traducción, sino que también analiza con más detalle su rendimiento en las Traducción de terminología, estructura gramatical y convenciones de estilo Errores típicos cometidos en estos ámbitos.

Antecedentes del estudio: Desarrollo de la tecnología de traducción automática y retos de la traducción jurídica

En los últimos años, la tecnología de traducción automática ha experimentado un rápido desarrollo, entre las que destaca la tecnología de traducción automática neuronal. Numerosos estudiosos se han dedicado a la investigación y optimización de la traducción automática neural, esforzándose por mejorarla mediante la innovación tecnológica. traducción automática En el estudio de Feng y Zhang (2022), se señala que la tecnología NMT ha entrado en la fase de aplicación práctica a gran escala, especialmente en el campo de la traducción inglés-chino, la precisión de traducción del texto ordinario ha superado los 90%, lo que puede satisfacer plenamente las necesidades de traducción de escenarios cotidianos, como informes de noticias, descripciones de productos e información de tráfico, etc. El estudio de Li (2021) también observa que se pueden utilizar cinco tipos de técnicas basadas en redes neuronales para la traducción, y que se pueden utilizar para la traducción del mismo texto. El estudio de Li (2021) también observa que cinco tipos de técnicas basadas en redes neuronales Traducción automática en línea El sistema de traducción automática en línea (OMT) ha alcanzado un nivel aceptable de calidad de traducción, pero aún puede mejorar en la búsqueda de la excelencia.

Al mismo tiempo.modelo de macrolenguaje Su potencial en el campo de la traducción también está emergiendo gradualmente, y algunos estudios demuestran que su rendimiento en determinadas tareas de traducción ya está a la par, o incluso es mejor, que el de algunas plataformas de traducción profesionales del mercado. Por ejemplo, el estudio de Yang (2023) concluyó que ChatGPT no mostraba ventajas significativas sobre otros sistemas de traducción automática y traductores humanos en la traducción de textos jurídicos vietnamitas. Sin embargo, cabe destacar que ChatGPT ha realizado avances significativos en las áreas de procesamiento del lenguaje natural, comprensión de problemas e interacción con el usuario, e incluso en términos de complejidad sintáctica, los resultados de traducción de ChatGPT han sido comparables a los de traductores humanos y DeepL Traducción Similares.

Sin embargo, la mayoría de los estudios anteriores han utilizado corpus generalizados y la dirección de la traducción ha abarcado varias lenguas, con pocos estudios centrados en ChatGPT El rendimiento específico en el campo de la traducción jurídica inglés-chino, por no hablar de la falta de una comparación en profundidad de las diferencias entre los sistemas ChatGPT y NMT en términos de calidad de la traducción jurídica.

En el contexto de la creciente globalización, la demanda de traducción jurídica inglés-chino sigue creciendo, y un análisis comparativo de los puntos fuertes y débiles de ChatGPT y NMT, como las tecnologías de traducción más avanzadas en la actualidad, no sólo proporcionará referencias útiles para la mejora del sistema de traducción, sino que también ayudará a los profesionales de la traducción jurídica a comprender mejor los límites de las capacidades de estas tecnologías, para que puedan elegir y utilizar las herramientas de traducción de forma más inteligente.

El objetivo de este estudio es evaluar sistemáticamente la eficacia de ChatGPT-4 en el campo de la traducción jurídica comparando su rendimiento con el de cuatro sistemas NMT convencionales (Youdao Translator, Baidu Translator, Google Translator y DeepL Translator) en la traducción de textos jurídicos inglés-chino y chino-inglés. Los temas centrales del estudio son:

• ¿Qué funciona mejor en la traducción de textos jurídicos inglés-chino y chino-inglés, ChatGPT o el sistema NMT?
• Con los mismos criterios de evaluación, ¿qué dirección de traducción obtiene mejores resultados en la traducción inglés-chino y chino-inglés entre los sistemas ChatGPT y NMT?
• ¿En qué se diferencian los sistemas ChatGPT y NMT en cuanto a los tipos típicos de errores que cada uno produce en la traducción de textos jurídicos?

Diseño del estudio: un sistema de evaluación riguroso

Para garantizar la validez y fiabilidad de los resultados del estudio, el texto fuente (textos fuente, TS) se seleccionaron respetando estrictamente los siguientes principios:

• exhaustividadLos textos seleccionados abarcan una amplia gama de subcampos jurídicos, incluidos el derecho civil, penal, mercantil y administrativo, con el fin de que los resultados sean ampliamente aplicables y representativos.
• puntualidad: Sólo se han seleccionado textos jurídicos actualmente en vigor para reflejar fielmente las necesidades y los retos reales de las traducciones jurídicas actuales.
• DiversidadLos textos jurídicos seleccionados variaban en cuanto a estructura, dificultad y contexto, con el fin de evaluar exhaustivamente la calidad de las traducciones de NMT y ChatGPT de distintos tipos de textos jurídicos.
• autenticidadLa legislación y la normativa seleccionadas proceden de fuentes públicas para facilitar la revisión inter pares y verificar la objetividad de las conclusiones.
• referencialidad: Los textos seleccionados se referencian a traducciones oficiales o autorizadas para evaluar automáticamente la calidad de las traducciones NMT y ChatGPT.

Basándose en los principios anteriores, los investigadores seleccionaron 15 textos chinos de 14 leyes chinas diferentes como textos fuente para las traducciones chino-inglés, y se controló que la longitud de cada texto estuviera entre 500 y 550 caracteres. Para garantizar la exactitud y autoridad de la evaluación de las traducciones, se utilizaron como textos fuente las traducciones oficiales al inglés proporcionadas por la Base de Datos de Información Jurídica de China. Texto objetivo Las traducciones de referencia de los textos jurídicos de Hong Kong (textos meta, TT) se utilizaron como traducciones inglés-chino. Del mismo modo, para comparar con las traducciones chino-inglés, se utilizaron 15 textos jurídicos ingleses correspondientes de la versión electrónica de las Leyes de Hong Kong, también limitados a 500-550 palabras de extensión, como textos fuente para las traducciones inglés-chino. Las versiones oficiales en chino de estos textos ingleses (también de la versión electrónica de las Leyes de Hong Kong) se utilizaron como traducciones de referencia de los textos meta.

En cuanto a la metodología de la investigación, en este estudio se seleccionaron tanto ChatGPT-4 como los actuales sistemas NMT de uso generalizado, y el Sustitución de la evaluación bilingüe (Subestudio de evaluación bilingüe. BLEUEl BLEU es un índice utilizado internacionalmente para evaluar la traducción automática, y cuanto mayor es la puntuación, mejor es la calidad de la traducción. El equipo de investigación utiliza la herramienta de evaluación de la traducción proporcionada por la plataforma Trial Translation para calcular la puntuación BLEU, con el fin de evaluar cuantitativamente la calidad de traducción de cada sistema.

Los pasos específicos del estudio son los siguientes: en primer lugar, se importaron 30 textos de origen a sistemas NMT como Youdao Translate, Baidu Translate, Google Translate y DeepL Translate para su traducción, y también se utilizó ChatGPT-4 para la traducción. A continuación, los textos de destino generados por el sistema NMT y ChatGPT-4 se copian en documentos de Word. A continuación, se calculó la puntuación BLEU del texto de destino utilizando "Trial Translator - Translation Evaluation Tool". Por último, los valores BLEU del texto de destino se analizaron estadísticamente mediante el software estadístico SPSS 27.

Resultados: evaluación cuantitativa y análisis estadísticos

Comparación de la calidad de la traducción chino-inglés

• En traducción chino-inglés.ChatGPT obtuvo la puntuación BLEU media más baja y la desviación estándar más alta.Esto demuestra que la calidad de las traducciones jurídicas chino-inglés no sólo es inferior a la del sistema NMT, sino también menos estable que la del sistema NMT.
• Traducción Youtube obtuvieron las puntuaciones BLEU medias más altas.Google Translate Muy cerca.DeepL Traducción responder cantando Traducción de Baidu Los resultados son más ajustados.
• Los resultados del ANOVA mostraron que las puntuaciones BLEU entre los sistemas La diferencia no es significativa (p = 0.119).
• Sin embargo, las pruebas de comparación múltiple revelaron además queDiferencias significativas entre ChatGPT y Yodo TranslateAdemás, existe una diferencia significativa entre Baidu Translation y Youdao Translation dentro del sistema NMT.
• En general, la calidad de ChatGPT en la traducción jurídica chino-inglés es ligeramente inferior a la del sistema NMT, pero la diferencia entre ambos no alcanza un nivel significativo (p = 0,258).

Comparación de la calidad de las traducciones inglés-chino

• En traducción inglés-chino.ChatGPT sigue teniendo la puntuación BLEU media más baja, mientras que Yodo Translation vuelve a tener la puntuación media más alta.El traductor DeepL sigue a Arata Translator, con Baidu Translator y Google Translator situándose relativamente cerca.
• Se comprobó que los valores absolutos de curtosis y asimetría de los datos de cada puntuación del sistema eran superiores a 1,96, lo que indica que los datos no se distribuye normalmente.
• Por lo tanto, el estudio utilizó la prueba no paramétrica de Kruskal-Wallis y los resultados mostraron que había puntuaciones BLEU entre los cinco sistemas diferencia significativa (p < 0.001).
• Los análisis comparativos dos a dos revelaron además que las diferencias entre ChatGPT y los cuatro sistemas NMT restantes alcanzaron el nivel significativo, mientras que las diferencias entre los cuatro sistemas NMT entre sí fueron insignificante.
• En conjunto.La calidad del sistema NMT es significativamente superior a la de ChatGPT en la traducción de textos jurídicos inglés-chino..

Comparación general de la calidad de las traducciones inglés-chino y chino-inglés

• Los resultados de la prueba t de muestras independientes muestran que existe una diferencia significativa (p < 0,001) en la calidad de la traducción entre las direcciones de traducción inglés-chino y chino-inglés tanto para el sistema ChatGPT como para el sistema NMT.
• Cabe señalar queLas puntuaciones BLEU fueron significativamente más altas en las traducciones chino-inglés que en las traducciones inglés-chino.Esto demuestra que tanto ChatGPT como los sistemas NMT obtienen mejores resultados en la tarea de traducción jurídica chino-inglés.

Debate: Análisis del tipo de error y puntos fuertes y débiles del sistema

Con el fin de profundizar en el conocimiento del rendimiento de los sistemas ChatGPT y NMT en la traducción de textos jurídicos, este estudio emplea además el método de estudio de casos para analizar detenidamente los tipos de errores que cometen en la traducción de textos jurídicos. El estudio clasificó los principales errores en los tres grupos siguientes: errores de traducción terminológica, errores de estructura gramatical y sintáctica, y errores de estilo y formato.

Análisis de errores de traducción chino-inglés

• terminologíaEn cuanto a la traducción de terminología jurídica, los sistemas ChatGPT y NMT muestran niveles similares de precisión, y es difícil distinguir entre los mejores y los peores. Por ejemplo, términos como "prisión de duración determinada" y "cadena perpetua" pueden ser traducidos con precisión por ambos sistemas. Sin embargo, para la traducción de "detención penal", existen discrepancias entre algunos sistemas y la referencia "encarcelamiento limitado", por ejemplo, DeepL traduce "control" como "control". Por ejemplo, traduce "control" como "control", lo que es ligeramente menos preciso.
• Gramática y estructura sintácticaCada sistema tiene también sus puntos fuertes y débiles en cuanto a gramática y estructura sintáctica. Por ejemplo, al traducir la frase "más de diez años de prisión", la traducción de Google Translate muestra evidentes errores lógicos y contradicciones en la expresión. A la hora de traducir la compleja frase "causar la muerte o herir gravemente a una persona por medios particularmente crueles, con resultado de discapacidad grave", la traducción de ChatGPT es relativamente concisa y clara, mientras que las traducciones de algunos sistemas NMT son potencialmente ambiguas.
• Estilo y formatoEn términos de estilo y formato, ni el sistema ChatGPT ni el NMT mostraron errores de formato evidentes, y la estructura de los resultados de la traducción se mantuvo coherente con el texto original, cumpliendo básicamente los requisitos de formato típicos de los documentos jurídicos. Sin embargo, algunas de las traducciones del sistema NMT presentan ligeras deficiencias de estilo, por ejemplo, DeepL traduce "intenally inflicts bodily harm" como "inflige intencionadamente daños corporales", lo que resulta ligeramente crudo. harm", que es ligeramente rígido, y el uso que hace Baidu Translate de "those who..." también es relativamente infrecuente en el inglés jurídico.

Análisis de errores de traducción inglés-chino

• terminologíaEn la traducción inglés-chino, ChatGPT es algo menos preciso en su comprensión de la terminología jurídica. Por ejemplo, ChatGPT traduce "with intent to murder" como "con asesinato", lo que es demasiado simple y no refleja adecuadamente la intención legal implícita en el texto original. Otro ejemplo es que ChatGPT traduce "be guilty of an offence triable upon indictment" como "commit an offence that can be prosecuted", ignorando el hecho de que la frase "indictment", que ignora el paso procesal legal clave. En cambio, el sistema NMT es capaz de ofrecer resultados de traducción más precisos en cuanto a la terminología jurídica china e inglesa.
• Gramática y estructura sintácticaEl sistema NMT es mejor que ChatGPT en cuanto a precisión gramatical y estandarización de la estructura de las frases. Tomemos como ejemplo DeepL, que traduce "shall be guilty of an offence triable upon indictment, and shall be liable to imprisonment for life" como "será culpable de un delito enjuiciable por acusación, y podrá ser condenado a cadena perpetua". Por ejemplo, "shall be guilty of an offence triable upon indictment, and shall be liable to imprisonment for life" se traduce como "será culpable de un delito enjuiciable por acusación, y podrá ser condenado a cadena perpetua", lo que tiene una estructura oracional clara y rigurosa y se ajusta a las convenciones expresivas de los textos jurídicos.
• Estilo y formatoEn la traducción de las cláusulas de enmienda habituales en los textos jurídicos, el sistema NMT está más normalizado y se aproxima más a la expresión de los textos jurídicos chinos.

En conjunto, en la tarea de traducción jurídica inglés-chino, el sistema NMT no sólo supera en precisión de traducción terminológica, sino que también muestra un mejor rendimiento en estructura gramatical, precisión de traducción directa y expresión formal.

Enlace a la ponencia:https://tpls.academypublication.com/index.php/tpls/article/view/8692