Tradução jurídica: uma análise aprofundada do desempenho dos sistemas ChatGPT e de tradução por rede neural (NMT)

Na onda em constante mudança da tecnologia de tradução, aChatGPT (Chat Generative Pre-trained) Transformador), sem dúvida, atraiu a atenção mundial. Como um avançado modelo de macrolinguagem (Large Language Models (LLM)), o ChatGPT demonstrou recursos impressionantes de processamento de linguagem natural e, em algumas tarefas de tradução, seu desempenho é até mesmo comparável ao de ferramentas de tradução profissionais. No entanto, no campo da tradução jurídica, que é conhecido por seu alto grau de rigor e profissionalismo, o ChatGPT pode realmente abalar as ferramentas de tradução convencionais atuais? tradução automática neural (Tradução Automática Neural, NMT)?

Neste artigo, examinaremos mais de perto um estudo recente que compara o desempenho do ChatGPT-4 com os quatro principais sistemas de NMT em termos de Tradução de textos jurídicos em inglês-chinês e chinês-inglês O estudo não apenas revela as diferenças de desempenho entre os dois em diferentes direções de tradução, mas também analisa detalhadamente o desempenho deles em diferentes direções de tradução. O estudo não apenas revela as diferenças de desempenho entre os dois em diferentes direções de tradução, mas também analisa detalhadamente o desempenho deles em diferentes direções de tradução. Tradução de terminologia, estrutura gramatical e convenções de estilo Erros típicos cometidos nessas áreas.

Contexto do estudo: desenvolvimento da tecnologia de tradução automática e desafios da tradução jurídica

Nos últimos anos, a tecnologia de tradução de IA tem se desenvolvido rapidamente, entre as quais a tecnologia de tradução automática neural é particularmente proeminente. Vários acadêmicos se dedicaram à pesquisa e à otimização da NMT, esforçando-se para aprimorá-la ainda mais por meio da inovação tecnológica. tradução automática No estudo de Feng e Zhang (2022), é apontado que a tecnologia NMT entrou no estágio de aplicação prática em larga escala, especialmente no campo da tradução inglês-chinês, a precisão da tradução de textos comuns excedeu 90%, o que pode satisfazer totalmente as necessidades de tradução de cenários diários, como relatórios de notícias, descrições de produtos e informações de trânsito, etc. O estudo de Li (2021) também observa que cinco tipos de técnicas baseadas em redes neurais podem ser usadas para tradução e que elas podem ser usadas para a tradução do mesmo texto. O estudo de Li (2021) também observa que cinco tipos de técnicas baseadas em redes neurais Tradução automática on-line O sistema de tradução automática on-line (OMT) alcançou um nível aceitável de qualidade de tradução, mas ainda há espaço para melhorias na busca pela excelência.

Ao mesmo tempo.modelo de macrolinguagem O potencial no campo da tradução também está surgindo gradualmente, com alguns estudos mostrando que seu desempenho em determinadas tarefas de tradução já está no mesmo nível, ou até melhor, do que algumas plataformas de tradução profissionais no mercado. Por exemplo, o estudo de Yang (2023) constatou que o ChatGPT não apresentou vantagens significativas em relação a outros sistemas de tradução automática e tradutores humanos na tradução de textos jurídicos vietnamitas. No entanto, vale a pena observar que o ChatGPT fez um progresso significativo nas áreas de processamento de linguagem natural, compreensão de problemas e interação com o usuário e, mesmo em termos de complexidade sintática, os resultados de tradução do ChatGPT foram comparáveis aos de tradutores humanos e DeepL Tradução Semelhante.

No entanto, a maioria dos estudos acima usou corpora generalizados e a direção da tradução abrangeu vários idiomas, com poucos estudos focados em ChatGPT O desempenho específico no campo da tradução jurídica inglês-chinês, sem mencionar a falta de uma comparação aprofundada das diferenças entre os sistemas ChatGPT e NMT em termos de qualidade de tradução jurídica.

No contexto da crescente globalização, a demanda por tradução jurídica inglês-chinês continua a crescer, e uma análise comparativa dos pontos fortes e fracos do ChatGPT e da NMT, como as tecnologias de tradução mais avançadas no momento, não só fornecerá referências úteis para o aprimoramento do sistema de tradução, mas também ajudará os profissionais de tradução jurídica a entender melhor os limites dos recursos dessas tecnologias, para que possam escolher e usar as ferramentas de tradução com mais sabedoria.

O objetivo deste estudo é avaliar sistematicamente a eficácia do ChatGPT-4 no campo da tradução jurídica, comparando seu desempenho com quatro sistemas NMT convencionais (Youdao Translator, Baidu Translator, Google Translator e DeepL Translator) na tradução de textos jurídicos em inglês-chinês e chinês-inglês. As principais questões do estudo incluem:

• Qual tem melhor desempenho na tradução de textos jurídicos em inglês-chinês e chinês-inglês, o ChatGPT ou o sistema NMT?
• Sob os mesmos critérios de avaliação, qual direção de tradução tem melhor desempenho na tradução inglês-chinês e na tradução chinês-inglês entre os sistemas ChatGPT e NMT?
• Quais são as diferenças nos tipos típicos de erros produzidos por cada um dos sistemas ChatGPT e NMT na tradução de textos jurídicos?

Desenho do estudo: um sistema de avaliação rigoroso

A fim de garantir a validade e a confiabilidade dos resultados do estudo, o texto de origem (textos-fonte, ST) foram selecionados em estrita observância aos seguintes princípios:

• abrangênciaOs textos selecionados abrangem uma ampla gama de subáreas jurídicas, incluindo direito civil, penal, comercial e administrativo, com o objetivo de tornar os resultados amplamente aplicáveis e representativos.
• pontualidadeSomente textos jurídicos atualmente em vigor foram selecionados para refletir verdadeiramente as necessidades e os desafios reais das traduções jurídicas atuais.
• DiversidadeOs textos jurídicos selecionados variavam em termos de estrutura, dificuldade e contexto, a fim de avaliar de forma abrangente a qualidade das traduções da NMT e do ChatGPT de diferentes tipos de textos jurídicos.
• autenticidadeLeis e regulamentações selecionadas são de fontes publicamente disponíveis para facilitar a revisão por pares e verificar a objetividade das descobertas.
• referencialidadeTextos selecionados são referenciados a traduções oficiais ou autorizadas para avaliar automaticamente a qualidade das traduções NMT e ChatGPT.

Com base nos princípios acima, os pesquisadores selecionaram 15 textos chineses de 14 leis chinesas diferentes como textos de origem para as traduções chinês-inglês, e o tamanho de cada texto foi controlado para ter entre 500 e 550 caracteres. Para garantir a precisão e a autoridade da avaliação da tradução, as traduções oficiais em inglês fornecidas pelo Banco de Dados de Informações Legais da China foram usadas como textos de origem. Texto de destino As traduções de referência dos textos legais de Hong Kong (textos-alvo, TT) foram usadas como traduções em inglês-chinês. Da mesma forma, para comparação com as traduções chinês-inglês, 15 textos jurídicos em inglês correspondentes da versão eletrônica das leis de Hong Kong, também limitados a 500-550 palavras, foram usados como textos de origem para as traduções inglês-chinês. As versões oficiais em chinês desses textos em inglês (também da versão eletrônica das leis de Hong Kong) foram usadas como traduções de referência dos textos-alvo.

Em termos de metodologia de pesquisa, o ChatGPT-4, bem como os principais sistemas NMT atuais, foram selecionados para este estudo e usados Substituição da avaliação bilíngue (Estudo de avaliação bilíngue. BLEUO BLEU é um índice usado internacionalmente para avaliar a tradução automática, e quanto maior a pontuação, melhor a qualidade da tradução. A equipe de pesquisa usa a ferramenta de avaliação de tradução fornecida pela Trial Translation Platform para calcular a pontuação BLEU, de modo a avaliar quantitativamente a qualidade da tradução de cada sistema.

As etapas específicas do estudo são as seguintes: primeiro, 30 textos originais foram importados para os sistemas NMT, como Youdao Translate, Baidu Translate, Google Translate e DeepL Translate para tradução, e o ChatGPT-4 também foi usado para tradução. Em seguida, os textos de destino gerados pelo sistema NMT e pelo ChatGPT-4 foram copiados para documentos do Word. Em seguida, a pontuação BLEU do texto de destino foi calculada usando o "Trial Translator - Translation Evaluation Tool". Por fim, os valores de BLEU do texto de destino foram analisados estatisticamente usando o software estatístico SPSS 27.

Resultados: avaliação quantitativa e análises estatísticas

Comparação da qualidade da tradução chinês-inglês

• Em tradução chinês-inglês.O ChatGPT teve a menor pontuação média de BLEU e o maior desvio padrãoIsso mostra que a qualidade das traduções jurídicas chinês-inglês não é apenas inferior à do sistema NMT, mas também menos estável do que o sistema NMT.
• Tradução do YouTube obtiveram as maiores pontuações médias de BLEU.Google Tradutor Logo atrás.DeepL Tradução responder cantando Tradução do Baidu As pontuações estão mais próximas.
• Os resultados da ANOVA mostraram que as pontuações BLEU entre os sistemas A diferença não é significativa (p = 0.119).
• Entretanto, os testes de comparação múltipla revelaram ainda queDiferença significativa entre o ChatGPT e o Yodo TranslatorAlém disso, há uma diferença significativa entre a tradução do Baidu e a tradução da Youdao no sistema NMT.
• Em geral, a qualidade do ChatGPT na tradução jurídica chinês-inglês é ligeiramente inferior à do sistema NMT, mas a diferença entre os dois não atinge um nível significativo (p = 0,258).

Comparação da qualidade das traduções inglês-chinês

• Em tradução inglês-chinês.O ChatGPT continua a ter a menor pontuação média de BLEU, enquanto o Yodo Translator mais uma vez tem a maior pontuação média!O tradutor do DeepL segue o Arata Translator, com o Baidu Translator e o Google Translator pontuando relativamente perto.
• Os valores absolutos de curtose e assimetria dos dados para cada pontuação do sistema foram testados como sendo maiores que 1,96, indicando que os dados não distribuído normalmente.
• Portanto, o estudo usou o teste não paramétrico de Kruskal-Wallis e os resultados mostraram que havia pontuações de BLEU entre os cinco sistemas diferença significativa (p < 0.001).
• As análises comparativas duas a duas revelaram ainda que as diferenças entre o ChatGPT e os quatro sistemas de NMT restantes atingiram o nível significativo, enquanto as diferenças entre os quatro sistemas de NMT e os demais foram insignificante.
• Em conjunto.A qualidade do sistema NMT é significativamente superior à do ChatGPT na tradução de textos jurídicos em inglês e chinês..

Comparação geral da qualidade da tradução inglês-chinês e chinês-inglês

• Os resultados do teste t de amostras independentes mostram que há uma diferença significativa (p < 0,001) na qualidade da tradução entre as direções de tradução inglês-chinês e chinês-inglês para os sistemas ChatGPT e NMT.
• Vale a pena observar queOs escores BLEU foram significativamente mais altos para traduções chinês-inglês do que para traduções inglês-chinês.Isso mostra que os sistemas ChatGPT e NMT têm melhor desempenho na tarefa de tradução jurídica chinês-inglês.

Discussão: Análise do tipo de erro e pontos fortes e fracos do sistema

Para obter uma compreensão mais profunda do desempenho dos sistemas ChatGPT e NMT na tradução de textos jurídicos, este estudo emprega ainda o método de estudo de caso para analisar cuidadosamente os tipos de erros que eles cometem na tradução de textos jurídicos. O estudo categorizou os principais erros nos três grupos principais a seguir: erros de tradução de terminologia, erros de estrutura gramatical e sintática e erros de estilo e formatação.

Análise de erros de tradução chinês-inglês

• terminologiaTradução de terminologia jurídica: Em termos de tradução de terminologia jurídica, os sistemas ChatGPT e NMT apresentam níveis semelhantes de precisão, e é difícil distinguir entre o melhor e o pior. Por exemplo, termos como "prisão de prazo fixo" e "prisão perpétua" podem ser traduzidos com precisão por ambos os sistemas. Entretanto, para a tradução de "criminal detention" (detenção criminal), há discrepâncias entre alguns sistemas e a referência "limited incarceration" (encarceramento limitado), por exemplo, DeepL traduz "control" como "controle". Por exemplo, traduz "control" como "controle", o que é um pouco menos preciso.
• Gramática e estrutura sintáticaCada sistema também tem seus próprios pontos fortes e fracos em termos de gramática e estrutura sintática. Por exemplo, ao traduzir a frase "more than ten years' imprisonment" (mais de dez anos de prisão), a tradução do Google Translate mostra erros lógicos óbvios e contradições na expressão. Ao traduzir a frase complexa "causando morte ou ferindo gravemente uma pessoa por meios particularmente cruéis, resultando em deficiência grave", a tradução do ChatGPT é relativamente concisa e clara, enquanto as traduções de alguns sistemas de NMT são potencialmente ambíguas.
• Estilo e formatoEm termos de estilo e formato, nem o ChatGPT nem os sistemas NMT apresentaram erros óbvios de formatação, e a estrutura dos resultados da tradução permaneceu consistente com o texto original, basicamente atendendo aos requisitos de formatação típicos de documentos jurídicos. No entanto, algumas das traduções feitas pelo sistema NMT são ligeiramente deficientes em termos de estilo. Por exemplo, o site DeepL traduz "intentionally inflicts bodily harm" como "inflige intencionalmente danos corporais", o que é ligeiramente cru. harm", que é um pouco rígido, e o uso de "those who..." pelo Baidu Translate também é relativamente incomum no meio jurídico. também é relativamente incomum no inglês jurídico.

Análise de erros de tradução inglês-chinês

• terminologiaNa tradução inglês-chinês, o ChatGPT é um pouco menos preciso em sua compreensão da terminologia jurídica. Por exemplo, o ChatGPT traduz "with intent to murder" como "以谋杀", o que é muito simples e não reflete totalmente a intenção legal implícita no texto original. Outro exemplo é que o ChatGPT traduz "be guilty of an offence triable upon indictment" como "commit an indictable offence", ignorando o fato de que a frase "indictment (acusação)" não faz parte do texto original. "indictment" (acusação), que ignora a etapa processual legal crítica. Em contrapartida, o sistema NMT é capaz de fornecer resultados de tradução mais precisos em termos de terminologia jurídica em chinês e inglês.
• Gramática e estrutura sintáticaO sistema NMT é melhor do que o ChatGPT em termos de precisão gramatical e normalidade da estrutura das frases. Veja o exemplo do site DeepL, que traduz "shall be guilty of an offence triable upon indictment, and shall be liable to imprisonment for life" como "será culpado de um crime passível de acusação e estará sujeito a prisão perpétua". A tradução de "shall be guilty of an offence triable upon indictment, and shall be liable to imprisonment for life", por exemplo, é "será culpado de um crime passível de acusação e estará sujeito à prisão perpétua", que tem uma estrutura de frase clara e rigorosa e está de acordo com os hábitos de expressão dos textos jurídicos.
• Estilo e formatoTradução de cláusulas de alteração comuns em textos jurídicos: Ao traduzir cláusulas de alteração comuns em textos jurídicos, o sistema NMT é mais padronizado e mais próximo da expressão dos textos jurídicos chineses.

Em suma, na tarefa de tradução jurídica inglês-chinês, o sistema NMT não é apenas melhor em termos de precisão de tradução de terminologia, mas também em termos de estrutura gramatical, precisão de tradução direta e expressão formal.

Link para o artigo:https://tpls.academypublication.com/index.php/tpls/article/view/8692