Юридический перевод: углубленный обзор производительности систем ChatGPT и нейросетевого перевода (NMT)

В постоянно меняющейся волне технологий переводаChatGPT (Chat Generative Pre-trained Трансформатор), несомненно, привлекает внимание всего мира. Как передовой модель макроязыка (Large Language Models (LLM)), ChatGPT продемонстрировал впечатляющие возможности обработки естественного языка, а в некоторых задачах перевода его производительность даже сопоставима с профессиональными инструментами перевода. Однако в области юридического перевода, которая известна своей высокой степенью строгости и профессионализма, сможет ли ChatGPT действительно встряхнуть существующие в настоящее время инструменты перевода? нейронный машинный перевод Состояние системы нейромашинного перевода (Neural Machine Translation, NMT)?

В этой статье мы подробно рассмотрим недавнее исследование, в котором сравнивается производительность ChatGPT-4 с четырьмя основными системами NMT с точки зрения Перевод англо-китайских и китайско-английских юридических текстов В исследовании не только выявляются различия в производительности между ними в разных направлениях перевода, но и подробно анализируется их производительность в разных направлениях перевода. В исследовании не только выявляются различия в эффективности работы двух переводчиков в разных направлениях перевода, но и подробно анализируется их работа в Перевод терминологии, грамматической структуры и стилистических условностей Типичные ошибки, допускаемые в таких областях.

Предпосылки исследования: развитие технологий машинного перевода и проблемы юридического перевода

В последние годы стремительно развиваются технологии перевода с использованием искусственного интеллекта, среди которых особенно выделяется технология нейромашинного перевода. Многие ученые посвятили себя исследованию и оптимизации НМТ, стремясь к его дальнейшему совершенствованию с помощью технологических инноваций. машинный перевод В исследовании Фэна и Чжана (2022) отмечается, что технология NMT вступила в стадию широкомасштабного практического применения, особенно в области англо-китайского перевода, точность перевода обычного текста превысила 90%, что может полностью удовлетворить потребности в переводе повседневных сценариев, таких как новостные сообщения, описания товаров, информация о дорожном движении и т. д. В исследовании Ли (2021) также отмечается, что для перевода можно использовать пять типов методов на основе нейронных сетей, которые могут быть использованы для удовлетворения потребностей повседневной жизни. В исследовании Ли (2021) также отмечается, что пять типов методов на основе нейронных сетей Машинный онлайн-перевод Система машинного онлайн-перевода (OMT) достигла приемлемого уровня качества перевода, но в стремлении к совершенству еще есть куда стремиться.

В то же время.модель макроязыка Потенциал ChatGPT в области перевода также постепенно раскрывается, и некоторые исследования показывают, что их производительность при выполнении определенных задач перевода уже находится на одном уровне или даже превосходит некоторые профессиональные переводческие платформы, представленные на рынке. Например, исследование Янга (2023) показало, что ChatGPT не демонстрирует значительных преимуществ перед другими системами машинного перевода и человеческими переводчиками при переводе вьетнамских юридических текстов. Однако стоит отметить, что ChatGPT добилась значительного прогресса в области обработки естественного языка, понимания проблем и взаимодействия с пользователем, и даже с точки зрения синтаксической сложности результаты перевода ChatGPT были сопоставимы с результатами человеческих переводчиков и DeepL Перевод Похожие.

Однако в большинстве вышеупомянутых исследований использовались обобщенные корпоративные базы данных, а направления перевода охватывали несколько языков, и лишь немногие исследования были сосредоточены на ChatGPT Специфика работы в области англо-китайского юридического перевода, не говоря уже об отсутствии глубокого сравнения различий между системами ChatGPT и NMT с точки зрения качества юридического перевода.

В условиях растущей глобализации спрос на англо-китайский юридический перевод продолжает расти, и сравнительный анализ сильных и слабых сторон ChatGPT и NMT, как самых передовых технологий перевода на сегодняшний день, не только даст полезные рекомендации для совершенствования системы перевода, но и поможет специалистам по юридическому переводу лучше понять границы возможностей этих технологий, чтобы более разумно выбирать и использовать инструменты перевода.

Цель данного исследования - систематически оценить эффективность ChatGPT-4 в области юридического перевода, сравнив его работу с четырьмя основными NMT-системами (Youdao Translator, Baidu Translator, Google Translator и DeepL Translator) при переводе англо-китайских и китайско-английских юридических текстов. Основные вопросы исследования включают:

• Что лучше справляется с переводом англо-китайских и китайско-английских юридических текстов - система ChatGPT или NMT?
• При одинаковых критериях оценки, какое направление перевода лучше работает при англо-китайском и китайско-английском переводе между системами ChatGPT и NMT?
• Каковы различия в типичных типах ошибок, допускаемых каждой из систем ChatGPT и NMT при переводе юридических текстов?

Дизайн исследования: система строгой оценки

Для обеспечения обоснованности и надежности результатов исследования были проведены следующие исследования исходный текст (исходные тексты, ST) отбирались в строгом соответствии со следующими принципами:

• полнота: Отобранные тексты охватывают широкий спектр правовых подотраслей, включая гражданское, уголовное, коммерческое и административное право, с целью сделать выводы широко применимыми и репрезентативными.
• своевременность: Отобраны только действующие юридические тексты, которые действительно отражают актуальные потребности и проблемы современного юридического перевода.
• Разнообразие: Отобранные юридические тексты различались по структуре, сложности и контексту, чтобы всесторонне оценить качество переводов НМТ и ChatGPT различных типов юридических текстов.
• подлинность: Отобранные законы и нормативные акты взяты из общедоступных источников, чтобы облегчить экспертную оценку и убедиться в объективности выводов.
• референтность: Выбранные тексты снабжены ссылками на официальные или авторитетные переводы, чтобы автоматически оценить качество переводов NMT и ChatGPT.

Исходя из вышеизложенных принципов, исследователи отобрали 15 китайских текстов из 14 различных китайских законов в качестве исходных текстов для китайско-английского перевода, а объем каждого текста контролировался и составлял от 500 до 550 знаков. Для обеспечения точности и авторитетности оценки перевода в качестве исходных текстов использовались официальные английские переводы, предоставленные Базой данных правовой информации Китая. Целевой текст В качестве англо-китайских переводов также использовались эталонные переводы целевых текстов (ЦТ). Аналогично, для сравнения с китайско-английскими переводами, 15 соответствующих английских юридических текстов из электронной версии Законов Гонконга, также ограниченных 500-550 словами, были использованы в качестве исходных текстов для англо-китайских переводов. Официальные китайские версии этих английских текстов (также из электронной версии Законов Гонконга) использовались в качестве справочных переводов целевых текстов.

Что касается методологии исследования, то для него были выбраны ChatGPT-4, а также современные основные системы NMT. Замена двуязычной оценки (Двуязычная оценка. BLEUBLEU - это международный индекс для оценки машинного перевода, и чем выше этот показатель, тем выше качество перевода. Исследовательская группа использует инструмент оценки перевода, предоставляемый платформой Trial Translation Platform, для расчета показателя BLEU, чтобы количественно оценить качество перевода каждой системы.

Конкретные этапы исследования следующие: сначала 30 исходных текстов были импортированы в системы NMT, такие как Youdao Translate, Baidu Translate, Google Translate и DeepL Translate для перевода, также для перевода был использован ChatGPT-4. Затем целевые тексты, созданные системами NMT и ChatGPT-4, были скопированы в документы Word. Затем с помощью программы "Trial Translator - Translation Evaluation Tool" был рассчитан показатель BLEU целевого текста. Наконец, значения BLEU целевого текста были подвергнуты статистическому анализу с помощью статистического программного обеспечения SPSS 27.

Результаты: количественная оценка и статистический анализ

Сравнение качества китайско-английского перевода

• В китайско-английском переводе.ChatGPT имел самый низкий средний показатель BLEU и самое высокое стандартное отклонениеЭто показывает, что качество китайско-английских юридических переводов не только ниже, чем у системы NMT, но и менее стабильно, чем у системы NMT.
• Перевод на Youtube достигли наивысших средних оценок BLEU.Google Translate Сразу за ним.DeepL Перевод ответить пением Перевод Baidu Счет стал ближе.
• Результаты ANOVA показали, что оценки BLEU между системами Разница незначительна (p = 0.119).
• Однако тесты на множественное сравнение показали, чтоСущественные различия между ChatGPT и Yodo TranslatorКроме того, существует значительная разница между переводами Baidu и Youdao в системе NMT.
• В целом качество китайско-английского юридического перевода ChatGPT несколько ниже, чем у системы NMT, но разница между ними не достигает значимого уровня (p = 0,258).

Сравнение качества англо-китайского перевода

• В англо-китайском переводе.ChatGPT по-прежнему имеет самый низкий средний балл BLEU, в то время как Yodo Translator снова имеет самый высокий средний балл!Переводчик DeepL следует за Arata Translator, а Baidu Translator и Google Translator занимают относительно близкие позиции.
• Абсолютные значения эксцесса и асимметрии данных для каждого показателя системы были проверены и составили более 1,96, что указывает на то, что данные не является нормально распределенным.
• Поэтому в исследовании использовался непараметрический тест Крускала-Уоллиса, и результаты показали, что между пятью системами существуют оценки BLEU существенная разница (p < 0.001).
• Сравнительный анализ "два на два" показал, что различия между ChatGPT и остальными четырьмя системами NMT достигли значимого уровня, а различия между четырьмя системами NMT и друг другом составили незначительный.
• Взятые вместе.Система NMT значительно превосходит ChatGPT по качеству перевода англо-китайских юридических текстов..

Общее сравнение качества англо-китайского и китайско-английского переводов

• Результаты независимого выборочного t-теста показывают, что существует значительная разница (p < 0,001) в качестве перевода между англо-китайским и китайско-английским направлениями перевода как для системы ChatGPT, так и для системы NMT.
• Стоит отметить, чтоПоказатели BLEU были значительно выше для китайско-английских переводов, чем для англо-китайских.Это показывает, что и ChatGPT, и NMT-системы лучше справляются с задачей китайско-английского юридического перевода.

Обсуждение: Анализ типов ошибок и сильные и слабые стороны системы

Для более глубокого понимания эффективности работы систем ChatGPT и NMT при переводе юридических текстов в данном исследовании был использован метод изучения конкретных ситуаций, чтобы тщательно проанализировать типы ошибок, которые они допускают при переводе юридических текстов. Основные ошибки были разделены на следующие три группы: терминологические ошибки перевода, ошибки грамматической и синтаксической структуры, а также ошибки стиля и форматирования.

Анализ ошибок китайско-английского перевода

• терминология: При переводе юридической терминологии системы ChatGPT и NMT демонстрируют схожие уровни точности, и трудно выделить лучшие и худшие. Например, такие термины, как "срочное тюремное заключение" и "пожизненное заключение", могут быть точно переведены обеими системами. Однако при переводе "уголовного заключения" в некоторых системах наблюдаются расхождения с эталонным "ограниченным лишением свободы", например, DeepL переводит "control" как "контроль". Например, переводит "control" как "контроль", что несколько менее точно.
• Грамматика и синтаксическая структура: У каждой системы также есть свои сильные и слабые стороны с точки зрения грамматики и синтаксической структуры. Например, при переводе фразы "более десяти лет лишения свободы" перевод Google Translate содержит явные логические ошибки и противоречия. При переводе сложной фразы "причинение смерти или тяжкого вреда здоровью человека особо жестокими способами, повлекшее за собой тяжелую инвалидность" перевод ChatGPT относительно краток и ясен, в то время как переводы некоторых систем NMT потенциально неоднозначны.
• Стиль и формат: С точки зрения стиля и формата, ни в системе ChatGPT, ни в системе NMT не было обнаружено явных ошибок форматирования, а структура результатов перевода соответствовала оригинальному тексту, в основном удовлетворяя типичным требованиям к форматированию юридических документов. Однако некоторые переводы системы NMT имеют небольшие стилистические недостатки, например, DeepL переводит "intentionally inflicts bodily harm" как "умышленное нанесение телесных повреждений", что несколько сыровато. Умышленное причинение вреда", что несколько жестко, а Baidu Translate использует "those who..." также относительно редко встречается в юридическом английском.

Анализ ошибок англо-китайского перевода

• терминология: В англо-китайском переводе ChatGPT чуть менее точен в понимании юридической терминологии. Например, ChatGPT переводит "with intent to murder" как "以谋杀", что слишком просто и не полностью отражает юридический замысел, подразумеваемый в оригинальном тексте. Другой пример - ChatGPT переводит "be guilty of an offence triable upon indictment" как "совершить преступление, подлежащее обвинению", игнорируя тот факт, что фраза "indictment (обвинительное заключение)" не является частью оригинального текста. "indictment", что игнорирует ключевой процессуальный шаг. В отличие от этого, система NMT способна обеспечить более точные результаты перевода с точки зрения китайской и английской юридической терминологии.
• Грамматика и синтаксическая структураСистема NMT лучше, чем ChatGPT, с точки зрения грамматической точности и нормальности структуры предложений. Возьмем для примера DeepL, он переводит "shall be guilty of an offence triable upon indictment, and shall be liable to imprisonment for life" как "будет виновен в преступлении, подлежащем обвинению, и будет пожизненно заключен в тюрьму". , например, переводит "shall be guilty of an offence triable upon indictment, and shall be liable to imprisonment for life" как "должен быть виновен в преступлении, подлежащем рассмотрению по обвинению, и подлежит пожизненному заключению", что имеет четкую и строгую структуру предложения и соответствует привычкам выражения в юридических текстах.
• Стиль и формат: При переводе общих положений о поправках в юридических текстах система NMT более стандартизирована и приближена к выражению китайских юридических текстов.

В целом, в задаче англо-китайского юридического перевода система NMT не только превосходит по точности перевода терминологии, но и демонстрирует лучшие показатели по грамматической структуре, точности прямого перевода и формальному выражению.

Ссылка на статью:https://tpls.academypublication.com/index.php/tpls/article/view/8692