ImBD: обнаружение контента, созданного ИИ, определение того, создан ли контент ИИ или нет

Общее введение

ImBD (Imitate Before Detect) - это новаторский проект по распознаванию текста, созданного машиной, представленный на AAAI 2025. С широким распространением больших языковых моделей (LLM), таких как ChatGPT, распознавание текстового контента, созданного ИИ, становится все более сложной задачей. Проект ImBD предлагает новый подход "Imitate Before Detect", который улучшает обнаружение благодаря более глубокому пониманию стилистических особенностей машинного текста и его имитации. Этот метод впервые предлагает стилистические предпочтения выровненного машинного текста и создает комплексную систему обнаружения текста, которая может эффективно идентифицировать машинный текст, измененный человеком. Проект использует лицензию Apache 2.0 с открытым исходным кодом и предоставляет полную реализацию кода, предварительно обученные модели и подробную документацию, чтобы исследователи и разработчики могли проводить дальнейшие исследования и создавать приложения на этой основе.

Адрес для демонстрации: https://ai-detector.fenz.ai/ai-detector

Список функций

• Поддержка высокоточного распознавания текста, созданного машиной
• Предоставление предварительно обученных моделей для непосредственного развертывания и использования
• Реализован новый алгоритм выравнивания признаков текстового стиля
• Включает подробные экспериментальные наборы данных и оценочные эталоны
• Предоставьте полный код обучения и вывода
• Поддержка пользовательских учебных данных для точной настройки модели
• Включает подробную документацию по API и примеры использования.
• Предоставляет инструменты командной строки для быстрого тестирования и оценки
• Поддержка пакетной обработки текста
• Включает средства визуализации для отображения результатов тестирования

Использование помощи

1. конфигурация окружающей среды

Сначала вам нужно настроить среду Python и установить необходимые зависимости:

git clone https://github.com/Jiaqi-Chen-00/ImBD
cd ImBD
pip install -r requirements.txt

2. подготовка данных

Перед началом использования ImBD необходимо подготовить тренировочные и тестовые данные. Данные должны содержать следующие две категории:

• Подготовленный вручную оригинальный текст
• Текст, созданный или измененный машиной

Требования к формату данных:

• Текстовые файлы должны быть в кодировке UTF-8
• Каждый образец занимает один ряд.
• Предлагается разделить набор данных на обучающий, проверочный и тестовый наборы в соотношении 8:1:1.

3. Обучение модели

Выполните следующую команду, чтобы начать обучение:

python train.py \
--train_data path/to/train.txt \
--val_data path/to/val.txt \
--model_output_dir path/to/save/model \
--batch_size 32 \
--learning_rate 2e-5 \
--num_epochs 5

4. Оценка модели

Оцените производительность модели с помощью тестовых наборов:

python evaluate.py \
--model_path path/to/saved/model \
--test_data path/to/test.txt \
--output_file evaluation_results.txt

5. обнаружение текста

Обнаружение отдельных текстов:

python detect.py \
--model_path path/to/saved/model \
--input_text "要检测的文本内容" \
--output_format json

Пакетное обнаружение текста:

python batch_detect.py \
--model_path path/to/saved/model \
--input_file input.txt \
--output_file results.json

6. Дополнительные функции

6.1 Тонкая настройка модели

Модель может быть доработана с использованием вашего собственного набора данных, если вам нужно оптимизировать ее под текст, специфичный для конкретной области:

python finetune.py \
--pretrained_model_path path/to/pretrained/model \
--train_data path/to/domain/data \
--output_dir path/to/finetuned/model

6.2 Анализ визуализации

Анализируйте результаты тестирования с помощью встроенного инструмента визуализации:

python visualize.py \
--results_file path/to/results.json \
--output_dir path/to/visualizations

6.3 Развертывание службы API

Разверните модель в виде сервиса REST API:

python serve.py \
--model_path path/to/saved/model \
--host 0.0.0.0 \
--port 8000

7. Оговорки

• Для повышения эффективности обучения моделей рекомендуется использовать графические процессоры
• Качество обучающих данных оказывает значительное влияние на производительность модели
• Регулярно обновляйте модель, чтобы учесть новые особенности текста, созданные искусственным интеллектом.
• Внимание к версионированию моделей при развертывании в производственных средах
• Рекомендуется сохранять результаты испытаний для последующего анализа и оптимизации модели

8. часто задаваемые вопросы

В: Какие языки поддерживает модель?
О: В настоящее время мы поддерживаем в основном английский язык, другие языки необходимо обучать на соответствующих наборах данных.

В: Как я могу повысить точность моих тестов?
О: Производительность можно повысить, добавив обучающие данные, настроив параметры модели и выполнив тонкую настройку с использованием данных, специфичных для конкретной области.

В: Как можно оптимизировать скорость обнаружения?
О: Скорость обнаружения можно повысить за счет пакетной обработки, квантования моделей и использования GPU-ускорения.