Paper Reviewer: автоматическое создание всесторонних обзоров статей arXiv и преобразование их в записи в блоге

Общее введение

Paper Reviewer - это проект с открытым исходным кодом, предназначенный для генерации всесторонних обзоров из статей arXiv и превращения их в записи в блоге. Проект обеспечивает поддержку сайта Hugging Face's Daily Papers для автоматической генерации записей в блоге. С помощью Python-скриптов collect.py и convert.py пользователи могут собирать обзоры статей и преобразовывать их в блоги с фиксированным дизайном.

Список функций

Особенности: 1, обработка контента, вы можете читать текстовое содержимое, извлекать диаграммы, картинки, таблицы в документе 2, пока бумага ID, полностью автоматическая обработка и генерация, поддержка пакетной обработки бумаги 3, поддержка настройки, AI инструменты разбора, шаблоны блога и так далее.

• Generate Comprehensive Review: создание подробного обзора по заданному идентификатору статьи arXiv.
• Преобразование в посты для блога: конвертируйте сгенерированный контент для обзоров в посты для блога, следуя установленному шаблону оформления.
• Поддержка нескольких API: возможность использования Upstage и Близнецы API для извлечения изображений и визуальной информации.
• Автоматизация процесса: автоматизируйте процесс сбора и преобразования данных с помощью скриптов, сократив ручное вмешательство.
• Гибкая конфигурация: поддерживает множество вариантов конфигурации, которые пользователи могут настроить в соответствии со своими потребностями.

Использование помощи

Процесс установки

1. Установка зависимостей::
   • Используйте pip для установки зависимостей Python, необходимых для проекта:

     pip install -r requirements.txt
     

   • Установите poppler, чтобы конвертировать PDF в изображение:
     • Для пользователей Ubuntu используйте следующую команду:

       apt install poppler-utils
       

     • Для пользователей macOS используйте Homebrew для установки:

       brew install poppler
       

2. Установка переменных окружения::
   • Установите GEMINI_API_KEY (обязательно):

     export GEMINI_API_KEY="your_gemini_api_key"
     

   • Опционально задайте ключ API для Upstage и R2:

     export UPSTAGE_API_KEY="your_upstage_api_key"
     export R2_ACCESS_KEY_ID="your_r2_access_key_id"
     export R2_SECRET_ACCESS_KEY="your_r2_secret_access_key"
     export R2_S3_ENDPOINT_URL="your_r2_s3_endpoint_url"
     export R2_DOMAIN_NAME="your_r2_domain_name"
     

Процесс использования

1. Сборник документов для рецензирования::
   • Запустите скрипт collect.py, чтобы сгенерировать обзор статьи, указав ее arXiv ID:

     python collect.py --arxiv-id "your_arxiv_id" --stop-at-no-html
     

   • Если вам нужно извлечь информацию об изображении, вы можете использовать опцию --use-upstage:

     python collect.py --arxiv-id "your_arxiv_id" --use-upstage
     

2. Преобразовано в статью в блоге::
   • Запустите скрипт convert.py, чтобы преобразовать собранные отзывы в записи блога:

     python convert.py --arxiv-id "your_arxiv_id" --template "your_template_file"
     

   • Если вам нужно загрузить изображения в R2, вы можете использовать опцию --upload-images-r2:

     python convert.py --arxiv-id "your_arxiv_id" --upload-images-r2
     

предостережение

• Настройка шаблонов: Посты в блоге имеют фиксированный шаблон дизайна, если вам нужно изменить дизайн, вам нужно самостоятельно модифицировать файл шаблона.
• контроль затрат: Рекомендуется использовать опцию --stop-at-no-html для снижения затрат при обработке документов без HTML-страниц.
• Использование API: На сцене и Gemini API Обеспечивает более точное извлечение информации из изображения, но может потребовать дополнительных затрат.

Выполнив вышеописанные действия, пользователи смогут легко генерировать всесторонние обзоры из статей arXiv и превращать их в записи для различных сценариев, включая академические исследования и написание блогов.