Paper Reviewer : Génère automatiquement des analyses complètes des articles arXiv et les convertit en articles de blog.

Introduction générale

Paper Reviewer est un projet open source conçu pour générer des critiques complètes à partir d'articles arXiv et les transformer en billets de blog. Le projet fournit un support au site web Hugging Face's Daily Papers pour générer automatiquement des articles de blog. Grâce à l'utilisation des scripts Python collect.py et convert.py, les utilisateurs peuvent collecter des comptes-rendus d'articles et les convertir en un modèle fixe d'articles de blog.

Liste des fonctions

Caractéristiques : 1, traitement du contenu, vous pouvez lire le contenu du texte, extraire les graphiques, les images, les tableaux dans l'article 2, tant que l'ID de l'article, traitement et génération entièrement automatiques, prise en charge du traitement par lots de l'article 3, prise en charge de la personnalisation, des outils d'analyse AI, des modèles de blog, etc.

• Générer une revue complète : Générer une revue détaillée à partir d'un ID d'article arXiv donné.
• Convertir en articles de blog : convertir le contenu généré par l'examen en articles de blog, en suivant un modèle de conception fixe.
• Prise en charge d'API multiples : utilisation facultative d'Upstage et de Gémeaux API pour extraire des images et des informations visuelles.
• Automatiser le processus : automatiser le processus de collecte et de conversion à l'aide de scripts, réduisant ainsi les interventions manuelles.
• Configuration flexible : prend en charge une variété d'options de configuration que les utilisateurs peuvent ajuster en fonction de leurs besoins.

Utiliser l'aide

Processus d'installation

1. Installation des dépendances: :
   • Utilisez pip pour installer les dépendances Python nécessaires au projet :

     pip install -r requirements.txt
     

   • Installez poppler pour convertir les PDF en images :
     • Pour les utilisateurs d'Ubuntu, utilisez la commande suivante :

       apt install poppler-utils
       

     • Pour les utilisateurs de macOS, utilisez Homebrew pour l'installation :

       brew install poppler
       

2. Définition des variables d'environnement: :
   • Définir GEMINI_API_KEY (obligatoire) :

     export GEMINI_API_KEY="your_gemini_api_key"
     

   • Il est possible de définir la clé API pour Upstage et R2 :

     export UPSTAGE_API_KEY="your_upstage_api_key"
     export R2_ACCESS_KEY_ID="your_r2_access_key_id"
     export R2_SECRET_ACCESS_KEY="your_r2_secret_access_key"
     export R2_S3_ENDPOINT_URL="your_r2_s3_endpoint_url"
     export R2_DOMAIN_NAME="your_r2_domain_name"
     

Processus d'utilisation

1. Recueil de documents pour examen: :
   • Exécuter le script collect.py pour générer une revue de l'article à partir de l'ID arXiv :

     python collect.py --arxiv-id "your_arxiv_id" --stop-at-no-html
     

   • Si vous devez extraire des informations sur l'image, vous pouvez utiliser l'option --use-upstage :

     python collect.py --arxiv-id "your_arxiv_id" --use-upstage
     

2. Converti en article de blog: :
   • Exécutez le script convert.py pour convertir les commentaires collectés en articles de blog :

     python convert.py --arxiv-id "your_arxiv_id" --template "your_template_file"
     

   • Si vous devez télécharger des images vers R2, vous pouvez utiliser l'option --upload-images-r2 :

     python convert.py --arxiv-id "your_arxiv_id" --upload-images-r2
     

mise en garde

• Personnalisation des modèlesLes articles de blog suivent un modèle de conception fixe. Si vous souhaitez personnaliser la conception, vous devez modifier le fichier de modèle vous-même.
• contrôle des coûtsIl est recommandé d'utiliser l'option --stop-at-no-html pour réduire les coûts lors du traitement de documents ne comportant pas de pages HTML.
• Utilisation de l'APILa Commission européenne a adopté un projet de loi sur l'immigration et la protection des réfugiés, qui a été adopté par le Parlement européen. API Gemini Permet une extraction plus précise des informations de l'image, mais peut entraîner des coûts supplémentaires.

Avec les étapes ci-dessus, les utilisateurs peuvent facilement générer des analyses complètes à partir des articles arXiv et les transformer en articles de blog pour une variété de scénarios, y compris la recherche académique et la rédaction de blogs.