PDF-Extract-Kit : Extraire la structure complexe du contenu PDF de l'outil open-source

Introduction générale

PDF-Extract-Kit 是一个由 OpenDataLab 团队开发的开源项目，专注于从复杂多样的 PDF 文档中高效提取高质量内容。它集成了先进的文档解析技术，支持布局检测、公式识别、表格提取和 OCR 等功能，适用于学术论文、研究报告、金融文档等多种场景。该工具采用模块化设计，用户可根据需求灵活配置，轻松构建定制化的文档处理应用。PDF-Extract-Kit 提供全面的评估基准，帮助用户选择最适合的模型，同时不断更新优化，如近期加入了更快速的 DocLayout-YOLO 和支持多种格式输出的 StructTable-InternVL2-1B。无论是开发者还是研究人员，都能通过它实现高效的文档内容提取。

Liste des fonctions

• 布局检测：识别 PDF 中的页面布局，包括标题、段落、图像和表格等区域，支持 DocLayout-YOLO 等高效模型。
• reconnaissance de la formule：提取并解析文档中的数学公式，转换为 LaTeX 格式，依托 UniMERNet 等先进技术。
• 表格提取：支持复杂表格内容的识别与提取，可输出 LaTeX、HTML 和 Markdown 格式。
• OCR 处理：通过 PaddleOCR 等技术，将扫描文档或图像中的文字转化为可编辑文本。
• 模块化配置：提供灵活的配置文件，用户可组合不同模型，快速搭建应用。
• 内容评估：内置多样化的 PDF 解析基准，帮助用户评估不同模型的效果。
• 图像与文本提取：支持从 PDF 中提取图像并识别其中的文字内容。

Utiliser l'aide

Processus d'installation

PDF-Extract-Kit 支持在多种操作系统上运行（如 Ubuntu、Windows 或 macOS），以下是详细的安装步骤（以 Ubuntu 20.04 为例）：

1. préparation à l'environnement

• 确保系统安装了 Python 3.10：

  sudo apt update
  sudo apt install python3.10 python3.10-dev python3-pip

• Créer et activer un environnement virtuel :

  conda create -n pdf-extract-kit python=3.10
  conda activate pdf-extract-kit
  

2. installation des dépendances

• Cloner le dépôt de code :

  git clone https://github.com/opendatalab/PDF-Extract-Kit.git
  cd PDF-Extract-Kit
  

• 安装核心依赖（若无 GPU，可用 requirements-cpu.txt) :

  pip install -r requirements.txt
  

  prendre noteSi vous rencontrez doclayout-yolo 安装失败，可手动安装：

  pip3 install doclayout-yolo==0.0.2 --extra-index-url=https://pypi.org/simple
  

3. 下载模型权重

• 参考官方教程下载模型文件（支持全部或部分下载）：
  • 使用 Python 脚本自动下载：

    python scripts/download_models_hf.py
    

  • 或从 Hugging Face 手动下载：

    git lfs install
    git clone https://huggingface.co/opendatalab/PDF-Extract-Kit-1.0
    

• 下载完成后，将模型文件放置于项目目录下的指定路径（参考 configs/model_configs.yaml).

4. vérification de l'installation

• 运行示例脚本，测试环境是否正常：

  python pdf_extract.py --pdf assets/examples/example.pdf
  

  输出结果将保存在 outputs dossier.

Fonction Opération Déroulement

布局检测

1. 准备 PDF 文件：将需要处理的 PDF 放入项目目录（如 assets/examples/).
2. 运行布局检测: :
   • modifications configs/layout_detection.yaml 中的输入路径：

     pdf_path: "assets/examples/example.pdf"
     output_dir: "outputs/layout_detection"
     

   • 执行命令：

     python scripts/layout_detection.py --config=configs/layout_detection.yaml
     

3. Voir les résultats: en outputs/layout_detection 文件夹中，生成标注了布局区域的图像和 JSON 文件。

reconnaissance de la formule

1. 运行公式提取: :
   • 使用默认配置：

     python pdf_extract.py --pdf your_file.pdf --render
     

   • --render 参数将公式渲染为图像，便于验证。
2. Voir la sortie：公式以 LaTeX 格式存储在输出 JSON 中，可直接用于学术写作或进一步处理。

表格提取

1. 执行表格识别: :
   • 确保已下载 StructTable-InternVL2-1B Modèles.
   • 运行完整提取：

     python pdf_extract.py --pdf your_file.pdf
     

2. 输出格式选择: :
   • Modifier le fichier de configuration configs/model_configs.yamlParamètres table_format en raison de latex,html peut-être markdown.
3. Vue des résultats：表格内容将以指定格式保存至输出目录。

OCR 处理

1. 处理扫描 PDF: :
   • 对于图像化的 PDF，确保启用 OCR：

     python pdf_extract.py --pdf scan_file.pdf --vis
     

   • --vis 参数生成可视化结果，标注识别文本区域。
2. Vérifier la sortie：文本内容保存为可编辑格式，图像文本识别结果一目了然。

Fonction en vedette Fonctionnement

模块化配置

• compilateur configs/model_configs.yaml，调整参数：
  • img_size：图像分辨率。
  • conf_thres：置信度阈值。
  • device: Sélection cuda（GPU）或 cpu.
• Exemple :

  model_args:
  img_size: 1024
  conf_thres: 0.5
  device: "cuda"
  

高性能优化

• 对于高配设备（≥16GB 显存），可启用批处理：

  python pdf_extract.py --pdf your_file.pdf --batch-size 128
  

• 提高解析速度 50% 以上，适合批量处理。

Prise en charge multilingue

• mettre en place lang en raison de auto，自动识别文档语言并选用合适的 OCR 模型：

  ocr_args:
  lang: "auto"
  

mise en garde

• exigences en matière de matériel：GPU（如 NVIDIA 显卡）可大幅提升处理速度，建议显存 ≥8GB。
• problèmes courants: :
  • 若提示缺少 cv2La course à pied pip install opencv-python.
  • 模型下载不完整时，检查网络或更换下载方式。
• Soutien communautaire：如遇问题，可在 GitHub 的 Discussions 或 Issues 板块提问。

通过以上步骤，用户可轻松上手 PDF-Extract-Kit，高效完成复杂 PDF 的内容提取。