PDF-Extract-Kit: 오픈 소스 도구의 PDF 콘텐츠의 복잡한 구조를 추출합니다.

일반 소개

PDF-Extract-Kit 是一个由 OpenDataLab 团队开发的开源项目，专注于从复杂多样的 PDF 文档中高效提取高质量内容。它集成了先进的文档解析技术，支持布局检测、公式识别、表格提取和 OCR 等功能，适用于学术论文、研究报告、金融文档等多种场景。该工具采用模块化设计，用户可根据需求灵活配置，轻松构建定制化的文档处理应用。PDF-Extract-Kit 提供全面的评估基准，帮助用户选择最适合的模型，同时不断更新优化，如近期加入了更快速的 DocLayout-YOLO 和支持多种格式输出的 StructTable-InternVL2-1B。无论是开发者还是研究人员，都能通过它实现高效的文档内容提取。

기능 목록

• 布局检测：识别 PDF 中的页面布局，包括标题、段落、图像和表格等区域，支持 DocLayout-YOLO 等高效模型。
• 공식 인식：提取并解析文档中的数学公式，转换为 LaTeX 格式，依托 UniMERNet 等先进技术。
• 表格提取：支持复杂表格内容的识别与提取，可输出 LaTeX、HTML 和 Markdown 格式。
• OCR 处理：通过 PaddleOCR 等技术，将扫描文档或图像中的文字转化为可编辑文本。
• 模块化配置：提供灵活的配置文件，用户可组合不同模型，快速搭建应用。
• 内容评估：内置多样化的 PDF 解析基准，帮助用户评估不同模型的效果。
• 图像与文本提取：支持从 PDF 中提取图像并识别其中的文字内容。

도움말 사용

설치 프로세스

PDF-Extract-Kit 支持在多种操作系统上运行（如 Ubuntu、Windows 或 macOS），以下是详细的安装步骤（以 Ubuntu 20.04 为例）：

1. 환경 준비

• 确保系统安装了 Python 3.10：

  sudo apt update
  sudo apt install python3.10 python3.10-dev python3-pip

• 가상 환경을 만들고 활성화합니다:

  conda create -n pdf-extract-kit python=3.10
  conda activate pdf-extract-kit
  

2. 종속성 설치

• 코드 리포지토리를 복제합니다:

  git clone https://github.com/opendatalab/PDF-Extract-Kit.git
  cd PDF-Extract-Kit
  

• 安装核心依赖（若无 GPU，可用 requirements-cpu.txt):

  pip install -r requirements.txt
  

  다음 사항에 유의하십시오.：若遇到 doclayout-yolo 安装失败，可手动安装：

  pip3 install doclayout-yolo==0.0.2 --extra-index-url=https://pypi.org/simple
  

3. 下载模型权重

• 参考官方教程下载模型文件（支持全部或部分下载）：
  • Python 스크립트를 사용한 자동 다운로드:

    python scripts/download_models_hf.py
    

  • 或从 Hugging Face 手动下载：

    git lfs install
    git clone https://huggingface.co/opendatalab/PDF-Extract-Kit-1.0
    

• 下载完成后，将模型文件放置于项目目录下的指定路径（参考 configs/model_configs.yaml).

4. 설치 확인

• 运行示例脚本，测试环境是否正常：

  python pdf_extract.py --pdf assets/examples/example.pdf
  

  输出结果将保存在 outputs 폴더로 이동합니다.

기능 작동 흐름

布局检测

1. 准备 PDF 文件：将需要处理的 PDF 放入项目目录（如 assets/examples/).
2. 运行布局检测::
   • 수정 configs/layout_detection.yaml 中的输入路径：

     pdf_path: "assets/examples/example.pdf"
     output_dir: "outputs/layout_detection"
     

   • 명령을 실행합니다:

     python scripts/layout_detection.py --config=configs/layout_detection.yaml
     

3. 결과 보기: in outputs/layout_detection 文件夹中，生成标注了布局区域的图像和 JSON 文件。

공식 인식

1. 运行公式提取::
   • 使用默认配置：

     python pdf_extract.py --pdf your_file.pdf --render
     

   • --render 参数将公式渲染为图像，便于验证。
2. 출력 보기：公式以 LaTeX 格式存储在输出 JSON 中，可直接用于学术写作或进一步处理。

表格提取

1. 执行表格识别::
   • 确保已下载 StructTable-InternVL2-1B 모델.
   • 运行完整提取：

     python pdf_extract.py --pdf your_file.pdf
     

2. 输出格式选择::
   • 구성 파일 수정 configs/model_configs.yaml，设置 table_format 때문에 latex및html 어쩌면 markdown.
3. 결과 보기：表格内容将以指定格式保存至输出目录。

OCR 处理

1. 处理扫描 PDF::
   • 对于图像化的 PDF，确保启用 OCR：

     python pdf_extract.py --pdf scan_file.pdf --vis
     

   • --vis 参数生成可视化结果，标注识别文本区域。
2. 출력 확인：文本内容保存为可编辑格式，图像文本识别结果一目了然。

주요 기능 작동

模块化配置

• 컴파일러 configs/model_configs.yaml，调整参数：
  • img_size：图像分辨率。
  • conf_thres：置信度阈值。
  • device선택 cuda（GPU）或 cpu.
• 예시:

  model_args:
  img_size: 1024
  conf_thres: 0.5
  device: "cuda"
  

고성능 최적화

• 对于高配设备（≥16GB 显存），可启用批处理：

  python pdf_extract.py --pdf your_file.pdf --batch-size 128
  

• 提高解析速度 50% 以上，适合批量处理。

다국어 지원

• 설정 lang 때문에 auto，自动识别文档语言并选用合适的 OCR 模型：

  ocr_args:
  lang: "auto"
  

주의

• 하드웨어 요구 사항：GPU（如 NVIDIA 显卡）可大幅提升处理速度，建议显存 ≥8GB。
• 일반적인 문제::
  • 若提示缺少 cv2실행 중 pip install opencv-python.
  • 模型下载不完整时，检查网络或更换下载方式。
• 커뮤니티 지원：如遇问题，可在 GitHub 的 Discussions 或 Issues 板块提问。

通过以上步骤，用户可轻松上手 PDF-Extract-Kit，高效完成复杂 PDF 的内容提取。