Paper2Code: 머신 러닝 논문을 실행 가능한 코드로 자동 변환하기

1.3K 00

일반 소개

Paper2Code 是一个开源项目，旨在解决机器学习论文缺乏代码实现的问题。它通过多代理大语言模型（LLM）系统 PaperCoder，将科学论文自动转化为可运行的代码仓库。系统采用规划、分析和代码生成三阶段流程，由专门的代理分别处理，生成高质量、忠实于论文的代码实现。项目以著名的“Attention Is All You Need”论文为例，展示了从论文到 트랜스포머 模型代码的转化能力。它支持 PDF 和 LaTeX 格式的论文输入，适用于机器学习研究人员、开发者及学生。Paper2Code 在 PaperBench 基准测试中表现优异，代码公开在 GitHub 上，易于安装和使用。

기능 목록

自动将机器学习论文转化为可执行代码仓库。
支持 PDF 和 LaTeX 格式的论文输入，生成结构化 JSON 数据。
提供规划、分析和代码生成三阶段处理流程。
生成包括系统架构、依赖文件和配置文件的完整代码仓库。
支持参考和无参考的代码质量评估，评分范围为 1-5。
提供示例脚本，快速运行“Attention Is All You Need”论文的 Transformer 代码。
开源免费，允许用户修改和贡献代码。

도움말 사용

설치 프로세스

要使用 Paper2Code，需要安装必要的依赖并配置环境。以下是详细的安装步骤：

클론 창고
在终端运行以下命令，将 Paper2Code 仓库克隆到本地：
```
git clone https://github.com/going-doer/Paper2Code.git
cd Paper2Code
```

종속성 설치
安装 Python 依赖，包括 openai 노래로 응답 tiktoken 等库：
```
pip install openai tiktoken
```
사용해야 하는 경우 vLLM 模型，参考官方 vLLM 仓库（https://github.com/vllm-project/vllm）安装。
OpenAI API 키 설정
获取 OpenAI API 密钥后，配置环境变量：
```
export OPENAI_API_KEY="your-api-key"
```
Windows 用户运行：
```
set OPENAI_API_KEY=your-api-key
```

安装 PDF 转换工具
Paper2Code 支持将 PDF 论文转为 JSON 格式。克隆 s2orc-doc2json 仓库：

git clone https://github.com/allenai/s2orc-doc2json.git

运行 PDF 转换脚本：

mkdir -p ./s2orc-doc2json/output_dir/paper_coder
python ./s2orc-doc2json/doc2json/grobid2json/process_pdf.py -i <PDF_PATH> -t ./s2orc-doc2json/temp_dir/ -o ./s2orc-doc2json/output_dir/paper_coder

사용법

Paper2Code 提供多种运行方式，支持 PDF 和 LaTeX 格式论文。以下是具体操作：

运行示例脚本

Paper2Code 包含一个示例脚本，用于生成“Attention Is All You Need”论文的 Transformer 代码。进入 scripts 카탈로그:

cd scripts
bash run.sh

输出将保存在 outputs/Transformer 目录，包括：

planning_artifacts：系统架构和依赖文件。
analyzing_artifacts：论文实现细节分析。
coding_artifacts：生成的代码文件。
Transformer_repo：最终代码仓库。

处理自定义论文

要将自己的论文转为代码，需准备 PDF 或 LaTeX 格式文件，并修改环境变量。例如，使用 PDF 格式：

export OPENAI_API_KEY="your-api-key"
cd scripts
bash run.sh

对于 LaTeX 格式，运行：

bash run_latex.sh

如果使用其他大语言模型，运行：

bash run_llm.sh  # PDF 格式
bash run_latex_llm.sh  # LaTeX 格式

评估代码质量

Paper2Code 支持参考和无参考的代码质量评估。运行评估脚本：

cd codes
python eval.py \
--paper_name Transformer \
--pdf_json_path ../examples/Transformer_cleaned.json \
--data_dir ../data \
--output_dir ../outputs/Transformer \
--target_repo_dir ../outputs/Transformer_repo \
--eval_result_dir ../results \
--eval_type ref_free \
--generated_n 8 \
--papercoder

参考评估需指定标准仓库路径：

--eval_type ref_based \
--gold_repo_dir ../examples/Transformer_gold_repo

评估结果包括 1-5 的正确性评分，保存在 results 카탈로그.

주요 기능 작동

멀티 에이전트 협업：规划代理设计代码架构，分析代理提取论文细节，生成代理编写模块化代码。用户无需手动干预，系统自动完成全流程。
高质量代码：生成的代码忠实于论文，包含依赖管理和配置文件，适合生产环境使用。
灵活输入：支持 PDF 和 LaTeX 格式，兼容多种论文格式，方便不同用户需求。
评估工具：提供自动化评估脚本，量化代码正确性，帮助用户验证实现质量。

주의

确保 OpenAI API 密钥有效，运行 o3-mini 模型的估计成本为 0.50-0.70 美元。
转换 PDF 时，检查 JSON 输出是否完整，避免格式错误。
自定义论文需调整脚本中的路径和参数，参考 README.md.

애플리케이션 시나리오

학술 연구
研究人员可将新论文快速转为代码，验证算法效果，节省手动编码时间。例如，机器学习学者可直接运行 Paper2Code 生成的代码，测试论文中的模型性能。
교육 학습
学生可通过 Paper2Code 将经典论文（如 Transformer）转为代码，深入理解模型实现细节，辅助学习深度学习原理。
开发原型
开发者可基于生成的代码仓库快速构建机器学习原型，缩短开发周期，适用于快速迭代的商业项目。

QA

Paper2Code 支持哪些论文格式？
支持 PDF 和 LaTeX 格式的机器学习论文。PDF 需转为 JSON 格式，LaTeX 可直接处理。
生成的代码质量如何？
代码经过规划、分析和生成三阶段处理，忠实于论文内容。评估工具提供 1-5 的正确性评分，确保高质量输出。
运行 Paper2Code 需要付费吗？
使用 OpenAI API 需要付费，运行 o3-mini 模型的成本约为 0.50-0.70 美元。其他功能免费。
如何处理自己的论文？
准备 PDF 或 LaTeX 文件，配置环境变量，运行 run.sh 어쩌면 run_latex.sh 脚本，调整路径和参数即可。