WebShaper - Ali TongyiオープンソースAI学習データ合成システム

WebShaper是什么

WebShaper 是阿里巴巴通义实验室推出的 AI 训练数据合成系统，基于形式化建模和智能体扩展机制，生成高质量、可扩展的训练数据，助力 AI 智能体提升复杂信息检索能力。系统引入“知识投影”概念，用集合操作构造复杂问题结构，精准控制任务复杂度。其中 Expander 智能体能简单“种子问题”出发，逐步扩展为复杂推理任务，生成的训练数据可控且可解释。WebShaper 结合监督微调与强化学习策略，让模型在复杂任务中表现出色，适用文献整理、市场调研、智能学习助手、生活决策和医疗信息查询等场景。

WebShaper的主要功能

形式化建模：基于集合论的“知识投影”技术，将复杂的信息检索任务分解为多个集合操作（如交集、并集等），精准控制推理路径和任务复杂度，让问题结构更加清晰。
智能体扩展机制：基于 Expander 智能体，从简单的“种子问题”出发，逐步扩展成复杂的推理任务，结合搜索、摘要和验证工具，确保问题逻辑清晰且任务难度可控。
高质量数据生成：生成的训练数据具有可控性、可解释性和可扩展性，突破传统预检索数据的限制，减少错误和冗余信息，提升数据质量。
Agent 训练策略：结合监督微调（SFT）和强化学习（如グルポ算法），基于高质量的训练轨迹和奖励机制，引导模型进行多步推理，避免“走捷径”或“猜答案”，提升模型在复杂任务中的表现。

WebShaper的官网地址

Githubリポジトリ：https://github.com/Alibaba-NLP/WebAgent
HuggingFaceモデルライブラリ：https://huggingface.co/datasets/Alibaba-NLP/WebShaper
arXivテクニカルペーパー：https://arxiv.org/pdf/2507.15061

如何使用WebShaper

プロジェクト・リソースへのアクセス
- GitHubリポジトリ：访问 WebShaper 的 GitHub 仓库，这里提供了代码、文档和示例数据。
- Hugging Face 数据集：访问 Hugging Face 上的 WebShaper 数据集，直接下载和使用生成的训练数据。
環境準備
- 依存関係のインストール：根据 GitHub 仓库中的 requirements.txt 文件安装必要的 Python 包。

pip install -r requirements.txt

- 環境変数の設定：如果需要使用外部工具（如搜索引擎或API），确保正确配置相关环境变量。
运行 WebShaper::
- 运行 Expander 智能体：从简单的“种子问题”开始，逐步扩展生成复杂问题。

from webshaper.expander import Expander

# 初始化 Expander 智能体
expander = Expander()

# 定义种子问题
seed_question = "2020年NBA总冠军是哪支球队？"

# 逐步扩展问题
expanded_question = expander.expand(seed_question)
print(expanded_question)

- トレーニングデータの作成：通过扩展机制生成高质量的训练数据。

from webshaper.data_generator import DataGenerator

# 初始化数据生成器
data_generator = DataGenerator()

# 生成训练数据
training_data = data_generator.generate(expanded_question)
print(training_data)

トレーニングモデル：结合监督微调（SFT）和强化学习（如 GRPO）训练 AI 模型。

from webshaper.trainer import Trainer

# 初始化训练器
trainer = Trainer()

# 训练模型
model = trainer.train(training_data)

WebShaper的核心优势

高质量数据生成：生成的训练数据具有高度的可控性、可解释性和可扩展性，能精准构造复杂问题结构，减少错误和冗余信息。
创新的形式化建模：基于集合论的“知识投影”概念，WebShaper 将复杂任务分解为集合操作，精准控制任务复杂度，让问题结构更加清晰。
智能体扩展机制：WebShaper 的 Expander 智能体能从简单“种子问题”出发，逐步扩展为复杂任务，确保生成问题的逻辑一致性和任务难度可控。
効果的なトレーニング戦略：结合监督微调（SFT）和强化学习（GRPO），WebShaper 的训练策略用奖励机制引导模型进行多步推理，避免“走捷径”，提升推理能力。
幅広いアプリケーション・シナリオ：适用文献整理、市场调研、智能学习助手、生活决策和医疗信息查询等多种场景，提供个性化信息支持。