WebShaper - Ali TongyiオープンソースAI学習データ合成システム

ウェブシェイパーとは

WebShaperはAlibaba Tongyi Labsが発表したAIトレーニングデータ合成システムで、形式的モデリングと知能拡張メカニズムに基づいて高品質でスケーラブルなトレーニングデータを生成し、AI知能の複雑な情報検索能力の向上を支援する。このシステムは「知識投影」の概念を導入し、集合操作を使って複雑な問題構造を構築し、タスクの複雑さを正確に制御する。WebShaperは、教師ありの微調整と強化学習戦略を組み合わせることで、文献照合、市場調査、知的学習アシスタント、人生の意思決定、医療情報照会などの複雑なタスクに優れた能力を発揮する。このモデルは、文献照合、市場調査、知的学習アシスタント、人生の意思決定、医療情報照会などの複雑なタスクに優れています。

ウェブシェイパーの主な機能

形式的モデリング集合論の「知識投影」技法に基づき、複雑な情報検索タスクを複数の集合操作（例えば、交差、連結など）に分解することで、推論経路とタスクの複雑さを正確に制御し、問題構造を明確にすることができる。
インテリジェント・ボディ・エクステンション・メカニズムExpanderのインテリジェンスに基づき、単純な「種問題」から始まり、複雑な推論タスクへとスケールアップし、検索、要約、検証ツールを組み合わせることで、問題のロジックが明確で、タスクの難易度が管理可能であることを保証します。
高品質のデータ生成生成されたトレーニングデータは制御可能、解釈可能、スケーラブルであり、従来の事前取得データの限界を打ち破り、エラーや冗長な情報を減らし、データの質を向上させる。
代理店トレーニング戦略教師あり微調整（SFT）と強化学習の組み合わせ（例えばグルポこのアルゴリズムは、多段階の推論を行うようモデルを導く、質の高い訓練軌道と報酬メカニズムに基づいており、「近道」や「推測回答」を避け、複雑なタスクにおけるモデルのパフォーマンスを向上させる。

ウェブシェイパーの公式サイトアドレス

Githubリポジトリ:: https://github.com/Alibaba-NLP/WebAgent
HuggingFaceモデルライブラリ:: https://huggingface.co/datasets/Alibaba-NLP/WebShaper
arXivテクニカルペーパー:: https://arxiv.org/pdf/2507.15061

WebShaperの使い方

プロジェクト・リソースへのアクセス
- GitHubリポジトリWebShaperのGitHubリポジトリでは、コード、ドキュメント、サンプルデータを提供しています。
- ハグ顔データセットHuggingFaceのWebShaperデータセットにアクセスし、生成されたトレーニングデータを直接ダウンロードして使用してください。
環境準備
- 依存関係のインストールGitHubのリポジトリによると requirements.txt ファイルで必要なPythonパッケージをインストールする。

pip install -r requirements.txt

- 環境変数の設定外部ツール（検索エンジンやAPIなど）を使用する必要がある場合は、関連する環境変数が正しく設定されていることを確認してください。
WebShaperの実行::
- エキスパンダー・インテリジェンスの実行単純な "種の問題 "から始め、複雑な問題へと発展させる。

from webshaper.expander import Expander

# 初始化 Expander 智能体
expander = Expander()

# 定义种子问题
seed_question = "2020年NBA总冠军是哪支球队？"

# 逐步扩展问题
expanded_question = expander.expand(seed_question)
print(expanded_question)

- トレーニングデータの作成拡張メカニズムにより、高品質のトレーニングデータを生成します。

from webshaper.data_generator import DataGenerator

# 初始化数据生成器
data_generator = DataGenerator()

# 生成训练数据
training_data = data_generator.generate(expanded_question)
print(training_data)

トレーニングモデル教師あり微調整（SFT）と強化学習（GRPOなど）を組み合わせてAIモデルを学習。

from webshaper.trainer import Trainer

# 初始化训练器
trainer = Trainer()

# 训练模型
model = trainer.train(training_data)

ウェブシェイパーの強み

高品質のデータ生成生成された学習データは、制御性、解釈性、拡張性が高く、複雑な問題構造を正確に構築することができ、エラーや冗長な情報を減らすことができます。
イノベーションの形式的モデル化WebShaperは集合論の「知識投影」の概念に基づいており、これによりWebShaperは複雑なタスクを集合操作に分解し、タスクの複雑さを正確に制御し、問題構造を明確にすることができます。
インテリジェント・ボディ・エクステンション・メカニズムWebShaperのExpanderインテリジェンスは、単純な「シード問題」から始まり、複雑なタスクまでスケールアップし、問題生成の論理的一貫性とタスクの難易度の制御を保証します。
効果的なトレーニング戦略WebShaperの学習ストラテジーは、教師あり微調整（SFT）と強化学習（GRPO）を組み合わせ、複数の推論ステップを通じてモデルを導く報酬メカニズムにより、「近道」を避け、推論を改善します。
幅広いアプリケーション・シナリオ文献照合、市場調査、インテリジェント学習アシスタント、人生の意思決定、医療情報照会など、さまざまなシナリオに適用でき、パーソナライズされた情報サポートを提供します。

WebShaperの対象者

AI研究者高品質なトレーニングデータを生成し、複雑な推論タスクにおけるAIモデルのパフォーマンスを向上させ、最先端の研究を支援します。
データサイエンティスト学習データの効率的な生成と最適化、データのラベリングとクリーニングの手間の削減、モデル性能の向上。
自然言語処理（NLP）開発者複雑な自然言語タスクの生成、マルチホップ推論や複雑な論理を理解するモデルの能力の向上、インテリジェントなQ&Aシステムの開発など。
コーポレート・アナリスト業界データを迅速に収集・照合し、意思決定をサポートする市場調査タスクを自動生成します。
教育者パーソナライズされた学習課題を生成し、生徒の深い学習や研究ベースの学習を支援し、インテリジェントな学習アシスタントを開発します。