WebShaper - Système de synthèse de données d'entraînement à l'IA open source Ali Tongyi

Qu'est-ce que WebShaper ?

WebShaper est un système de synthèse de données d'entraînement à l'IA lancé par Alibaba Tongyi Labs, qui génère des données d'entraînement de haute qualité et évolutives basées sur des mécanismes de modélisation formelle et d'expansion de l'intelligence, aidant les intelligences IA à améliorer leur capacité à récupérer des informations complexes. Le système introduit le concept de "projection des connaissances", en utilisant des opérations ensemblistes pour construire des structures de problèmes complexes et contrôler avec précision la complexité des tâches. WebShaper combine des stratégies de réglage fin supervisé et d'apprentissage par renforcement, ce qui permet au modèle d'exceller dans des tâches complexes, telles que la collecte de documentation, les études de marché, les assistants d'apprentissage intelligents, la prise de décision dans la vie courante et la recherche d'informations médicales. WebShaper a été conçu pour répondre à des scénarios de prise de décision dans la vie quotidienne et de recherche d'informations médicales.

Principales fonctionnalités de WebShaper

• modélisation formelleLa technique de "projection des connaissances" basée sur la théorie des ensembles décompose les tâches complexes de recherche d'informations en plusieurs opérations sur les ensembles (par exemple, intersection, concaténation, etc.), ce qui permet de contrôler avec précision le cheminement du raisonnement et la complexité de la tâche et de rendre la structure du problème plus claire.
• Mécanisme intelligent d'extension du corpsBasé sur l'intelligence Expander, il commence par des "problèmes de base" simples et évolue vers des tâches de raisonnement complexes, en combinant des outils de recherche, de synthèse et de validation pour s'assurer que la logique du problème est claire et que la difficulté de la tâche est gérable.
• Génération de données de haute qualitéLes données de formation générées sont contrôlables, interprétables et évolutives, ce qui permet de dépasser les limites des données traditionnelles extraites au préalable, de réduire les erreurs et les informations redondantes et d'améliorer la qualité des données.
• Stratégie de formation des agentsLa recherche d'une solution à ce problème : La combinaison du réglage fin supervisé (SFT) et de l'apprentissage par renforcement (par exemple, l'outil de recherche d'une solution à un problème). GRPO Les algorithmes sont basés sur des trajectoires d'entraînement de haute qualité et des mécanismes de récompense qui guident le modèle pour effectuer un raisonnement en plusieurs étapes, en évitant les "raccourcis" ou les "réponses au jugé", et en améliorant les performances du modèle dans les tâches complexes.

Adresse du site officiel de WebShaper

• Dépôt Github: : https://github.com/Alibaba-NLP/WebAgent
• Bibliothèque de modèles HuggingFace: : https://huggingface.co/datasets/Alibaba-NLP/WebShaper
• Document technique arXiv: : https://arxiv.org/pdf/2507.15061

Comment utiliser WebShaper

• Accès aux ressources du projet
  • Dépôts GitHubWebShaper : Visitez le dépôt GitHub de WebShaper, qui fournit du code, de la documentation et des exemples de données.
  • Jeu de données sur les visages étreintsPour plus d'informations, consultez le jeu de données WebShaper sur Hugging Face afin de télécharger et d'utiliser directement les données de formation générées.
• Préparation de l'environnement
  • Installation des dépendancesSelon le référentiel GitHub, il s'agit de requirements.txt pour installer les paquets Python nécessaires.

pip install -r requirements.txt

• • Définition des variables d'environnementSi vous devez utiliser des outils externes (par exemple des moteurs de recherche ou des API), assurez-vous que les variables d'environnement correspondantes sont correctement configurées.
• Exécution de WebShaper: :
  • Exécution d'Expander IntelligenceLes problèmes : Commencer par des "problèmes de base" simples et les développer pour générer des problèmes complexes.

from webshaper.expander import Expander

# 初始化 Expander 智能体
expander = Expander()

# 定义种子问题
seed_question = "2020年NBA总冠军是哪支球队？"

# 逐步扩展问题
expanded_question = expander.expand(seed_question)
print(expanded_question)

• • Générer des données de formationLes données de formation : générer des données de formation de haute qualité par le biais d'un mécanisme d'extension.

from webshaper.data_generator import DataGenerator

# 初始化数据生成器
data_generator = DataGenerator()

# 生成训练数据
training_data = data_generator.generate(expanded_question)
print(training_data)

• Modèles de formationLes modèles d'intelligence artificielle : Combinaison de l'ajustement fin supervisé (SFT) et de l'apprentissage par renforcement (par exemple GRPO) pour former des modèles d'intelligence artificielle.

from webshaper.trainer import Trainer

# 初始化训练器
trainer = Trainer()

# 训练模型
model = trainer.train(training_data)

Les points forts de WebShaper

• Génération de données de haute qualitéLes données de formation générées sont hautement contrôlables, interprétables et évolutives, et peuvent construire avec précision des structures de problèmes complexes, en réduisant les erreurs et les informations redondantes.
• Modélisation formelle de l'innovationWebShaper est basé sur le concept de "projection de connaissances" de la théorie des ensembles, qui permet à WebShaper de décomposer des tâches complexes en opérations d'ensemble, en contrôlant précisément la complexité des tâches et en rendant la structure du problème plus claire.
• Mécanisme intelligent d'extension du corpsL'intelligence Expander de WebShaper commence par des "problèmes de base" simples et évolue vers des tâches complexes, en assurant une cohérence logique dans la génération des problèmes et en contrôlant la difficulté des tâches.
• Stratégies de formation efficacesLa stratégie d'apprentissage de WebShaper combine le réglage fin supervisé (SFT) et l'apprentissage par renforcement (GRPO) avec un mécanisme de récompense pour guider le modèle à travers de multiples étapes d'inférence, en évitant les "raccourcis" et en améliorant l'inférence.
• Large éventail de scénarios d'applicationLes applications sont multiples : collecte de documentation, études de marché, assistants d'apprentissage intelligents, prise de décision dans la vie quotidienne, recherche d'informations médicales, etc.

A qui s'adresse WebShaper ?

• Chercheurs en IALes données de formation sont utilisées pour générer des données de formation de haute qualité, améliorer les performances des modèles d'intelligence artificielle dans des tâches de raisonnement complexes et alimenter la recherche de pointe.
• scientifique des donnéesLes données d'entraînement : générer et optimiser efficacement les données d'entraînement, réduire les efforts d'étiquetage et de nettoyage des données, et améliorer les performances des modèles.
• Développeur en traitement du langage naturel (NLP)Le modèle peut être utilisé pour des tâches complexes en langage naturel, pour améliorer la capacité du modèle à comprendre le raisonnement multi-sauts et la logique complexe, pour développer des systèmes intelligents de questions et réponses, etc.
• Analyste d'entrepriseLes études de marché : collecter et rassembler rapidement des données sectorielles et générer automatiquement des études de marché pour faciliter la prise de décision.
• éducateurLes assistants d'apprentissage intelligents : générer des tâches d'apprentissage personnalisées, aider les étudiants à effectuer un apprentissage approfondi et basé sur la recherche, et développer des assistants d'apprentissage intelligents.