WebShaper - 알리 통이 오픈 소스 AI 학습 데이터 합성 시스템

10.4K 00

웹쉐이퍼란?

웹쉐이퍼는 알리바바 통이 연구소에서 출시한 AI 학습 데이터 합성 시스템으로, 공식 모델링과 지능 확장 메커니즘을 기반으로 고품질의 확장 가능한 학습 데이터를 생성하여 AI 지능이 복잡한 정보를 검색하는 능력을 향상시킬 수 있도록 지원합니다. 이 시스템은 '지식 투영'이라는 개념을 도입하여 집합 연산을 사용하여 복잡한 문제 구조를 구성하고 작업의 복잡성을 정확하게 제어합니다. WebShaper는 감독 미세 조정과 강화 학습 전략을 결합하여 문헌 대조, 시장 조사, 지능형 학습 비서, 생활 의사 결정, 의료 정보 쿼리와 같은 복잡한 작업에서 탁월한 성능을 발휘할 수 있습니다. 그리고 생활 의사 결정 및 의료 정보 쿼리 시나리오.

WebShaper의 주요 기능

공식 모델링집합 이론에 기반한 '지식 투영' 기법은 복잡한 정보 검색 작업을 여러 집합 연산(예: 교차, 연결 등)으로 분해하여 추론 경로와 작업 복잡도를 정확하게 제어하고 문제 구조를 더 명확하게 만듭니다.
지능형 신체 확장 메커니즘Expander 인텔리전스를 기반으로 간단한 '시드 문제'로 시작하여 복잡한 추론 작업으로 확장하고 검색, 요약 및 검증 도구를 결합하여 문제 논리를 명확하게 하고 작업의 난이도를 관리할 수 있도록 합니다.
고품질 데이터 생성생성된 학습 데이터는 제어, 해석 및 확장이 가능하여 기존 사전 검색 데이터의 한계를 극복하고 오류와 중복 정보를 줄이며 데이터 품질을 개선합니다.
상담원 교육 전략감독 미세 조정(SFT)과 강화 학습을 결합(예 GRPO 이 알고리즘은 고품질 학습 궤적과 보상 메커니즘을 기반으로 모델이 다단계 추론을 수행하도록 안내하여 '지름길'이나 '정답 추측'을 피하고 복잡한 작업에서 모델의 성능을 향상시킵니다.

웹쉐이퍼의 공식 웹사이트 주소

깃허브 리포지토리:: https://github.com/Alibaba-NLP/WebAgent
허깅페이스 모델 라이브러리:: https://huggingface.co/datasets/Alibaba-NLP/WebShaper
arXiv 기술 논문:: https://arxiv.org/pdf/2507.15061

웹쉐이퍼 사용 방법

프로젝트 리소스에 액세스
- GitHub 리포지토리코드, 문서 및 샘플 데이터를 제공하는 WebShaper의 GitHub 리포지토리를 방문하세요.
- 포옹하는 얼굴 데이터 세트생성된 학습 데이터를 직접 다운로드하여 사용하려면 허깅 페이스의 웹쉐이퍼 데이터 세트를 방문하세요.
환경 준비
- 종속성 설치GitHub 리포지토리에 따르면 requirements.txt 파일을 실행하여 필요한 Python 패키지를 설치합니다.

pip install -r requirements.txt

- 환경 변수 설정외부 도구(예: 검색 엔진 또는 API)를 사용해야 하는 경우 관련 환경 변수가 올바르게 구성되어 있는지 확인하세요.
웹 셰이퍼 실행::
- 실행 중인 확장기 인텔리전스간단한 '씨앗 문제'로 시작하여 복잡한 문제를 생성하도록 확장하세요.

from webshaper.expander import Expander

# 初始化 Expander 智能体
expander = Expander()

# 定义种子问题
seed_question = "2020年NBA总冠军是哪支球队？"

# 逐步扩展问题
expanded_question = expander.expand(seed_question)
print(expanded_question)

- 학습 데이터 생성확장 메커니즘을 통해 고품질의 학습 데이터를 생성합니다.

from webshaper.data_generator import DataGenerator

# 初始化数据生成器
data_generator = DataGenerator()

# 生成训练数据
training_data = data_generator.generate(expanded_question)
print(training_data)

교육 모델감독형 미세 조정(SFT)과 강화 학습(예: GRPO)을 결합하여 AI 모델을 학습합니다.

from webshaper.trainer import Trainer

# 初始化训练器
trainer = Trainer()

# 训练模型
model = trainer.train(training_data)

웹쉐이퍼의 핵심 강점

고품질 데이터 생성생성된 학습 데이터는 제어, 해석, 확장성이 뛰어나며 복잡한 문제 구조를 정확하게 구성하여 오류와 중복 정보를 줄일 수 있습니다.
혁신의 공식적인 모델링WebShaper는 집합 이론의 '지식 투영' 개념을 기반으로 복잡한 작업을 집합 연산으로 분해하여 작업의 복잡성을 정밀하게 제어하고 문제의 구조를 보다 명확하게 만들 수 있습니다.
지능형 신체 확장 메커니즘웹쉐이퍼의 익스팬더 인텔리전스는 간단한 '시드 문제'로 시작하여 복잡한 작업으로 확장할 수 있어 문제 생성의 논리적 일관성을 보장하고 작업 난이도를 제어할 수 있습니다.
효과적인 교육 전략웹쉐이퍼의 학습 전략은 감독 미세 조정(SFT)과 강화 학습(GRPO)을 보상 메커니즘과 결합하여 여러 추론 단계를 통해 모델을 안내함으로써 '지름길'을 피하고 추론을 개선합니다.
광범위한 애플리케이션 시나리오문헌 대조, 시장 조사, 지능형 학습 도우미, 생활 의사 결정, 의료 정보 조회 등 다양한 시나리오에 적용하여 개인화된 정보 지원을 제공합니다.

웹 셰이퍼의 대상

AI 연구원고품질 학습 데이터를 생성하고, 복잡한 추론 작업에서 AI 모델의 성능을 개선하며, 최첨단 연구를 지원하는 데 사용됩니다.
데이터 과학자학습 데이터를 효율적으로 생성 및 최적화하고, 데이터 라벨링 및 정리 작업을 줄이며, 모델 성능을 개선할 수 있습니다.
자연어 처리(NLP) 개발자복잡한 자연어 작업 생성, 멀티홉 추론 및 복잡한 논리를 이해하는 모델의 능력 향상, 지능형 Q&A 시스템 개발 등 다양한 분야에서 활용되고 있습니다.
기업 분석가업계 데이터를 빠르게 수집 및 취합하고 시장 조사 작업을 자동으로 생성하여 의사 결정을 지원합니다.
교육자개인화된 학습 과제를 생성하고, 심층 및 연구 기반 학습을 통해 학생들을 돕고, 지능형 학습 도우미를 개발할 수 있습니다.