gpt-oss - OpenAI의 오픈 소스 추론 모델 제품군

11.2K 00

GPT-OSS란?

gpt-oss는 개발자를 위한 효율적이고 유연하며 배포하기 쉬운 AI 솔루션을 지원하는 OpenAI의 오픈 소스 추론 모델 제품군으로, 117억 개의 파라미터를 갖추고 80GB GPU에서 실행할 수 있는 gpt-oss-120B와 210억 개의 파라미터를 갖추고 16GB RAM의 일반 장치에서 사용할 수 있는 gpt-oss-20B의 두 가지 버전으로 구성되어 있습니다. 16GB RAM이 장착된 일반 장치에서 사용할 수 있도록 210억 개의 파라미터를 지원합니다. 두 제품 모두 MoE 아키텍처를 기반으로 하며, 128k 컨텍스트 길이를 지원하고, 클로즈드 소스인 o4-mini와 비슷한 성능으로 빠른 추론이 가능합니다. o3-minigpt-oss는 다단계 추론 작업에 적합한 도구 호출, 체인 사고를 지원하며 다양한 시나리오에 맞는 오픈 소스 가중치 및 추론 강도 조정 기능을 제공합니다.

gpt-oss의 주요 기능

툴링 기능웹 검색이나 Python 코드 실행과 같은 외부 도구 호출을 지원하여 복잡한 작업을 해결하는 데 도움을 줍니다.
연쇄 추론 지원복잡한 작업을 단계별로 세분화하여 하나씩 해결하는 모델로, 다단계 추론이 필요한 문제를 처리하는 데 적합합니다.
낮은 리소스 요구 사항gpt-oss-20B는 16GB RAM이 장착된 일반 기기에서 실행을 지원하고, gpt-oss-120B는 단일 80GB GPU에서 실행을 지원하므로 다양한 하드웨어 환경에 맞게 조정할 수 있습니다.
신속한 추론 대응이 모델은 40~50 토큰/초의 추론 속도를 지원하며, 빠른 응답이 필요한 시나리오에서 우수한 성능을 발휘합니다.
오픈 소스 및 사용자 지정전체 모델 가중치와 코드가 제공되며, 사용자는 특정 작업의 요구 사항을 더 잘 충족하도록 로컬에서 이를 미세 조정하고 사용자 지정할 수 있습니다.
추론 강도 조절 가능섹션: 낮음, 중간, 높음 추론 강도 설정을 지원하며, 사용자는 특정 요구 사항과 시나리오에 따라 조정하여 지연 시간과 성능 간의 균형을 맞춰 최상의 사용을 달성할 수 있습니다.

gpt-oss의 공식 웹사이트 주소

프로젝트 웹사이트:: https://openai.com/zh-Hans-CN/index/introducing-gpt-oss/
GitHub 리포지토리:: https://github.com/openai/gpt-oss
허깅페이스 모델 라이브러리:: https://huggingface.co/collections/openai/gpt-oss-68911959590a1634ba11c7a4
온라인 경험 데모:: https://gpt-oss.com/

gpt-oss의 성능

대회 프로그램Codeforces 대회 프로그래밍 테스트에서 gpt-oss-120B는 2622점, gpt-oss-20B는 2516점을 받았습니다. 두 버전 모두 일부 오픈 소스 모델보다 점수가 높았고, 클로즈드 소스보다는 약간 낮았습니다. o3-mini 및 o4-mini를 통해 강력한 프로그래밍 기능을 선보였습니다.
일반적인 문제 해결gpt-oss-120B는 MMLU(다중 작업 언어 이해) 및 HLE(인간 수준 평가) 테스트에서 OpenAI의 o3-mini보다 성능이 뛰어나며 o4-mini 수준에 근접합니다. 이는 일반적인 문제를 다룰 때 gpt-oss가 높은 정확도와 논리적 추론 능력을 가지고 있음을 보여줍니다.
도구 호출gpt-oss-120B와 gpt-oss-20B는 모두 TauBench 지능형 신체 평가 스위트에서 OpenAI의 o3-mini보다 성능이 뛰어나며, 심지어 o4-mini의 수준에 도달하거나 그 이상입니다. 이는 gpt-oss가 외부 도구(예: 웹 검색, 코드 인터프리터 등)를 호출할 때 효율성과 정확성이 높고 복잡한 문제를 효과적으로 해결할 수 있음을 보여줍니다.
건강 Q&A헬스벤치 테스트에서 gpt-oss-120B는 o4-mini보다 성능이 뛰어나고, gpt-oss-20B는 o3-mini와 비슷한 수준에 도달했습니다. 이는 gpt-oss가 건강 관련 문제를 처리하는 데 있어 높은 정확도와 신뢰성을 가지고 있으며 사용자에게 유용한 조언과 정보를 제공할 수 있음을 보여줍니다.

gpt-oss 사용 방법

온라인 경험 플랫폼::
- 온라인 체험 주소온라인 체험: https://gpt-oss.com/
- 절차::
  - 위의 링크를 엽니다.
  - 웹 페이지에 질문이나 지침을 입력합니다.
  - 모델로부터 응답을 받으려면 '제출'을 클릭합니다.
GitHub 리포지토리 배포::
- GitHub 리포지토리를 방문하세요.:: https://github.com/openai/gpt-oss
- 클론 창고::

git clone https://github.com/openai/gpt-oss.git
cd gpt-oss

- 종속성 설치::

pip install -r requirements.txt

- - 모델 가중치 다운로드: 필요에 따라 gpt-oss-20b 또는 gpt-oss-120b의 가중치 파일을 선택하고 지정된 디렉터리에 배치합니다.
- 운영 모델: 리포지토리의 지침에 따라 모델 추론 스크립트를 실행합니다. 예시:

python run_inference.py --model gpt-oss-20b --input "你的输入文本"

GPT-OSS의 핵심 이점

오픈 소스 및 유연성특정 요구 사항을 충족하는 로컬 미세 조정 및 사용자 지정을 지원하기 위해 전체 모델 가중치 및 코드가 제공됩니다.
효율적인 추론 성능최대 40~50 토큰/초의 추론 속도, 빠른 응답 시나리오를 위한 짧은 지연 시간 설계.
광범위한 적용 가능성16GB RAM이 탑재된 일반 디바이스부터 80GB GPU가 탑재된 고성능 디바이스까지 다양한 하드웨어 환경을 지원합니다.
강력한 추론연쇄 추론 및 도구 호출을 지원하여 복잡한 문제를 단계별로 해결하고 적용 범위를 확장할 수 있습니다.
안전 및 신뢰성사전 학습 단계에서는 유해한 데이터를 필터링하고 적대적 미세 조정을 수행하여 모델이 안전하고 신뢰할 수 있는지 확인합니다.

GPT-OOS 대상 사용자

개발자 및 엔지니어개발자와 엔지니어는 프로젝트 개발, 신속한 프로토타이핑 또는 커스터마이징을 위해 오픈 소스 모델이 필요하며, 모델에서 제공하는 유연성과 오픈 소스 코드는 이러한 요구를 충족할 수 있습니다.
데이터 과학자 및 연구원데이터 과학자와 연구자들은 모델의 내부 메커니즘에 관심이 있고 미세 조정, 실험 또는 조사를 원하며, 모델의 오픈 소스 특성은 이들이 모델을 심층적으로 탐색하고 최적화하는 데 도움이 됩니다.
비즈니스 사용자비즈니스 사용자는 지능형 고객 서비스, 데이터 분석 또는 자동화 작업을 위해 고성능의 저비용 추론 모델이 필요하며, 이러한 경우 무료 상용 모델과 효율적인 추론 기능이 이상적입니다.
교육자 및 학생교육 분야에서 학생들이 질문에 답하고, 작문 조언을 제공하거나, 프로그래밍 연습을 할 수 있도록 도와주는 학습 보조 도구로 사용됩니다.
크리에이티브 워커작가, 시나리오 작가, 게임 개발자 등이 이 모델을 통해 창의적인 콘텐츠를 생성하고 영감을 얻으며 창작 효율성을 높일 수 있습니다.