삼바노바: 고속 대규모 모델 추론 서비스, 무료 LLama, Qwen 시리즈 모델 API

20.6K 00

일반 소개

삼바노바 시스템즈는 AI 워크로드 혁신에 전념하는 회사로, 세계에서 가장 빠른 AI 추론 플랫폼을 제공합니다. 삼바노바 스위트와 데이터스케일 시스템을 포함한 삼바노바의 제품은 기업 및 정부 기관이 효율적이고 정확하며 안전한 AI 솔루션을 제공할 수 있도록 설계되었으며, SN40L 재구성 가능한 데이터 스트리밍 유닛(RDU)과 같은 삼바노바의 혁신은 AI 모델 학습 및 추론에서 상당한 이점을 제공합니다.

무료 모델 API 제한: 20RPM(분당 요청 수), 토큰 제한은 2000개 정도가 더 안전합니다.

기능 목록

데이터 흐름 아키텍처 기반의 AI 추론 및 미세 조정 플랫폼
AI 모델 개발 및 관리를 위한 통합 삼바스튜디오
다중 생성 AI 모델 지원(예: Llama 3.1 8B, 70B, 405B)
엔터프라이즈 지식 검색 및 함수 호출 기능 제공
대규모 제너레이티브 AI 모델의 신속한 배포 지원
고성능, 저지연 AI 하드웨어 제공(SN40L RDU)
로컬 및 클라우드 배포 지원

도움말 사용

설치 프로세스

클론 창고

git clone https://github.com/sambanova/sambanova-suite.git

창고 카탈로그에 액세스
```
cd sambanova-suite
```
종속성 설치
```
npm install
```
환경 변수 설정
만들기.env.local파일을 열고 다음을 설정합니다:
```
SAMBANOVA_API_KEY=你的SambaNova API密钥
```
개발 서버 시작
```
npm run dev
```
웹 애플리케이션 구축
```
npm run build
```

사용 기능

API 키 관리: API 메뉴에서 삼바노바 또는 다른 공급자로부터 받은 API 키를 입력합니다.
환경 변수 구성통해.env.local파일을 사용하여 API 키, 사이트 도메인 등과 같은 환경 변수를 구성할 수 있습니다.
로컬 저장 및 동기화로컬 스토리지에 데이터 자동 저장 및 클라우드 동기화를 지원합니다.
데스크톱 애플리케이션오프라인 지원을 통해 Windows, MacOS 및 Linux용 데스크톱 애플리케이션을 다운로드할 수 있습니다.
사용자 지정 모델 매개변수다음과 같은 모델 매개변수 사용자 지정 지원presence_penalty등 다양한 사용 요구를 충족시킬 수 있습니다.
채팅 기록 관리메시지 편집, 순서 변경 및 삽입을 지원하여 사용자가 채팅을 쉽게 관리할 수 있습니다.