RWKV Runner: 오픈 소스 대규모 언어 모델 RWKV 관리 도구

2.8K 00

일반 소개

RWKV-Runner는 RWKV 모델을 위해 특별히 설계된 관리 및 실행 도구로, 사용하기 쉬운 RWKV 관리 및 실행 도구를 제공하는 것을 목표로 합니다. 완전히 자동화되어 있고 크기가 8MB에 불과한 컴팩트하며, OpenAI API와 호환되는 인터페이스를 제공합니다.

RWKV 오픈 소스 커뮤니티의 회원인 josStorer가 개발했습니다. 이 도구는 대규모 언어 모델 사용의 장벽을 제거하고 완전히 자동화된 솔루션을 제공하도록 설계되었습니다. rWKV-Runner는 크기가 몇 MB에 불과할 정도로 작고, OpenAI API와 호환되는 인터페이스를 제공하므로 모든 사람이 사용할 수 있습니다. ChatGPT 클라이언트는 모두 RWKV 클라이언트로 사용할 수 있으며, RWKV는 GPT와 비슷한 성능을 갖춘 대규모 언어 모델로, GPT 트랜스포머와 같은 직접 교육을 지원하고 완전한 오픈 소스이며 상용으로 사용할 수 있습니다.

기능 목록

완전 자동화된 관리사용자가 수동으로 구성할 필요 없이 RWKV 모델의 시작 및 관리를 자동으로 처리합니다.
경량급(육상)프로그램 크기가 몇 MB에 불과하여 다양한 기기에 적합합니다.
OpenAI API 호환기존 시스템에 쉽게 통합할 수 있도록 OpenAI API와 호환되는 인터페이스를 제공합니다.
다국어 지원중국어 간체, 영어, 일본어가 지원됩니다.
멀티 플랫폼 지원Windows, MacOS 및 Linux 시스템과 호환됩니다.
커스텀 CUDA 가속사용자 지정 CUDA 커널 가속을 지원하여 성능을 향상하고 메모리 사용량을 줄입니다.
서버 배포서버에 백엔드-파이썬 배포를 지원하며 클라이언트는 서버에 연결하기만 하면 사용할 수 있습니다.

도움말 사용

설치 지침은 GitHub 리포지토리를 방문하세요.
설치 튜토리얼 동영상을 통해 직접 실습해 보세요.
RWKV 공식 웹사이트에서 문서를 확인하세요.

홈페이지

채팅 인터페이스

연속 인터페이스 완성

컴포지션 화면

구성 인터페이스

모델 관리 인터페이스

인터페이스 미세 조정

설치 프로세스

RWKV-Runner 다운로드::
- 인터뷰 GitHub 리포지토리 최신 버전의 RWKV-Runner를 다운로드하세요.
- 운영 체제(Windows, MacOS, Linux)에 따라 해당 설치 패키지를 선택합니다.
RWKV-Runner 설치::
- Windows 사용자: 다운로드한 ZIP 파일의 압축을 풀고 다음을 실행합니다. RWKV-Runner.exe.
- MacOS 사용자: 다운로드한 ZIP 파일의 압축을 풀고 다음을 실행합니다. RWKV-Runner.app.
- Linux 사용자: 다운로드한 TAR 파일의 압축을 풀고 다음을 실행합니다. ./RWKV-Runner.
RWKV-Runner 구성::
- RWKV-Runner를 열고 설정 페이지로 이동합니다.
- 서버에 연결해야 하는 경우 서버 주소를 다음과 같이 입력합니다. API URL 가운데.

사용 프로세스

RWKV-Runner 시작::
- 더블 클릭하여 프로그램을 실행하고 로딩이 완료될 때까지 기다립니다.
- 프로그램이 자동으로 RWKV 모델을 감지하고 로드합니다.
OpenAI API 인터페이스 사용::
- 설정 페이지에서 API 구성 섹션을 찾습니다.
- OpenAI API의 관련 파라미터를 해당 위치에 입력하고 설정을 저장합니다.
커스텀 CUDA 가속::
- 구성 페이지로 이동하여 CUDA 가속 옵션을 찾습니다.
- 필요에 따라 커스텀 CUDA 커널 가속을 켜거나 끕니다.
실행 중인 작업::
- 메인 화면에서 실행해야 하는 작업 유형(예: 채팅, 글쓰기, 작문 등)을 선택합니다.
- 작업 요구사항에 따라 API 매개변수(예: 온도, Top_P 등)를 조정합니다.
- 시작 버튼을 클릭하고 작업이 완료될 때까지 기다립니다.
서버 배포::
- 서버에 백엔드-파이썬을 다운로드하여 설치합니다.
- 서버 주소 및 관련 매개변수를 구성합니다.
- 서버에 연결하려면 클라이언트 설정에서 서버 주소를 입력합니다.