KoboldCpp: API 및 GUI를 통해 KoboldAI를 참조하여 GGUF 모델을 쉽게 실행할 수 있습니다.

일반 소개

KoboldCpp는 원래 KoboldAI에서 영감을 얻은 GGML 및 GGUF 모델을 위한 사용하기 쉬운 AI 텍스트 생성 소프트웨어로, Concedo에서 배포 가능한 단일 독립형 버전입니다. llama.cpp 유연한 KoboldAI API 엔드포인트, 추가 포맷 지원, 안정적인 확산 이미지 생성, 음성 텍스트 변환, 이전 버전과의 호환성, 영구 스토리, 편집 도구, 저장 포맷, 메모리, 월드 정보, 작가 노트, 캐릭터, 장면 등을 포함한 멋진 UI를 구축하고 추가하는 것은 물론 KoboldAI 및 KoboldAI. Lite가 제공하는 모든 기능을 이용할 수 있습니다.

기능 목록

• GGML 및 GGUF 모델 지원
• 다양한 형식 지원 제공
• 이미지 생성 기능
• 음성-텍스트 변환 기능
• 지속적인 스토리텔링 및 편집 도구
• 포맷 및 메모리 저장 기능
• 세계 정보 및 저자 노트
• 캐릭터 및 장면 생성

도움말 사용

설치 프로세스

1. Windows 사용자::
   • 최신 다운로드 koboldcpp.exe 버전.
   • 움직여야 합니다. koboldcpp.exeGUI는 명령줄 인수 없이 표시할 수 있습니다.
   • GGUF 모델을 가져와 로드합니다.
2. Linux 사용자::
   • 미리 컴파일된 PyInstaller 바이너리를 다운로드합니다.
   • 움직여야 합니다. chmod +x koboldcpp 문서를 실행 가능한 파일로 만듭니다.
   • 움직여야 합니다. ./koboldcpp 소프트웨어를 실행합니다.
3. MacOS 사용자::
   • ARM64 MacOS용 바이너리를 다운로드하세요.
   • 터미널에서 파일을 실행할 수 있도록 설정합니다:chmod +x koboldcpp-mac-arm64.
   • 움직여야 합니다. ./koboldcpp-mac-arm64 소프트웨어를 실행합니다.

사용 가이드라인

1. 모델 로드::
   • GGUF 모델 파일을 다운로드합니다.
   • 소프트웨어에서 모델을 선택하고 로드합니다.
2. 텍스트 생성::
   • 프리셋 및 GPU 레이어를 선택합니다.
   • 텍스트 프롬프트를 입력하고 생성 버튼을 클릭합니다.
3. 이미지 생성::
   • 이미지 생성 모델을 선택합니다.
   • 설명 텍스트를 입력하고 이미지 생성을 클릭합니다.
4. 텍스트 음성 변환::
   • 오디오 파일을 업로드하거나 마이크를 사용하여 녹음합니다.
   • 변환 버튼을 클릭하여 텍스트 결과를 얻습니다.
5. 편집 및 저장::
   • 편집 도구를 사용하여 생성된 텍스트 또는 이미지를 수정합니다.
   • 파일을 로컬 또는 클라우드에 저장하세요.

고급 설정

• GPU 가속사용 --usecublas 어쩌면 --usevulkan 플래그를 설정하여 GPU 가속을 활성화합니다.
• 컨텍스트 크기사용 --contextsize 컨텍스트 크기를 늘립니다.
• 호환성 모드사용 --noavx2 플래그를 지정하여 비 AVX2 호환 모드를 활성화합니다.