텍스트 생성 웹 UI: 여러 백엔드 서비스를 지원하는 라디오 기반 대규모 언어 모델 채팅 인터페이스

일반 소개

텍스트 생성 웹 UI는 대규모 언어 모델(LLM)을 위해 설계된 Gradio 기반 웹 UI입니다. Transformers, llama.cpp 및 ExLlamaV2를 비롯한 다양한 텍스트 생성 백엔드를 지원합니다. 사용자는 간단한 설치 단계를 통해 텍스트 생성 작업을 위해 도구를 빠르게 배포하고 사용할 수 있습니다.

기능 목록

• 다중 모델 지원트랜스포머, llama.cpp, ExLlamaV2 및 기타 여러 텍스트 생성 백엔드를 지원합니다.
• 자동 프롬프트 서식 지정진자2 템플릿을 사용하여 팁 서식을 자동으로 지정하세요.
• 다양한 채팅 모드채팅 모드는 지시, 채팅-지시 및 채팅입니다.
• 채팅 기록: 다른 대화 사이를 빠르게 전환합니다.
• 무료 텍스트 생성채팅 라운드에 관계없이 기본/노트북 탭에서 무료 텍스트 생성.
• 여러 샘플링 매개변수텍스트 생성을 세밀하게 제어할 수 있는 다양한 샘플링 매개변수 및 생성 옵션이 제공됩니다.
• 모델 전환재부팅 없이 인터페이스에서 모델 간에 쉽게 전환할 수 있습니다.
• LoRA 미세 조정 도구간단한 LoRA 미세 조정 도구가 제공됩니다.
• 확장 지원다양한 기본 제공 및 사용자 기여 확장 기능을 지원합니다.

도움말 사용

설치 프로세스

1. 리포지토리 복제 또는 다운로드::

   git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui

2. 운영 체제와 일치하는 스크립트 실행::
   • Linux 사용자의 경우: bash
./start_linux.sh

   • Windows 사용자의 경우: cmd
start_windows.bat

   • macOS 사용자의 경우: bash
./start_macos.sh

   • WSL 사용자의 경우: bash
./start_wsl.bat

3. GPU 공급업체 선택: 지시에 따라 GPU 공급업체를 선택합니다.
4. 브라우저 액세스설치가 끝나면 브라우저를 열어 다음을 방문합니다. http://localhost:7860.

사용 가이드라인

1. 실행 인터페이스적절한 시작 스크립트를 실행한 후 브라우저를 열고 다음을 방문합니다. http://localhost:7860.
2. 모델 선택인터페이스에서 원하는 텍스트 생성 모델을 선택합니다.
3. 입력 프롬프트입력 상자에 큐 단어를 입력하고 생성 매개변수를 선택합니다.
4. 텍스트 생성생성 버튼을 클릭하면 생성된 텍스트의 결과를 볼 수 있습니다.
5. 전환 모드필요에 따라 지시, 채팅-지시 및 채팅 모드 간에 전환합니다.
6. 기록 보기: '기록' 메뉴를 사용하여 대화 간에 빠르게 전환할 수 있습니다.
7. 확장된 기능향상된 기능을 위해 필요한 확장 프로그램을 설치 및 활성화합니다.

세부 기능 작동

• 자동 프롬프트 서식 지정프롬프트가 입력되면 진자2 템플릿을 사용하여 모델에 맞게 자동으로 서식이 지정됩니다.
• 여러 샘플링 매개변수온도, 최대 길이, 반복 페널티 등의 매개변수를 조정하여 생성된 텍스트의 스타일과 길이를 제어할 수 있습니다.
• 무료 텍스트 생성기본/노트북 탭에서 사용자는 채팅 라운드 수에 제한 없이 자유롭게 텍스트를 생성할 수 있어 긴 텍스트 생성 작업에 적합합니다.
• LoRA 미세 조정내장된 LoRA 미세 조정 도구를 사용하여 사용자는 모델을 미세 조정하여 특정 작업의 생성을 향상시킬 수 있습니다.
• 확장 지원확장 프로그램을 설치하면 음성 합성, 이미지 생성 등의 기능을 더 추가할 수 있습니다.