저비용 컴퓨터를 위한 개인화된 '소형' 모델 채팅 도구 배포

10.4K 00

비공개 '미니' 모델 채팅 도구를 배포하는 이유는 무엇인가요?

많은 사람들이 ChatGPT, Wisdom Spectrum, Beanbag, Claude 및 기타 우수한 대형 언어 모델을 사용해 왔으며 심층적으로 사용해야하는 경우 타사 유료 서비스도 구매할 수 있으며 결국 매우 뛰어난 성능을 발휘합니다. 예를 들어, 저의 주된 작업 시나리오는 기사를 작성하는 것이므로 Claude를 선택하겠습니다.

클라우드를 즐겨 사용하지만, 정말 매일 높은 빈도로 사용해야 할까요? 대답은 당연히 '아니오'입니다!

사용 제한, 가격 요인, 네트워크 문제 등과 같은 임계값은 불필요한 상황에서는 자연스럽게 사용 빈도를 줄입니다. --어떤 도구가 어떤 환경에서도 '선택해서 사용할 수 없다면' 그 도구에 문제가 있는 것입니다.

이 경우 '작은' 모델을 사용하는 것이 더 나은 선택일 수 있는데, 그 이유는 무엇인가요?

"소형" 모델 특성

GEMMA2, LLAMA3.1:8b, QWEN2:7b는 매일 사용하기에 충분히 작고, 32k의 긴 문맥 입출력이 가능하며, 대부분의 명령을 따르고, 중국어로 자신을 표현하고, 질문에 답하는 능력과 전반적으로 좋으며, 2000 단어만 입력 할 수있는 "웬신 이인"유형의 제품은 없습니다! 한계는 ... 일상적인 사용에는 충분하며 특별한 작업을 전문적으로 고려할 것입니다. 미니어처의 장점은 다음과 같습니다:

더 큰 모델보다 작지 않은(또는 더 큰) 컨텍스트 크기 지원
낮은 품질의 결과물 없이 일상적인 글쓰기 작업
무제한 사용
여러 개의 미니어처를 동시에 출력하여 쉽게 비교할 수 있습니다.
더 빠른 실행

비공개 배포란 무엇인가요?

간편한 사용자 지정과 '소규모' 모델에 대한 무료 액세스를 위한 비공개 채팅 웹 인터페이스입니다.

가장 고전적인 솔루션은 전자는 로컬 컴퓨터에서 미니어처를 실행하고 후자는 채팅 인터페이스를 호스팅하는 Ollama+Open WebUI를 로컬에 배포하는 것입니다. 언제 어디서나 사용할 수 있도록 엑스트라넷을 고려하세요.클라우드플레어어쩌면cpolar주소를 외부 네트워크에 매핑합니다(튜토리얼을 직접 검색하세요).

vantage

채팅 데이터는 로컬 및 비공개로 유지됩니다.
로컬 모델을 사용자 지정할 수 있는 유연성

단점

지속적으로 실행하기 어려움(항상 컴퓨터를 꺼야 하죠?) 엑스트라넷에 게시하기 어려움
컴퓨터 하드웨어에 대한 높은 요구 사항

해결해야 할 문제

저희가 해결하고자 하는 것은 바로 이러한 단점입니다:

1. 배포된 AI 채팅 인터페이스는 언제 어디서나 사용할 수 있도록 안정적인 액세스 URL이 있는 엑스트라넷에 게시되어야 합니다.

2. 컴퓨터 하드웨어 임계 값은 주로 Ollama를 사용하여 모델을 로컬로 실행하고 잘 알려진 API 서비스 제조업체로 변경 될 수 있으며 개인 정보 보호는 상대적으로 좋고 무료입니다. (일반 컴퓨터 로컬은 작은 모델을 실행할 수 있으며 네트워크에는 무료 API가 있습니다.)

최적의 프로그램

1. 로컬/클라우드 무료 도스커 배포 오픈 WebUI + "소규모" 모델 API에 대한 액세스

로컬 전용, 컴퓨터 하드웨어는 도세커를 실행할 수 있어야 합니다.

2. 3자 NextChat 자체 배포/사용 + "소규모" 모델 API에 대한 액세스

NextChat을 자체 배포하려면 자체 도메인 이름이 필요하며 타사 NextChat을 사용하면 키가 손상될 위험이 있습니다.

이 배포 계획은 숙련된 사람만 운영할 수 있으며, 경험이 없는 화이트는 권장하지 않으며, 성숙한 제품을 잘 사용하거나 비정상적인 문제가 발생하면 지연할 가치가 없습니다.

최적의 배포 옵션 1

1. 도세커 배포

로컬: 도스커 튜토리얼의 로컬 배포 직접 검색하기

클라우드 : 클라우드의 무료 도스커 리소스, 직접 검색하십시오. Koyeb. (인트라넷에 직접 액세스할 수 없음, 과학 및 기술 필요)

2. doceker에 Open WebUI 배포하기

로컬: 세부 정보문서 읽기다음 설치 명령을 권장합니다(최신 상태로 유지).

docker run --rm --volume /var/run/docker.sock:/var/run/docker.sock containrrr/watchtower --run-once open-webui

클라우드: 등록Koyeb그런 다음 서비스 생성을 클릭하고 다음 명령을 입력합니다.

ghcr.io/open-webui/open-webui:main

3. 웹UI 열기 시작

로컬 시작, 기본 액세스 주소: http://localhost:3000/

클라우드 시작은 Koyeb 배포가 완료된 후 여기를 클릭할 수 있습니다(단점은 이 도메인 이름은 인트라넷에서 직접 액세스할 수 없으며 도메인 이름을 바인딩하려면 유료 계정을 개설해야 한다는 것입니다).

시작 후 계정을 등록하면 기본적으로 처음 등록된 계정은 관리자 계정입니다. 이미 등록되어 있으므로 로그인 화면만 표시되며, 처음 방문하면 "등록" 포털을 볼 수 있습니다.

4. 무료 '스몰' 모델 API 신청하기

OpenRouter를 추천하며 무료 모델을 사용해 1년 동안 소설을 쓰고 있습니다. 다음은 OpenRouter의 모델 API를 얻는 방법에 대한 설명입니다.

추신: 국내 무료 소형 모델 API 공급업체: Silicon Flow

4.1 키 생성하기

sk-로 시작하는 문자열이 표시되며, 이는 KEY입니다. 복사하여 로컬에 저장하세요. 페이지가 닫힌 후에는 다시 복사할 수 없습니다.

4.2 무료 모델 목록 확인

4.3 API 요청 URL 가져오기(수학.) 속

일반적으로 모델 페이지(https://openrouter.ai/api/v1/chat/completions)로 이동하여 확인할 수 있습니다.

5. Open WebUI 구성 모델 입력하기

저장을 클릭하기 전에 '4'를 클릭하여 인터페이스에 성공적으로 액세스했는지 확인합니다.

6. 기본 모델 구성

여러 무료 모델을 선택할 수 있습니다.

유료 모델을 사용하면 계정이 비활성화됩니다.

자주 사용하는 모델을 저장하려면 사전 설정을 클릭합니다.

7. 첫 번째 대화 시도하기

최적의 배포 옵션 2

NextChat의 클라우드 배포

원클릭 무료 클라우드 배포, 도움말을 직접 확인하세요: https://github.com/ChatGPTNextWeb/ChatGPT-Next-Web

2. 첫 번째 배포(vercel) 배포가 여기에 사용됩니다.

프로세스를 따르기만 하면 되며, 다음 세 가지 사항에 유의하세요:

도움말 문서를 주의 깊게 읽고 튜토리얼을 따라 프로젝트가 자동으로 업데이트되도록 설정하세요.
vercel 설치 과정에서 KEY 변수 및 액세스 비밀번호를 구성하는 경우 미리 구성하는 것이 좋습니다.
자체 도메인 이름을 바인딩하면 국내 네트워크에 직접 액세스할 수 있습니다.

3. 구성 변수

모델 목록을 자동으로 읽을 수있는 옵션 1과 달리 무료 모델 목록을 직접 정의하고 인터페이스 주소 변경에 유의해야합니다.

BASE_URL 또는 OpenAI 엔드포인트: https://openrouter.ai/api 로 설정합니다.
OPENAI_API_KEY 또는 OpenAI API 키: 다음을 입력합니다. OpenRouter API 키를 입력하세요.
CUSTOM_MODELS 또는 사용자 지정 모델: OpenRouter에 나열된 대로 모델 이름을 지정합니다.

4. 배포 완료 화면

5. 바인딩 도메인 이름

국가 내 액세스 문제 해결

4. 설정에서 모델의 API KEY를 별도로 구성할 수 있습니다.

다음과 같이 구성할 수 있습니다.OhMyGPT하루 소량의 무료 GPT4 크레딧, (악의적인 숨기기를 방지하기 위해) API KEY에 안정적으로 액세스하기 위한 또 다른 주소입니다:

또 다른 무료 API KEY 프로젝트: https://github.com/chatanywhere/GPT_API_free

배포된 NextChat 주소(민감한 정보를 입력하지 않도록 주의, 자체 API 키 입력 가능): https://chat.tchepai.com/