Развертывание персонализированной "мини" модели чата для недорогих компьютеров

Зачем развертывать частную "мини" модель чата?

Многие люди пользовались ChatGPT, Wisdom Spectrum, Beanbag, Claude и другими отличными крупными языковыми моделями, и при необходимости использования глубинных также будут покупать сторонние платные сервисы, ведь они обладают весьма выдающимися характеристиками. Например, мой основной рабочий сценарий - написание статей, тогда я выберу Claude.

Хотя мне нравится пользоваться Claude, действительно ли я использую его ежедневно и с большой частотой? Ответ, конечно же, нет!

Пороговые значения, такие как лимиты использования, ценовые факторы, проблемы с сетью и т. д., естественным образом снижают частоту использования в ненужных ситуациях. --Если инструмент нельзя "взять и использовать" в любых условиях, значит, с ним что-то не так.

В этом случае использование "маленькой" модели может быть лучшим выбором, почему?

Характеристики модели "Small"

GEMMA2, LLAMA3.1:8b, QWEN2:7b достаточно малы для ежедневного использования, 32k длинный контекстный ввод и вывод, большинство команд выполняются, возможность выразить себя на китайском, ответить на вопросы, и в целом хорошо, и нет "Wenxin Yiyin" типа продукта, который может ввести только 2000 слов или подобное! Ограничения... Этого достаточно для повседневного использования, а для особых задач мы рассмотрим специализацию. Достоинства миниатюр таковы:

• Поддержка размеров контекста не меньше (или даже больше), чем у более крупной модели
• Повседневные задания по написанию текстов с выходом не низкого качества
• неограниченное использование
• Несколько миниатюр могут выводить ответы одновременно для удобства сравнения.
• Более быстрое выполнение

Что такое частное развертывание?

Приватный чат WEB-интерфейса для легкой настройки и свободного доступа к "маленьким" моделям.

Наиболее классическим решением является локальное развертывание Ollama+Open WebUI, первая из которых отвечает за запуск миниатюр на локальном компьютере, а вторая размещает интерфейс чата. Рассмотрим экстрасети для использования в любое время и в любом местеcloudflareвозможноcpolarСоотнесите адрес с внешней сетью (найдите учебник самостоятельно).

vantage

• Данные чата являются локальными и приватными
• Гибкость в адаптации местных моделей

недостатки

• Сложно запускать на постоянной основе (вам ведь всегда нужно выключать компьютер, верно?) Сложно публиковать в экстрасети
• Высокие требования к компьютерному оборудованию

вопрос, требующий решения

Именно недостатки мы и пытаемся устранить:

1. развернутый чат-интерфейс ИИ должен быть опубликован в экстрасети со стабильными URL-адресами доступа, чтобы его можно было использовать в любое время и в любом месте

2. компьютерного оборудования порог в основном использование Ollama для запуска модели локально, изменился на известных производителей API услуг может быть, защита конфиденциальности относительно хорошо и бесплатно. (Общий компьютер локально может запускать небольшие модели, сеть имеет бесплатный API)

Оптимальная программа

1. локальное/облачное бесплатное развертывание досекеров Открытый WebUI + доступ к API "малых" моделей

Только локальное использование, компьютерное оборудование должно быть способно запускать doceker

2. самостоятельное развертывание/использование трехстороннего NextChat + доступ к API "малой" модели

Для самостоятельного развертывания NextChat требуется собственное доменное имя, и существует риск компрометации ключей при использовании трехстороннего NextChat.

Этот план развертывания предназначен только для опытных людей для работы, неопытные белые не рекомендуется, хорошее использование зрелых продуктов, или столкнуться с аномальными проблемами задержки не стоит.

Оптимальный вариант развертывания 1

1. развертывание досекера

Local: локальное развертывание учебников doceker поиск себя

Облако: бесплатные ресурсы doceker в облаке, пожалуйста, ищите самостоятельно, здесь я использую Койеб. (Интранет не имеет прямого доступа, требуется наука и техника)

2. Развертывание Open WebUI в doceker

Местные: ПодробностиПрочитать документРекомендуется использовать следующие команды установки (поддерживайте их в актуальном состоянии)

docker run --rm --volume /var/run/docker.sock:/var/run/docker.sock containrrr/watchtower --run-once open-webui

Облако: РегистрацияКойебПосле этого нажмите кнопку Создать службу и введите следующую команду

ghcr.io/open-webui/open-webui:main

3. Начать открытие WebUI

Локальный запуск, адрес доступа по умолчанию: http://localhost:3000/.

Запуск облака, после завершения развертывания Koyeb, можно осуществить здесь (недостатком является то, что к этому доменному имени нельзя получить прямой доступ через интранет, для привязки доменного имени требуется открытие платного аккаунта)

После запуска зарегистрируйте учетную запись, по умолчанию первой регистрируется учетная запись администратора. Уже зарегистрированы, поэтому только на экране входа, при первом посещении вы можете увидеть "регистрацию" портала

4. подайте заявку на бесплатную "малую" модель API

Рекомендую OpenRouter и уже год пишу романы, используя его бесплатные модели. Вот объяснение того, как получить API моделей OpenRouter

PS: Отечественные производители бесплатных малых моделей API: Silicon Flow

4.1 Создание ключа

Вы получите строку символов, начинающуюся с sk-, это КЛЮЧ, пожалуйста, скопируйте его и сохраните локально, вы не сможете скопировать его снова после закрытия страницы.

4.2 Подтверждение списка свободных моделей

4.3 Получение URL-адреса запроса API(математика) род

Перейдите на страницу любой модели, чтобы увидеть ее, как правило: https://openrouter.ai/api/v1/chat/completions.

5. Вход в модель конфигурации Open WebUI

Обратите внимание, что нажатие на кнопку "4" подтверждает успешный доступ к интерфейсу, прежде чем нажать на кнопку Сохранить.

6. Настройте модель по умолчанию

Можно выбрать несколько свободных моделей

Использование платных моделей приведет к деактивации аккаунта

Нажмите кнопку Presets, чтобы сохранить часто используемые модели

7. попытка первого диалога

Оптимальный вариант развертывания 2

1. Облачное развертывание NextChat

Бесплатное развертывание облака одним щелчком мыши, ознакомьтесь с помощью: https://github.com/ChatGPTNextWeb/ChatGPT-Next-Web.

2. Здесь используется первое развертывание Deploy (vercel).

Просто следуйте процессу, и вот три вещи, о которых следует помнить:

• Обязательно внимательно прочитайте справочную документацию и следуйте инструкциям, чтобы настроить проект на автоматическое обновление.
• Настройте переменную KEY и пароль доступа в процессе установки vercel, рекомендуется настроить их заранее.
• Привязка собственного доменного имени позволяет получить прямой доступ к внутренним сетям.

3. переменные конфигурации

Это не вариант 1, который может автоматически считывать список моделей, вам нужно определить свой собственный свободный список моделей, обратите внимание на изменение адреса интерфейса

BASE_URL или конечная точка OpenAI: установите это значение на https://openrouter.ai/api.
OPENAI_API_KEY или ключ API OpenAI: введите свой OpenRouter Ключ API здесь.
CUSTOM_MODELS или Custom Models: укажите имя модели, как оно указано в OpenRouter.

4. Экран завершения развертывания

5.Связующее доменное имя

Решение проблем с доступом в страну

4. Вы можете настроить API KEY модели отдельно в настройках

Вы можете настроитьOhMyGPTНебольшое количество бесплатных кредитов GPT4 в день, еще один адрес для стабильного доступа к API KEY (для предотвращения неправомерного скрытия):

Еще один бесплатный проект API KEY: https://github.com/chatanywhere/GPT_API_free

Развернутый адрес NextChat (будьте осторожны, не вводите конфиденциальную информацию, можно использовать собственный API KEY): https://chat.tchepai.com/