HiOllama: чистый чат-интерфейс для взаимодействия с нативными моделями Ollama

Общее введение

HiOllama - это удобный интерфейс, построенный на Python и Gradio и предназначенный для взаимодействия с моделями Ollama. Он предоставляет простой и интуитивно понятный веб-интерфейс, поддерживающий функции генерации текста в реальном времени и управления моделями. Пользователи могут настраивать такие параметры, как температура и максимальное количество маркеров, а также управлять несколькими моделями Ollama и настраивать URL-адреса сервера.

РЕКОМЕНДАЦИЯ: Оллама против Откройте WebUI Интеграция более дружественна, но затраты на развертывание несколько выше.

Список функций

• Простой и интуитивно понятный веб-интерфейс
• Генерация текста в режиме реального времени
• Настраиваемые параметры (температура, максимальное количество жетонов)
• Функции управления моделями
• Поддержка нескольких моделей Ollama
• Пользовательская настройка URL-адреса сервера

Использование помощи

Этапы установки

1. Хранилище клонирования:

   git clone https://github.com/smaranjitghose/HiOllama.git
   cd HiOllama
   

2. Создайте и активируйте виртуальную среду:
   • Окна.

     python -m venv env
     .\env\Scripts\activate
     

   • Linux/Mac.

     python3 -m venv env
     source env/bin/activate
     

3. Установите необходимые пакеты:

   pip install -r requirements.txt
   

4. Установите Ollama (если она еще не установлена):
   • Linux/Mac.

     curl -fsSL https://ollama.ai/install.sh | sh
     

   • Окна.
     Сначала установите WSL2, а затем выполните приведенную выше команду.

Этапы использования

1. Запустите службу Ollama:

   ollama serve
   

2. Беги, ХиОллама:

   python main.py
   

3. Откройте браузер и перейдите на сайт:

   http://localhost:7860
   

Краткое руководство пользователя

1. Выберите модель из выпадающего меню.
2. Введите подсказку в текстовой области.
3. При необходимости отрегулируйте температуру и максимальное количество жетонов.
4. Нажмите "Сгенерировать", чтобы получить ответ.
5. Используйте опцию "Управление моделями", чтобы добавлять новые модели.

настроить

Настройки по умолчанию можно задать вmain.pyИзменено в:

DEFAULT_OLLAMA_URL = "http://localhost:11434"
DEFAULT_MODEL_NAME = "llama3"

общие проблемы

• ошибка подключения: Убедитесь, что Ollama запущена (ollama serve), проверьте правильность URL-адреса сервера и убедитесь, что порт 11434 доступен.
• Модель не найдена: Сначала вытащите модель:ollama pull model_nameПроверьте доступные модели:ollama list.
• портовый конфликт: вmain.pyИзмените порт в

  app.launch(server_port=7860)  # 更改为其他端口