HiOllama: uma interface de bate-papo limpa para interagir com modelos nativos do Ollama

Introdução geral

O HiOllama é uma interface amigável criada em Python e Gradio, projetada para interagir com os modelos Ollama. Ela oferece uma interface da Web simples e intuitiva que suporta geração de texto em tempo real e recursos de gerenciamento de modelos. Os usuários podem ajustar parâmetros como temperatura e número máximo de tokens, além de oferecer suporte ao gerenciamento de vários modelos do Ollama e à configuração personalizada do URL do servidor.

RECOMENDAÇÃO: Ollama vs. Abrir a WebUI A integração é mais amigável, mas os custos de implementação são um pouco mais altos.

Lista de funções

• Interface da Web simples e intuitiva
• Geração de texto em tempo real
• Parâmetros ajustáveis (temperatura, número máximo de tokens)
• Funções de gerenciamento de modelos
• Suporte a vários modelos Ollama
• Configuração personalizada do URL do servidor

Usando a Ajuda

Etapas de instalação

1. Armazém de Clonagem:

   git clone https://github.com/smaranjitghose/HiOllama.git
   cd HiOllama
   

2. Criar e ativar um ambiente virtual:
   • Windows.

     python -m venv env
     .\env\Scripts\activate
     

   • Linux/Mac.

     python3 -m venv env
     source env/bin/activate
     

3. Instale os pacotes necessários:

   pip install -r requirements.txt
   

4. Instale o Ollama (se ainda não estiver instalado):
   • Linux/Mac.

     curl -fsSL https://ollama.ai/install.sh | sh
     

   • Windows.
     Instale o WSL2 primeiro e, em seguida, execute o comando acima.

Etapas de uso

1. Inicie o serviço Ollama:

   ollama serve
   

2. Execute o HiOllama:

   python main.py
   

3. Abra seu navegador e navegue até:

   http://localhost:7860
   

Guia de início rápido

1. Selecione um modelo no menu suspenso.
2. Digite o prompt na área de texto.
3. Ajuste a temperatura e o número máximo de tokens conforme necessário.
4. Clique em "Generate" (Gerar) para obter a resposta.
5. Use a opção Model Management para obter novos modelos.

configurar

As configurações padrão podem ser definidas nomain.pyModificado em:

DEFAULT_OLLAMA_URL = "http://localhost:11434"
DEFAULT_MODEL_NAME = "llama3"

problemas comuns

• erro de conexãoVerifique se o Ollama está em execução (ollama serve), verifique se o URL do servidor está correto e se a porta 11434 está acessível.
• Modelo não encontradoPuxe o modelo primeiro:ollama pull model_nameVerifique os modelos disponíveis:ollama list.
• conflito portuário: emmain.pyAltere a porta na seção

  app.launch(server_port=7860)  # 更改为其他端口