PocketPal AI: uma pequena ferramenta de bate-papo com modelagem de linguagem para uso off-line em dispositivos iOS e Android

Introdução geral

O PocketPal AI é um aplicativo móvel de código aberto projetado para trazer Small Language Models (SLMs) diretamente para o seu telefone celular, tanto para usuários de iOS quanto de Android. Ele fornece uma experiência de bate-papo de IA independente da Web que garante a privacidade do usuário e oferece suporte ao gerenciamento automático de memória e a uma rica seleção de modelos. Desenvolvido por Asghar Ghorbani, esse aplicativo se integra à biblioteca de modelos Hugging Face, permitindo que os usuários façam download e usem uma ampla variedade de modelos diretamente pelo aplicativo para diferentes necessidades de bate-papo e solução de problemas.

Lista de funções

• Bate-papo off-line com IAIA pode ser usada para diálogo sem conexão com a Internet.
• Diversidade de modelosSuporte a uma variedade de modelos de idiomas pequenos, como Danube, Phi, Gemma 2, etc., que os usuários podem escolher e alternar de acordo com suas necessidades.
• Gerenciamento automático de memóriaO aplicativo descarrega automaticamente o modelo em segundo plano, economizando recursos do dispositivo.
• Integração do modelo de rosto de abraçoPesquisa, download e uso de modelos diretamente da biblioteca de modelos do Hugging Face.
• usuárioInterface de usuário: fornece uma interface simples e intuitiva para o gerenciamento de modelos e diálogos pelo usuário.
• PrivacidadeTodos os diálogos são processados localmente, garantindo que os dados não sejam transferidos para servidores externos.

Usando a Ajuda

Processo de instalação

O PocketPal AI é muito fácil de instalar:

Usuários do iOS.

1. Abra a App Store.
2. Digite "PocketPal AI" na barra de pesquisa.
3. Clique para fazer download e instalar o aplicativo.

Usuários do Android.

1. Abra a Google Play Store.
2. Pesquise por "PocketPal AI".
3. Clique em Install (Instalar).

Diretrizes para uso

Inicie o aplicativo.

• Ao abrir o aplicativo PocketPal AI, você verá uma página inicial simples, geralmente com um botão de menu (que pode aparecer como três linhas ou quatro pontos).

Selecionar e fazer download de modelos.

• Clique no menu para ir para a página "Models" (Modelos). Ela lista todos os modelos pré-instalados e os disponíveis para download no Hugging Face.
• Selecione o modelo de seu interesse e clique no botão "Download" para iniciar o download. Após o download, clique no botão "Load" (Carregar) para carregar o modelo na memória.

Início do diálogo.

• Selecione "Chat" no menu para entrar na tela de bate-papo.
• Digite sua pergunta ou diálogo na caixa de entrada de texto e clique em Send (Enviar). O modelo dará uma resposta com base no modelo carregado no momento.

Configurações avançadas do modelo.

• Na página "Models" (Modelos), clique no ícone de seta (v) ao lado do modelo e você verá uma série de configurações avançadas, como ajuste de temperatura, token BOS, etc., que otimizarão a saída do modelo.

Gerenciando a memória.

• O PocketPal AI gerencia automaticamente o uso da memória dos modelos. Se você ativar o recurso "Auto Offload/Load", o aplicativo descarregará os modelos de forma inteligente em segundo plano para economizar recursos.

Reproduzindo o diálogo.

• Manter pressionada qualquer parte do diálogo copia um parágrafo específico, enquanto clicar no ícone de cópia na parte inferior do balão de diálogo copia a resposta inteira.

Perguntas frequentes e soluções.

• Carregamento lento do modelo ou falhas no aplicativo: Primeiro, verifique se a API do Metal está ativada (somente iOS) e tente desativá-la se isso for um problema. Se o problema persistir, relate o problema no GitHub.
• Não é possível encontrar o modelo necessárioObservação: Você pode procurar mais modelos usando a função de pesquisa integrada no Hugging Face. Se ainda não conseguir encontrar um, você pode tentar fazer o download do modelo manualmente no formato GGUF e importá-lo com a opção "Add Local Model" (Adicionar modelo local).

A experiência de uso do PocketPal AI é altamente personalizada, você pode ajustar e usar modelos diferentes de acordo com suas necessidades e aproveitar os serviços de conversação instantânea e privada com AI. Durante o processo de uso do dispositivo, você pode encontrar alguns problemas menores, mas eles podem ser resolvidos com eficácia por meio do suporte da comunidade e das atualizações contínuas dos desenvolvedores. Se você precisa de um assistente de diálogo privado ou deseja usar a IA sem Internet, vale a pena experimentar o PocketPal AI como uma ferramenta de código aberto.

Download do instalador e modelo do PocketPal AI para Android

Quarks: https://pan.quark.cn/s/06f5cf4ece85 Código de extração: D8m2