DeepSeek-R1 WebGPU: Execute o DeepSeek R1 1.5B localmente em seu navegador!

Introdução geral

DeepSeek-R1 O WebGPU é um modelo de inferência de IA de ponta fornecido pela webml-community na plataforma Hugging Face Spaces, que utiliza a tecnologia WebGPU para permitir que os usuários executem modelos complexos de IA diretamente no navegador. O modelo é baseado no DeepSeek-R1 e foi projetado para tarefas de inferência, fornecendo recursos de processamento de IA eficientes e localizados. Os usuários não precisam instalar software adicional, mas precisam apenas de suporte WebGPU em seu navegador para experimentar recursos avançados de IA, como raciocínio matemático, geração de código e resposta a perguntas, tornando-o ideal para educação, pesquisa e desenvolvedores.

Bem-estar:Implementando o modelo de código aberto DeepSeek-R1 on-line com potência de GPU gratuita(API)

Lista de funções

• Execução de modelos de IA no navegadorNão é necessário fazer download, apenas um navegador moderno.
• Suporte à aceleração de WebGPUUtilize GPUs para computação eficiente e desempenho aprimorado.
• Raciocínio de IA multitarefaInclui matemática, geração de código e tarefas complexas de compreensão de texto.
• Interface de bate-papo interativoOs usuários podem interagir com o modelo diretamente da interface.
• Não é necessário registroExperiência do usuário simplificada e pronta para uso.

Usando a Ajuda

Como usar a WebGPU DeepSeek-R1

Verificação e preparação de compatibilidade:
Primeiro, certifique-se de que seu navegador seja compatível com WebGPU. Atualmente, o Google Chrome (versão 88 e superior) é o navegador mais comumente usado que oferece suporte a WebGPU. Você pode confirmar isso visitando o recurso experimental do Chrome (chrome://flags/) e ativando o WebGPU.

Visite o site:

1. Abra seu navegador e navegue atéEspaços para abraçar o rosto.
2. Depois que a página é carregada, é apresentada uma interface de usuário limpa com uma caixa de entrada e uma área de saída.

Raciocínio com modelos:

• Insira uma pergunta ou tarefaProblema: Insira o problema ou a tarefa que você deseja que o modelo manipule na caixa de entrada. Pode ser um problema de matemática, geração de código de programação ou qualquer tarefa que exija raciocínio textual.
  • Exemplo de entrada:Cálculo do último dígito de um fatorial de 1000 talvez Escreva uma função Python para calcular a série de Fibonacci.
• Apresentação de mandatosClique no botão Send (Enviar) ou pressione Enter para enviar sua entrada. O modelo começará a processar sua solicitação, o que pode levar alguns segundos, dependendo da complexidade da tarefa.
• Exibir resultadosResultados: Os resultados são exibidos na área de saída. O modelo fornecerá etapas detalhadas ou resultados diretos, dependendo da natureza da tarefa.

Otimize a experiência:

• Ajuste dos parâmetros do modeloInterface do usuário: Embora a interface atual seja relativamente simples, no futuro ela poderá oferecer opções de ajuste de parâmetros, como temperatura (para controlar a aleatoriedade do texto gerado) ou o comprimento máximo da resposta.
• tente de novo e de novoSe não estiver satisfeito com os resultados, você pode ajustar as perguntas ou tentar formas diferentes de se expressar.

PERGUNTAS FREQUENTES:

• E se meu navegador não for compatível com WebGPU? - Recomenda-se atualizar seu navegador ou usar um navegador habilitado para WebGPU, como a versão mais recente do Chrome.
• A resposta do modelo é muito lenta? - Verifique se você tem uma boa conexão com a Internet e se as configurações de GPU do seu navegador não estão desativadas.

Advertências:

• Como o modelo é executado no navegador, a qualidade e a velocidade da saída podem ser afetadas pelo desempenho do dispositivo e pelas condições da rede.
• Observe que o uso de qualquer modelo de IA on-line está sujeito a seus termos de uso e política de privacidade.

Tutorial de implantação da WebGPU do DeepSeek-R1

DeepSeek O R1 WebGPU é um sistema baseado em Hugging Face Transformers.js O DeepSeek R1 WebGPU é um exemplo de modelo de aprendizagem profunda projetado para mostrar como executar com eficiência modelos de aprendizagem profunda no navegador. O projeto aproveita a tecnologia WebGPU para permitir uma inferência de modelo significativamente mais rápida, até 100 vezes mais rápida que o WASM. As WebGPUs DeepSeek R1 são usadas principalmente para tarefas de processamento de linguagem natural e suportam uma ampla gama de modelos pré-treinados que podem ser executados diretamente no navegador sem um servidor.

Primeiros passos
Siga as etapas abaixo para configurar e executar o aplicativo.

1. Clonagem de repositórios
   Clone o repositório de exemplo do GitHub:

git clone https://github.com/huggingface/transformers.js-examples.git

2. Vá para o diretório do projeto
   Altere o diretório de trabalho para a pasta deepseek-r1-webgpu:

cd transformers.js-examples/deepseek-r1-webgpu

3. Instalação de dependências
   Use o npm para instalar as dependências necessárias:

npm i

4. Executando o servidor de desenvolvimento
   Inicie o servidor de desenvolvimento:

npm run dev

Agora o aplicativo deve estar sendo executado localmente. Abra seu navegador e acesse http://localhost:5173 Faça uma visualização.