Total de 20 artigos

Tags: implementação local ferramentas de modelo grande de código aberto

Nexa: uma pequena solução de IA multimodal que é executada localmente

Introdução abrangente A Nexa AI é uma plataforma focada em soluções multimodais de IA executadas localmente. Ela oferece uma ampla variedade de modelos de IA, incluindo processamento de linguagem natural (NLP), visão computacional, reconhecimento e geração de fala (ASR e TTS), que podem ser executados localmente em dispositivos sem depender da nuvem...

2025-02-01Ferramentas de IA Implantação local de ferramentas de modelo grande de código aberto

Llama 3.2 Reasoning WebGPU: executando o Llama-3.2 em um navegador

Introdução geral Transformers.js é uma biblioteca JavaScript fornecida pela Hugging Face, projetada para executar modelos de aprendizado de máquina de última geração diretamente no navegador, sem suporte de servidor. A biblioteca é comparável à biblioteca de transformadores da Hugging Face para Python e oferece suporte a uma variedade de modelos...

2025-01-15Notícias sobre IA Projeto de código aberto de IA Implantação local de ferramentas de modelo grande de código aberto

Chat Doppelganger: Converse com todas as grandes janelas de diálogo oficial do modelo ao mesmo tempo em uma página da Web

O ChatHub é uma extensão de navegador projetada para se integrar a várias das principais plataformas de bate-papo com IA e oferecer suporte aos usuários para sincronizar bate-papos de várias plataformas na mesma interface. A ferramenta não requer uma chave de API, portanto, os usuários podem começar a usá-la rapidamente com uma instalação e configuração simples. O ChatHub oferece suporte a uma ampla variedade de plataformas de bate-papo nacionais e internacionais populares, modeladas por IA, e está constantemente expandindo seu suporte. Ele também oferece recursos como layout personalizado, compartilhamento de capturas de tela e troca de idiomas internacionalizados, facilitando a comparação e a referência entre diferentes plataformas para os usuários.

2025-02-13

Harbor: um conjunto de ferramentas em contêineres para implantar ambientes de desenvolvimento LLM locais e gerenciar e executar facilmente serviços de IA com um clique - Chief AI Sharing Circle

Harbor: um conjunto de ferramentas em contêineres para implantar ambientes locais de desenvolvimento do LLM com um clique e gerenciar e executar facilmente os serviços de IA

Introdução abrangente O Harbor é um conjunto revolucionário de ferramentas LLM em contêineres, focado na simplificação da implantação e do gerenciamento de ambientes locais de desenvolvimento de IA. Ele permite que os desenvolvedores iniciem e gerenciem todos os serviços de IA, incluindo back-ends de LLM, interfaces de API, interfaces de front-end etc., com um único clique por meio de uma interface de linha de comando (CLI) limpa e um aplicativo complementar...

2025-01-02Ferramentas de IA Projeto de código aberto de IA Implantação local de ferramentas de modelo grande de código aberto

Galeria de desenvolvimento de IA: Conjunto de ferramentas de desenvolvimento de modelo de IA nativo do Windows, integração de modelo do lado final em aplicativos do Windows - Chief AI Sharing Circle

Galeria de desenvolvimento de IA: Conjunto de ferramentas de desenvolvimento de modelos de IA nativos do Windows, integração de modelos do lado final em aplicativos do Windows

Introdução abrangente O AI Dev Gallery é um aplicativo de ferramentas de desenvolvimento de IA da Microsoft (atualmente em visualização pública) projetado para desenvolvedores do Windows. Ele fornece uma plataforma abrangente para ajudar os desenvolvedores a integrar facilmente os recursos de IA em seus aplicativos Windows. O recurso mais notável da ferramenta...

2024-12-30Ferramentas de IA Projeto de código aberto de IA Implantação local de ferramentas de modelo grande de código aberto

Transformers.js: quase 700 macromodelos de IA em execução na Web local

Introdução geral Transformers.js é uma biblioteca JavaScript desenvolvida pela Hugging Face para permitir que os usuários executem modelos de aprendizado de máquina de última geração diretamente no navegador sem suporte de servidor. A biblioteca é funcionalmente equivalente à biblioteca de transformadores da Hugging Face para Python...

2024-12-02Ferramentas de IA Implantação local de ferramentas de modelo grande de código aberto

GLM Edge: a Smart Spectrum lança modelos de linguagem de ponta e modelos de compreensão multimodal para plataformas móveis, de veículos e de PCs - Chief AI Sharing Circle

GLM Edge: a Smart Spectrum lança modelos de linguagem de ponta e modelos de compreensão multimodal para plataformas móveis, automotivas e de PC

Introdução abrangente O GLM-Edge é uma série de modelos de linguagem ampla e modelos de compreensão multimodal projetados para dispositivos finais da Universidade de Tsinghua (Smart Spectrum Light Language). Esses modelos incluem o GLM-Edge-1.5B-Chat, o GLM-Edge-4B-Chat, o GLM-Edge-V-2B e o GLM-Edge-V-5B, que são adequados para telefones celulares,...

2024-12-01Ferramentas de IA Implantação local de ferramentas de modelo grande de código aberto

EXO: execução de clusters de IA distribuídos usando dispositivos domésticos ociosos com suporte para vários mecanismos de inferência e descoberta automatizada de dispositivos. -Círculo de compartilhamento de IA principal

EXO: execução de clusters de IA distribuídos usando dispositivos domésticos ociosos, com suporte a vários mecanismos de inferência e descoberta automatizada de dispositivos.

Introdução geral O Exo é um projeto de código aberto que tem como objetivo executar seu próprio cluster de IA usando dispositivos cotidianos (por exemplo, iPhone, iPad, Android, Mac, Linux etc.). Por meio do particionamento dinâmico de modelos e da descoberta automatizada de dispositivos, o Exo é capaz de unificar vários dispositivos em uma única GPU avançada, com suporte a vários modelos, como LLaMA, Mis...

2024-11-28Ferramentas de IA Projeto de código aberto de IA Implantação local de ferramentas de modelo grande de código aberto

LocalAI: solução de implementação de IA local de código aberto, suporte para várias arquiteturas de modelo, gerenciamento unificado de modelos e APIs na WebUI - Chief AI Sharing Circle

LocalAI: soluções de implementação de IA local de código aberto, suporte para várias arquiteturas de modelo, gerenciamento unificado de modelos e APIs na WebUI

Introdução geral O LocalAI é uma alternativa de IA local de código aberto projetada para fornecer interfaces de API compatíveis com o OpenAI, Claude e outros. Ele suporta a execução em hardware de nível de consumidor, não requer uma GPU e é capaz de executar uma ampla variedade de tarefas, como texto, áudio, vídeo, geração de imagens e clonagem de fala.

2024-11-28Ferramentas de IA Implantação local de ferramentas de modelo grande de código aberto

llamafile: distribuir e executar LLMs usando um único arquivo, simplificar a implantação de LLMs, suporte multiplataforma para LLMs-Chief AI Sharing Circle

llamafile: distribuir e executar LLMs usando um único arquivo, simplificar a implementação de LLMs, suporte multiplataforma para LLMs

Introdução geral O llamafile é uma ferramenta do projeto Mozilla Builders criada para simplificar a implantação e a operação do Large Language Model (LLM). Ao combinar o llama.cpp com a Cosmopolitan Libc, o llamafile reduz o complexo processo de implantação do LLM a um único arquivo executável,...

2024-11-21Ferramentas de IA Implantação local de ferramentas de modelo grande de código aberto

Petals: execução de GPU compartilhada distribuída e ajuste fino de grandes modelos de linguagem, compartilhando recursos de GPU como uma rede BitTorrent - Chief AI Sharing Circle

Petals: execução distribuída de GPU compartilhada e ajuste fino de grandes modelos de linguagem, compartilhando recursos de GPU como uma rede BitTorrent

Introdução geral O Petals é um projeto de código aberto desenvolvido pelo BigScience Workshop para executar modelos de linguagem grandes (LLMs) por meio de uma abordagem de computação distribuída. Os usuários podem executar e ajustar os LLMs em casa usando GPUs de nível de consumidor ou o Google Colab, como Llama 3.1, Mixtral, F...

2024-11-20Ferramentas de IA Ajuste fino de modelos grandes Implantação local de ferramentas de modelo grande de código aberto

Mecanismo Aphrodite: um mecanismo de inferência LLM eficiente que oferece suporte a vários formatos de quantificação e inferência distribuída.

Introdução abrangente O Aphrodite Engine é o mecanismo de back-end oficial do PygmalionAI, projetado para fornecer um ponto de extremidade de inferência para sites do PygmalionAI e para dar suporte à rápida implementação de modelos compatíveis com o Hugging Face. O mecanismo aproveita a tecnologia Paged Attention do vLLM para gerenciamento eficiente de K/V e processamento contínuo de lotes,...

2024-11-20Ferramentas de IA Implantação local de ferramentas de modelo grande de código aberto

llama.cpp: ferramenta de inferência eficiente, compatível com vários hardwares, fácil de implementar inferência LLM - Chief AI Sharing Circle

llama.cpp: ferramenta de inferência eficiente, compatível com vários hardwares, fácil de implementar a inferência LLM

Introdução geral llama.cpp é uma biblioteca implementada em C/C++ puro, projetada para simplificar o processo de inferência de modelos de linguagem grande (LLMs). Ela é compatível com uma ampla gama de plataformas de hardware, incluindo Apple Silicon, GPUs NVIDIA e GPUs AMD, e oferece várias opções de quantização para melhorar a velocidade de inferência e reduzir o uso de memória. O projeto ...