Implantação local de ferramentas de modelo grande de código aberto

Introdução geral O Exo é um projeto de código aberto desenvolvido para executar seu próprio cluster de IA usando dispositivos cotidianos (por exemplo, iPhone, iPad, Android, Mac, Linux etc.). Por meio do particionamento dinâmico de modelos e da descoberta automatizada de dispositivos, o Exo é capaz de unificar vários dispositivos em um único...

Ollama Descrição geral O ollama é uma estrutura leve para executar modelos de linguagem nativa, permitindo que os usuários criem e executem facilmente modelos de linguagem grandes. Ele oferece várias opções de início rápido e instalação, é compatível com o Docker e inclui um rico conjunto de bibliotecas para os usuários escolherem. É simples de usar...

Introdução geral O KoboldCpp é um software de geração de texto de IA fácil de usar para modelos GGML e GGUF, inspirado no KoboldAI original. É uma versão única e autônoma distribuível fornecida pela Concedo, baseada em...

Introdução geral O LocalAI é uma alternativa de IA local de código aberto projetada para fornecer interfaces de API compatíveis com o OpenAI, Claude e outros. Ele é compatível com a execução em hardware de nível de consumidor, não requer uma GPU e é capaz de gerar texto, áudio, vídeo, imagem e clonagem de fala para várias...

Introdução abrangente O vLLM é um mecanismo de serviço e raciocínio de alto rendimento e eficiente em termos de memória, projetado para Modelagem de Linguagem Grande (LLM). Originalmente desenvolvido pelo Sky Computing Lab da Universidade da Califórnia, em Berkeley, ele se tornou um mecanismo acadêmico e voltado para o setor...

Introdução geral llama.cpp é uma biblioteca implementada em C/C++ puro, projetada para simplificar o processo de inferência de modelos de linguagem grande (LLMs). Ela é compatível com uma ampla gama de plataformas de hardware, incluindo Apple Silicon, GPUs NVIDIA e GPUs AMD, e fornece uma variedade de...

Pinokio Introdução geral O Pinokio é uma ferramenta inovadora de implantação de projetos de código aberto de IA que permite aos usuários instalar, executar e controlar programaticamente uma ampla gama de aplicativos relacionados a grandes modelos com um único clique. Ele é compatível com várias plataformas e oferece uma biblioteca de scripts da comunidade que abrange os aplicativos de IA mais populares...

GPT4All Introdução geral O GPT-4All é um projeto de código aberto desenvolvido pela Nomic para permitir que os usuários executem modelos de idiomas grandes (LLMs) em dispositivos locais. O projeto enfatiza a proteção da privacidade e pode ser usado sem conexão com a Internet, sendo adequado tanto para usuários pessoais quanto para usuários corporativos...

Introdução geral O Hyperspace é um navegador generativo inovador (aiOS), baseado na maior rede de IA ponto a ponto do mundo, projetado para oferecer aos usuários ferramentas avançadas para pesquisa e análise profundas. Ao integrar vários modelos de IA e fontes de dados, o Hyperspace permite que os usuários gerem rapidamente...

Introdução geral O RWKV-Runner é uma ferramenta de gerenciamento e lançamento projetada especificamente para modelos RWKV, com o objetivo de fornecer uma ferramenta de gerenciamento e lançamento de RWKV fácil de usar. Ele é totalmente automatizado e pequeno, com apenas 8 MB, e oferece a API OpenAI...

Introdução geral O LiteLLM é um SDK Python e um servidor proxy desenvolvido pela BerriAI para simplificar e unificar a invocação e o gerenciamento de várias APIs de modelo de linguagem grande (LLM). Ele é compatível com mais de 100 APIs de modelos grandes, incluindo OpenAI...

Introdução geral O Petals é um projeto de código aberto desenvolvido pelo BigScience Workshop para executar modelos de linguagem grandes (LLMs) por meio de uma abordagem de computação distribuída. Os usuários podem executar LLMs em casa usando GPUs de nível de consumidor ou o Google Co...

Introdução abrangente O LightLLM é uma estrutura de serviço e inferência de modelo de linguagem grande (LLM) baseada em Python, conhecida por seu design leve, facilidade de extensão e desempenho eficiente. A estrutura aproveita uma variedade de implementações de código aberto bem conhecidas, incluindo o FasterTransfor...

Introdução geral O Aana SDK é uma estrutura de código aberto desenvolvida pela Mobius Labs, batizada com o nome da palavra malaiala ആന (elefante). Ele ajuda os desenvolvedores a implementar e gerenciar rapidamente modelos de IA multimodais, oferecendo suporte ao processamento de texto, imagens, áudio e vídeo e outros dados...

Introdução geral O Aphrodite Engine é o mecanismo de back-end oficial do PygmalionAI, projetado para fornecer um ponto de extremidade de inferência para sites do PygmalionAI e para dar suporte à rápida implementação de modelos compatíveis com o Hugging Face. O mecanismo utiliza o p...

Introdução geral O Harbor é um conjunto revolucionário de ferramentas LLM em contêineres, focado na simplificação da implantação e do gerenciamento de ambientes locais de desenvolvimento de IA. Ele permite que os desenvolvedores tenham uma interface de linha de comando (CLI) limpa e um aplicativo complementar para iniciar e gerenciar com um único clique, incluindo back-ends de LLM, interfaces de API, front-end...

Introdução geral Transformers.js é uma biblioteca JavaScript desenvolvida pela Hugging Face para permitir que os usuários executem modelos de aprendizado de máquina de última geração diretamente no navegador, sem suporte de servidor. A biblioteca funciona em conjunto com a Hugg...

Introdução abrangente O GLM-Edge é uma série de modelos de linguagem ampla e modelos de compreensão multimodal projetados para dispositivos finais da Universidade de Tsinghua (Smart Spectrum Light Language). Esses modelos incluem o GLM-Edge-1.5B-Chat, o GLM-Edge-4B-Chat, o GLM...

Introdução abrangente A Nexa AI é uma plataforma focada em soluções multimodais de IA executadas localmente. Ela oferece uma ampla variedade de modelos de IA, incluindo processamento de linguagem natural (NLP), visão computacional, reconhecimento e geração de fala (ASR e TTS), que podem ser usados em dispositivos locais...

Introdução geral O AIStarter é uma plataforma gratuita projetada para simplificar o gerenciamento de projetos de IA, oferecendo suporte a download, instalação e compartilhamento fáceis de todos os tipos de projetos populares de código aberto de IA no Windows, Mac ou Linux. Ele oferece recursos prontos para uso, de empacotamento e compartilhamento, e tem uma forte comunidade...

Introdução geral O AI Dev Gallery é um aplicativo de ferramentas de desenvolvimento de IA da Microsoft (atualmente em visualização pública) projetado para desenvolvedores do Windows. Ele fornece uma plataforma abrangente para ajudar os desenvolvedores a integrar facilmente os recursos de IA em seus...

Introdução geral O GaiaNet-AI/gaianet-node é um projeto de código aberto que permite aos usuários instalar rapidamente a pilha de software de nó padrão no Mac, Linux ou Windows WSL com um único comando. Os usuários podem inicializar os nós, personalizar as configurações, fazer download...

Introdução geral O llamafile é uma ferramenta do projeto Mozilla Builders criada para simplificar a implantação e a operação do Large Language Model (LLM). Ao combinar o llama.cpp com a Cosmopolitan Libc ...

Introdução geral O llm.pdf é um projeto de código aberto que permite aos usuários executar modelos de linguagem grandes (LLMs) diretamente em arquivos PDF. Desenvolvido por EvanZhouDev e hospedado no GitHub, esse projeto demonstra uma abordagem inovadora: por meio do Em...

Introdução geral Transformers.js é uma biblioteca JavaScript fornecida pela Hugging Face, projetada para executar modelos de aprendizado de máquina de última geração diretamente no navegador, sem suporte de servidor. A biblioteca funciona em conjunto com o Hugging Fa...

Introdução abrangente O Xorbits Inference (ou Xinference, para abreviar) é uma biblioteca avançada e versátil que se concentra no fornecimento de serviços e implementação distribuídos para modelos de linguagem, modelos de reconhecimento de fala e modelos multimodais. Com o Xorbits Inference...

Introdução abrangente O LitServe é um mecanismo de serviço de modelo de IA de código aberto da Lightning AI, desenvolvido com base na FastAPI, com foco na implantação rápida de serviços de inferência para modelos de IA de uso geral. Ele oferece suporte a modelos que variam de modelos de linguagem grande (LLMs),...

Introdução geral O BrowserAI é uma ferramenta de código aberto que permite aos usuários executar modelos de IA nativos diretamente no navegador. Ela foi desenvolvida pela equipe Cloud-Code-AI e oferece suporte a modelos de linguagem como Llama, DeepSeek, Kokoro...