Implantação local de ferramentas de modelo grande de código aberto

Total de 28 artigos
llm.pdf:在PDF文件中运行大型语言模型的实验项目

llm.pdf: projeto experimental para executar um modelo de linguagem em grande escala em um arquivo PDF

Introdução geral O llm.pdf é um projeto de código aberto que permite aos usuários executar modelos de linguagem grandes (LLMs) diretamente em arquivos PDF. Desenvolvido por EvanZhouDev e hospedado no GitHub, esse projeto demonstra uma abordagem inovadora: por meio do Em...
3 meses atrás
01K
Aana SDK:简易部署多模态AI模型的开源工具

Aana SDK: uma ferramenta de código aberto para facilitar a implantação de modelos de IA multimodais

Introdução geral O Aana SDK é uma estrutura de código aberto desenvolvida pela Mobius Labs, batizada com o nome da palavra malaiala ആന (elefante). Ele ajuda os desenvolvedores a implementar e gerenciar rapidamente modelos de IA multimodais, oferecendo suporte ao processamento de texto, imagens, áudio e vídeo e outros dados...
5 meses atrás
01.2K
LitServe:快速部署企业级通用AI模型推理服务

LitServe: implantação rápida de serviços de inferência de modelos de IA de uso geral de nível empresarial

Introdução abrangente O LitServe é um mecanismo de serviço de modelo de IA de código aberto da Lightning AI, desenvolvido com base na FastAPI, com foco na implantação rápida de serviços de inferência para modelos de IA de uso geral. Ele oferece suporte a modelos que variam de modelos de linguagem grande (LLMs),...
5 meses atrás
01.2K
Nexa:本地运行的小型多模态AI解决方案

Nexa: uma pequena solução de IA multimodal que é executada localmente

Introdução abrangente A Nexa AI é uma plataforma focada em soluções multimodais de IA executadas localmente. Ela oferece uma ampla variedade de modelos de IA, incluindo processamento de linguagem natural (NLP), visão computacional, reconhecimento e geração de fala (ASR e TTS), que podem ser usados em dispositivos locais...
6 meses atrás
01.7K
vLLM:高效内存利用的LLM推理和服务引擎

vLLM: um mecanismo de serviço e inferência LLM para utilização eficiente da memória

Introdução abrangente O vLLM é um mecanismo de serviço e raciocínio de alto rendimento e eficiente em termos de memória, projetado para Modelagem de Linguagem Grande (LLM). Originalmente desenvolvido pelo Sky Computing Lab da Universidade da Califórnia, em Berkeley, ele se tornou um mecanismo acadêmico e voltado para o setor...
6 meses atrás
02K
Harbor:一键部署本地LLM开发环境,轻松管理和运行AI服务的容器化工具集

Harbor: um conjunto de ferramentas em contêineres para implantar ambientes locais de desenvolvimento do LLM com um clique e gerenciar e executar facilmente os serviços de IA

Introdução geral O Harbor é um conjunto revolucionário de ferramentas LLM em contêineres, focado na simplificação da implantação e do gerenciamento de ambientes locais de desenvolvimento de IA. Ele permite que os desenvolvedores tenham uma interface de linha de comando (CLI) limpa e um aplicativo complementar para iniciar e gerenciar com um único clique, incluindo back-ends de LLM, interfaces de API, front-end...
7 meses atrás
01.8K
AI Dev Gallery:Windows本地AI模型开发工具集,端侧模型集成到Windows应用

Galeria de desenvolvimento de IA: Conjunto de ferramentas de desenvolvimento de modelos de IA nativos do Windows, integração de modelos do lado final em aplicativos do Windows

Introdução geral O AI Dev Gallery é um aplicativo de ferramentas de desenvolvimento de IA da Microsoft (atualmente em visualização pública) projetado para desenvolvedores do Windows. Ele fornece uma plataforma abrangente para ajudar os desenvolvedores a integrar facilmente os recursos de IA em seus...
7 meses atrás
01.6K
LightLLM:高效的轻量级大语言模型推理和服务框架

LightLLM: uma estrutura leve e eficiente para raciocinar e atender a grandes modelos de linguagem

Introdução abrangente O LightLLM é uma estrutura de serviço e inferência de modelo de linguagem grande (LLM) baseada em Python, conhecida por seu design leve, facilidade de extensão e desempenho eficiente. A estrutura aproveita uma variedade de implementações de código aberto bem conhecidas, incluindo o FasterTransfor...
6 meses atrás
01.8K
GLM Edge:智谱发布适用于手机、车机和PC平台的端侧大语言模型和多模态理解模型

GLM Edge: a Smart Spectrum lança modelos de linguagem de ponta e modelos de compreensão multimodal para plataformas móveis, automotivas e de PC

Introdução abrangente O GLM-Edge é uma série de modelos de linguagem ampla e modelos de compreensão multimodal projetados para dispositivos finais da Universidade de Tsinghua (Smart Spectrum Light Language). Esses modelos incluem o GLM-Edge-1.5B-Chat, o GLM-Edge-4B-Chat, o GLM...
8 meses atrás
01.9K
EXO:利用闲置家用设备运行分布式AI集群,支持多种推理引擎和自动设备发现。

EXO: execução de clusters de IA distribuídos usando dispositivos domésticos ociosos, com suporte a vários mecanismos de inferência e descoberta automatizada de dispositivos.

Introdução geral O Exo é um projeto de código aberto desenvolvido para executar seu próprio cluster de IA usando dispositivos cotidianos (por exemplo, iPhone, iPad, Android, Mac, Linux etc.). Por meio do particionamento dinâmico de modelos e da descoberta automatizada de dispositivos, o Exo é capaz de unificar vários dispositivos em um único...
8 meses atrás
02.8K
LocalAI:开源的本地AI部署方案,支持多种模型架构,WebUI统一管理模型和API

LocalAI: soluções de implementação de IA local de código aberto, suporte para várias arquiteturas de modelo, gerenciamento unificado de modelos e APIs na WebUI

Introdução geral O LocalAI é uma alternativa de IA local de código aberto projetada para fornecer interfaces de API compatíveis com o OpenAI, Claude e outros. Ele é compatível com a execução em hardware de nível de consumidor, não requer uma GPU e é capaz de gerar texto, áudio, vídeo, imagem e clonagem de fala para várias...
9 meses atrás
02.3K
Petals:分布式共享GPU运行和微调大语言模型,像BitTorrent网络一样共享GPU资源

Petals: execução distribuída de GPU compartilhada e ajuste fino de grandes modelos de linguagem, compartilhando recursos de GPU como uma rede BitTorrent

Introdução geral O Petals é um projeto de código aberto desenvolvido pelo BigScience Workshop para executar modelos de linguagem grandes (LLMs) por meio de uma abordagem de computação distribuída. Os usuários podem executar LLMs em casa usando GPUs de nível de consumidor ou o Google Co...
9 meses atrás
02.1K
Aphrodite Engine:高效的LLM推理引擎,支持多种量化格式和分布式推理。

Mecanismo Aphrodite: um mecanismo de inferência LLM eficiente que oferece suporte a vários formatos de quantificação e inferência distribuída.

Introdução geral O Aphrodite Engine é o mecanismo de back-end oficial do PygmalionAI, projetado para fornecer um ponto de extremidade de inferência para sites do PygmalionAI e para dar suporte à rápida implementação de modelos compatíveis com o Hugging Face. O mecanismo utiliza o p...
9 meses atrás
01.7K
llama.cpp:高效推理工具,支持多种硬件,轻松实现LLM推理

llama.cpp: ferramenta de inferência eficiente, compatível com vários hardwares, fácil de implementar a inferência LLM

Introdução geral llama.cpp é uma biblioteca implementada em C/C++ puro, projetada para simplificar o processo de inferência de modelos de linguagem grande (LLMs). Ela é compatível com uma ampla gama de plataformas de hardware, incluindo Apple Silicon, GPUs NVIDIA e GPUs AMD, e fornece uma variedade de...
6 meses atrás
02.1K
Hyperspace(aiOS):分布式AI算力共享网络,aiOS生成式浏览器,深度知识智能体

Hyperspace (aiOS): rede de compartilhamento de aritmética de IA distribuída, navegador generativo do aiOS, inteligências de conhecimento profundo

Introdução geral O Hyperspace é um navegador generativo inovador (aiOS), baseado na maior rede de IA ponto a ponto do mundo, projetado para oferecer aos usuários ferramentas avançadas para pesquisa e análise profundas. Ao integrar vários modelos de IA e fontes de dados, o Hyperspace permite que os usuários gerem rapidamente...
5 meses atrás
02.1K
LiteLLM:统一调用多种大模型API的Python SDK,多平台LLM调用与管理工具

LiteLLM: SDK Python para chamada unificada de várias APIs de Big Model, ferramenta de gerenciamento e chamada de LLM multiplataforma

Introdução geral O LiteLLM é um SDK Python e um servidor proxy desenvolvido pela BerriAI para simplificar e unificar a invocação e o gerenciamento de várias APIs de modelo de linguagem grande (LLM). Ele é compatível com mais de 100 APIs de modelos grandes, incluindo OpenAI...
6 meses atrás
02.1K
RWKV Runner:开源大型语言模型RWKV管理工具

RWKV Runner: ferramenta de gerenciamento do modelo de linguagem em larga escala de código aberto RWKV

Introdução geral O RWKV-Runner é uma ferramenta de gerenciamento e lançamento projetada especificamente para modelos RWKV, com o objetivo de fornecer uma ferramenta de gerenciamento e lançamento de RWKV fácil de usar. Ele é totalmente automatizado e pequeno, com apenas 8 MB, e oferece a API OpenAI...
9 meses atrás
02.1K
AIStarter:一键部署各类热门AI开源项目的管理软件

AIStarter: implantação com um clique de todos os tipos de software popular de gerenciamento de projetos de código aberto de IA

Introdução geral O AIStarter é uma plataforma gratuita projetada para simplificar o gerenciamento de projetos de IA, oferecendo suporte a download, instalação e compartilhamento fáceis de todos os tipos de projetos populares de código aberto de IA no Windows, Mac ou Linux. Ele oferece recursos prontos para uso, de empacotamento e compartilhamento, e tem uma forte comunidade...
9 meses atrás
11.7K
GPT4All:支持CPU运行的大型语言模型客户端,重视本地化与数据安全

GPT4All: um cliente de modelo de idioma grande executado em CPUs com foco em localização e segurança de dados

GPT4All Introdução geral O GPT-4All é um projeto de código aberto desenvolvido pela Nomic para permitir que os usuários executem modelos de idiomas grandes (LLMs) em dispositivos locais. O projeto enfatiza a proteção da privacidade e pode ser usado sem conexão com a Internet, sendo adequado tanto para usuários pessoais quanto para usuários corporativos...
4 meses atrás
02.1K
GaiaNet node:安装和运行自己的本地模型在线代理服务

Nó GaiaNet: instale e execute seu próprio serviço de proxy on-line de modelo local

Introdução geral O GaiaNet-AI/gaianet-node é um projeto de código aberto que permite aos usuários instalar rapidamente a pilha de software de nó padrão no Mac, Linux ou Windows WSL com um único comando. Os usuários podem inicializar os nós, personalizar as configurações, fazer download...
11 meses atrás
01.5K
Pinokio:一键本地部署各类AI开源项目,小白全自动部署

Pinokio: implantação local com um clique de todos os tipos de projetos de código aberto de IA, implantação totalmente automatizada de pessoas brancas

Pinokio Introdução geral O Pinokio é uma ferramenta inovadora de implantação de projetos de código aberto de IA que permite aos usuários instalar, executar e controlar programaticamente uma ampla gama de aplicativos relacionados a grandes modelos com um único clique. Ele é compatível com várias plataformas e oferece uma biblioteca de scripts da comunidade que abrange os aplicativos de IA mais populares...
12 meses atrás
02.3K
Ollama:本地一键部署开源大语言模型

Ollama: Implementação nativa de modelos de linguagem grande de código aberto com um clique

Ollama Descrição geral O ollama é uma estrutura leve para executar modelos de linguagem nativa, permitindo que os usuários criem e executem facilmente modelos de linguagem grandes. Ele oferece várias opções de início rápido e instalação, é compatível com o Docker e inclui um rico conjunto de bibliotecas para os usuários escolherem. É simples de usar...
6 meses atrás
03.2K