llm.pdf:在PDF文件中运行大型语言模型的实验项目综合介绍 llm.pdf 是一个开源项目,允许用户在 PDF 文件中直接运行大型语言模型(LLM)。这个项目由 EvanZhouDev 开发,托管在 GitHub 上,展示了一种创新的方法:通过 Em...最新AI资源# AI开源项目# 本地部署开源大模型工具3个月前0997
Aana SDK:简易部署多模态AI模型的开源工具综合介绍 Aana SDK 是一个开源框架,由 Mobius Labs 开发,名字源于马拉雅拉姆语“ആന”(大象)。它帮助开发者快速部署和管理多模态 AI 模型,支持处理文本、图像、音频和视频等多种数...最新AI资源# AI开源项目# 本地部署开源大模型工具5个月前01.2K
BrowserAI:利用WebGPU在浏览器本地运行AI模型综合介绍 BrowserAI 是一个开源工具,让用户直接在浏览器中运行本地 AI 模型。它由 Cloud-Code-AI 团队开发,支持像 Llama、DeepSeek、Kokoro 这样的语言模型...最新AI资源# 本地部署开源大模型工具5个月前01.1K
LitServe:快速部署企业级通用AI模型推理服务综合介绍 LitServe 是 Lightning AI 推出的一款开源 AI 模型服务引擎,基于 FastAPI 构建,专注于快速部署通用 AI 模型的推理服务。它支持从大型语言模型(LLM)、视觉...最新AI资源# AI开源项目# 本地部署开源大模型工具5个月前01.1K
Nexa:本地运行的小型多模态AI解决方案综合介绍 Nexa AI 是一个专注于本地运行的多模态AI解决方案的平台。它提供了多种AI模型,包括自然语言处理(NLP)、计算机视觉、语音识别和生成(ASR和TTS)等,所有这些模型都可以在本地设备...最新AI资源# 本地部署开源大模型工具6个月前01.6K
vLLM:高效内存利用的LLM推理和服务引擎综合介绍 vLLM是一个高吞吐量和内存高效的推理和服务引擎,专为大语言模型(LLM)设计。该项目最初由加州大学伯克利分校的Sky Computing Lab开发,现已成为一个由学术界和工业界共同驱动的...最新AI资源# 本地部署开源大模型工具6个月前01.9K
Llama 3.2 Reasoning WebGPU:在浏览器中运行LLama-3.2综合介绍 Transformers.js 是 Hugging Face 提供的一个 JavaScript 库,旨在将最先进的机器学习模型直接在浏览器中运行,无需服务器支持。该库与 Hugging Fa...AI新闻# AI开源项目# 本地部署开源大模型工具7个月前01.5K
Harbor:一键部署本地LLM开发环境,轻松管理和运行AI服务的容器化工具集综合介绍 Harbor是一个革新性的容器化LLM工具集,专注于简化本地AI开发环境的部署和管理。它通过简洁的命令行界面(CLI)和配套应用程序,让开发者能够一键启动和管理包括LLM后端、API接口、前...最新AI资源# AI开源项目# 本地部署开源大模型工具7个月前01.6K
Xinference:轻松实现分布式AI模型部署和服务综合介绍 Xorbits Inference(简称Xinference)是一个强大且多功能的库,专注于为语言模型、语音识别模型和多模态模型提供分布式部署和服务。通过Xorbits Inference...AI新闻# 本地部署开源大模型工具6个月前01.1K
AI Dev Gallery:Windows本地AI模型开发工具集,端侧模型集成到Windows应用综合介绍 AI Dev Gallery是微软推出的一款专为Windows开发者设计的AI开发工具应用程序(目前处于公开预览版)。它提供了一个综合性平台,帮助开发者轻松地将AI功能集成到自己的Windo...最新AI资源# AI开源项目# 本地部署开源大模型工具7个月前01.6K
LightLLM:高效的轻量级大语言模型推理和服务框架综合介绍 LightLLM 是一个基于 Python 的大语言模型(LLM)推理和服务框架,以其轻量级设计、易于扩展和高效性能而著称。该框架利用了多种知名的开源实现,包括 FasterTransfor...最新AI资源# 本地部署开源大模型工具6个月前01.7K
Transformers.js:本地Web中运行近700个AI大模型综合介绍 Transformers.js 是由 Hugging Face 开发的一个 JavaScript 库,旨在让用户能够直接在浏览器中运行最先进的机器学习模型,而无需服务器支持。该库与 Hugg...最新AI资源# 本地部署开源大模型工具8个月前01.6K
GLM Edge:智谱发布适用于手机、车机和PC平台的端侧大语言模型和多模态理解模型综合介绍 GLM-Edge 是清华大学(智谱轻言)推出的一系列专为端侧设备设计的大语言模型和多模态理解模型。这些模型包括 GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat、GLM...最新AI资源# 本地部署开源大模型工具8个月前01.6K
EXO:利用闲置家用设备运行分布式AI集群,支持多种推理引擎和自动设备发现。综合介绍 Exo是一个开源项目,旨在利用日常设备(如iPhone、iPad、Android、Mac、Linux等)运行自己的AI集群。通过动态模型分区和自动设备发现,Exo能够将多个设备统一成一个强大...最新AI资源# AI开源项目# 本地部署开源大模型工具8个月前02.7K
LocalAI:开源的本地AI部署方案,支持多种模型架构,WebUI统一管理模型和API综合介绍 LocalAI 是一个开源的本地AI替代方案,旨在提供与OpenAI、Claude等兼容的API接口。它支持在消费级硬件上运行,不需要GPU,能够进行文本、音频、视频、图像生成和语音克隆等多...最新AI资源# 本地部署开源大模型工具9个月前02.3K
llamafile:使用单个文件分发和运行 LLMs,简化LLM部署,跨平台支持LLMs综合介绍 llamafile 是一个由 Mozilla Builders 项目推出的工具,旨在简化大语言模型(LLM)的部署和运行。通过将 llama.cpp 与 Cosmopolitan Libc ...最新AI资源# 本地部署开源大模型工具6个月前01.5K
Petals:分布式共享GPU运行和微调大语言模型,像BitTorrent网络一样共享GPU资源综合介绍 Petals 是一个由 BigScience Workshop 开发的开源项目,旨在通过分布式计算的方式运行大型语言模型(LLMs)。用户可以在家中使用消费级 GPU 或 Google Co...最新AI资源# 大模型微调# 本地部署开源大模型工具9个月前02K
Aphrodite Engine:高效的LLM推理引擎,支持多种量化格式和分布式推理。综合介绍 Aphrodite Engine是PygmalionAI的官方后端引擎,旨在为PygmalionAI网站提供推理端点,并支持Hugging Face兼容模型的快速部署。该引擎利用vLLM的P...最新AI资源# 本地部署开源大模型工具9个月前01.6K
llama.cpp:高效推理工具,支持多种硬件,轻松实现LLM推理综合介绍 llama.cpp是一个用纯C/C++实现的库,旨在简化大语言模型(LLM)的推理过程。它支持多种硬件平台,包括Apple Silicon、NVIDIA GPU和AMD GPU,并提供多种量...最新AI资源# 本地部署开源大模型工具6个月前02K
Hyperspace(aiOS):分布式AI算力共享网络,aiOS生成式浏览器,深度知识智能体综合介绍 Hyperspace是一个创新的生成式浏览器(aiOS),基于全球最大的对等AI网络,旨在为用户提供深度研究与分析的强大工具。通过集成多种AI模型和数据源,Hyperspace允许用户快速生...最新AI资源# AI开放服务# 智能体应用# 本地部署开源大模型工具5个月前02K
LiteLLM:统一调用多种大模型API的Python SDK,多平台LLM调用与管理工具 综合介绍 LiteLLM是一个由BerriAI开发的Python SDK和代理服务器,旨在简化和统一对多种大型语言模型(LLM)API的调用和管理。它支持超过100种大模型API,包括OpenAI...最新AI资源# 本地部署开源大模型工具6个月前02K
RWKV Runner:开源大型语言模型RWKV管理工具综合介绍 RWKV-Runner 是一个专为 RWKV 模型设计的管理和启动工具,旨在提供一个易于使用的RWKV管理和启动工具。它完全自动化、体积小巧,仅有8MB大小,同时提供与OpenAI API兼...最新AI资源# AI本地化聊天应用# 本地部署开源大模型工具9个月前02K
AIStarter:一键部署各类热门AI开源项目的管理软件综合介绍 AIStarter是一款旨在简化人工智能项目管理的免费平台,支持在Windows、Mac或Linux上轻松下载、安装及分享各类热门AI开源项目。它提供开箱即用、打包和分享功能,并拥有强大的社...最新AI资源# 本地部署开源大模型工具9个月前11.7K
KoboldCpp:参考KoboldAI轻松运行GGUF模型,带有 API和GUI综合介绍 KoboldCpp 是一款易于使用的 AI 文本生成软件,适用于 GGML 和 GGUF 模型,灵感来源于原始的 KoboldAI。它是由 Concedo 提供的单个自包含的可分发版本,基于...最新AI资源# 本地部署开源大模型工具9个月前03K
GPT4All:支持CPU运行的大型语言模型客户端,重视本地化与数据安全GPT4All 综合介绍 GPT-4All 是由 Nomic 开发的一个开源项目,旨在让用户在本地设备上运行大型语言模型(LLMs)。该项目强调隐私保护,无需互联网连接即可使用,适用于个人和企业用户...最新AI资源# 本地部署开源大模型工具4个月前02.1K
GaiaNet node:安装和运行自己的本地模型在线代理服务综合介绍 GaiaNet-AI/gaianet-node是一个开源项目,允许用户在Mac、Linux或Windows WSL上通过一条命令快速安装默认的节点软件栈。用户可以初始化节点,自定义配置,下载...最新AI资源# AI开源项目# 本地部署开源大模型工具11个月前01.5K
Pinokio:一键本地部署各类AI开源项目,小白全自动部署Pinokio 综合介绍 Pinokio是一款创新的AI开源项目部署工具,让用户可以轻松地一键安装、运行以及编程式控制各种大模型相关应用程序。它支持跨多个平台,并提供一个社区脚本库,涵盖绝大多数热门A...最新AI资源# AI自部署图像生成工具# 本地部署开源大模型工具12个月前02.2K
Ollama:本地一键部署开源大语言模型Ollama 综合介绍 ollama是一个轻量级的本地语言模型运行框架,让用户能够容易地搭建和运行大型语言模型。它提供多种快速开始和安装选项,支持Docker,包含了丰富的库供用户选择。它的使用方法简...最新AI资源# 本地部署开源大模型工具6个月前03.2K