标签：本地部署开源大模型工具

综合介绍 Petals 是一个由 BigScience Workshop 开发的开源项目，旨在通过分布式计算的方式运行大型语言模型（LLMs）。用户可以在家中使用消费级 GPU 或 Google Colab 运行和微调 LLMs，如 Llama 3.1、Mixtral、F...

综合介绍 llama.cpp是一个用纯C/C++实现的库，旨在简化大语言模型（LLM）的推理过程。它支持多种硬件平台，包括Apple Silicon、NVIDIA GPU和AMD GPU，并提供多种量化选项以提高推理速度和减少内存使用。该项目的...

综合介绍 Hyperspace是一个创新的生成式浏览器（aiOS），基于全球最大的对等AI网络，旨在为用户提供深度研究与分析的强大工具。通过集成多种AI模型和数据源，Hyperspace允许用户快速生成信息网，利用高质量的资源...

综合介绍 RWKV-Runner 是一个专为 RWKV 模型设计的管理和启动工具，旨在提供一个易于使用的RWKV管理和启动工具。它完全自动化、体积小巧，仅有8MB大小，同时提供与OpenAI API兼容的接口。 由 RWKV 开源社区成员 j...

综合介绍 AIStarter是一款旨在简化人工智能项目管理的免费平台，支持在Windows、Mac或Linux上轻松下载、安装及分享各类热门AI开源项目。它提供开箱即用、打包和分享功能，并拥有强大的社区支持。用户可以通过多种...

综合介绍 KoboldCpp 是一款易于使用的 AI 文本生成软件，适用于 GGML 和 GGUF 模型，灵感来源于原始的 KoboldAI。它是由 Concedo 提供的单个自包含的可分发版本，基于 llama.cpp 构建，并增加了灵活的 KoboldAI A...

GPT4All 综合介绍 GPT-4All 是由 Nomic 开发的一个开源项目，旨在让用户在本地设备上运行大型语言模型（LLMs）。该项目强调隐私保护，无需互联网连接即可使用，适用于个人和企业用户。GPT-4All 支持多种硬件，包...

Pinokio 综合介绍 Pinokio是一款创新的AI开源项目部署工具，让用户可以轻松地一键安装、运行以及编程式控制各种大模型相关应用程序。它支持跨多个平台，并提供一个社区脚本库，涵盖绝大多数热门AI开源项目，用户...