AI个人学习
和实操指南

GPT4All:支持CPU运行的大型语言模型客户端,重视本地化与数据安全

GPT4All 综合介绍

GPT-4All 是由 Nomic 开发的一个开源项目,旨在让用户在本地设备上运行大型语言模型(LLMs)。该项目强调隐私保护,无需互联网连接即可使用,适用于个人和企业用户。GPT-4All 支持多种硬件,包括 Mac M 系列芯片、AMD 和 NVIDIA GPU,用户可以在桌面和笔记本电脑上轻松运行。该项目还提供丰富的开源模型和社区支持,用户可以根据需求自定义聊天机器人体验。

 

GPT4All 是一个生态系统,用于运行功能强大且自定义的大型语言模型,这些模型可在消费级 CPU 和任何 GPU 上本地运行。请注意,您的 CPU 需要支持 AVX 或 AVX2 指令。

GPT4All模型是一个3GB - 8GB的文件,您可以下载并插入GPT4All开源生态系统软件中。Nomic AI支持并维护这个软件生态系统,以确保质量和安全,并带头努力让任何个人或企业轻松训练和部署他们自己的边缘大型语言模型。

它不需要GPU或互联网连接,能够在M1 Mac上实现实时推理延迟。

 

GPT4All:本地运行的私密智能语言模型-1

 

GPT4All:本地运行的私密智能语言模型-1

 

GPT4All:本地运行的私密智能语言模型-2

 

特色

您的聊天内容是私密的,永远不会离开您的设备
GPT4All 以隐私和安全为第一要务。使用 LLM 处理您的敏感本地数据,这些数据永远不会离开您的设备。

消费级硬件上运行语言模型
GPT4All 允许您在 CPU 和 GPU 上运行 LLM。它完全支持 Mac M 系列芯片、AMD 和 NVIDIA GPU。

与本地文件聊天
使用 LocalDocs 授予您当地的 LLM 访问您的私人敏感信息的权限。它无需互联网即可工作,并且不会有任何数据离开您的设备。

探索 1000 多种开源语言模型
GPT4All 支持 LLaMa、Mistral、Nous-Hermes 等数百种流行模型。

 

功能列表

  • 本地运行:无需互联网连接,在本地设备上运行 LLMs。
  • 隐私保护:所有数据均保存在本地,确保用户隐私。
  • 多硬件支持:兼容 Mac M 系列芯片、AMD 和 NVIDIA GPU。
  • 开源社区:丰富的开源模型和社区支持。
  • 自定义功能:用户可以自定义聊天机器人的系统提示、温度、上下文长度等参数。
  • 企业版:提供企业级支持和功能,适用于大规模部署。

 

使用帮助

安装流程

  1. 下载应用程序
    • 访问 Nomic 官方网站 下载适用于 Windows、macOS 或 Ubuntu 的安装包。
    • Windows 和 Linux 用户需确保设备配备 Intel Core i3 2nd Gen / AMD Bulldozer 或更高版本的处理器。
    • macOS 用户需运行 Monterey 12.6 或更新版本,最佳效果在 Apple Silicon M 系列处理器上。
  2. 安装应用程序
    • Windows 用户:运行下载的安装包并按照提示完成安装。
    • macOS 用户:将下载的应用程序拖动到“应用程序”文件夹中。
    • Ubuntu 用户:使用命令行安装下载的包文件。
  3. 启动应用程序
    • 安装完成后,打开 GPT-4All 应用程序,按照提示进行初始设置。

使用指南

  1. 运行本地模型
    • 打开应用程序后,选择所需的语言模型进行下载和加载。
    • 支持多种模型,包括 LLaMa、Mistral、Nous-Hermes 等。
  2. 自定义聊天机器人
    • 在设置中调整系统提示、温度、上下文长度等参数,以优化聊天体验。
    • 使用 LocalDocs 功能,允许本地 LLM 访问您的私人数据,无需互联网连接。
  3. 企业版功能
    • 企业用户可以联系 Nomic 获取企业版许可证,享受更多支持和功能。
    • 企业版适用于大规模部署,提供更高的安全性和支持。
  4. 社区支持
    • 加入 GPT-4All 社区,参与讨论和贡献代码。
    • 访问 GitHub仓库 获取最新的更新和文档。

常见问题

  • 如何确保数据隐私? GPT-4All 所有数据均保存在本地设备上,确保用户隐私不受侵犯。
  • 是否需要互联网连接? 不需要。GPT-4All 可以在本地设备上完全离线运行。
  • 支持哪些硬件? 支持 Mac M 系列芯片、AMD 和 NVIDIA GPU,以及常见的桌面和笔记本电脑。

 

GPT4All 模型基准测试

 

Model BoolQ PIQA HellaSwag WinoGrande ARC-e ARC-c OBQA Avg
GPT4All-J 6B v1.0 73.4 74.8 63.4 64.7 54.9 36 40.2 58.2
GPT4All-J v1.1-breezy 74 75.1 63.2 63.6 55.4 34.9 38.4 57.8
GPT4All-J v1.2-jazzy 74.8 74.9 63.6 63.8 56.6 35.3 41 58.6
GPT4All-J v1.3-groovy 73.6 74.3 63.8 63.5 57.7 35 38.8 58.1
GPT4All-J Lora 6B 68.6 75.8 66.2 63.5 56.4 35.7 40.2 58.1
GPT4All LLaMa Lora 7B 73.1 77.6 72.1 67.8 51.1 40.4 40.2 60.3
GPT4All 13B snoozy 83.3 79.2 75 71.3 60.9 44.2 43.4 65.3
GPT4All Falcon 77.6 79.8 74.9 70.1 67.9 43.4 42.6 65.2
Nous-Hermes 79.5 78.9 80 71.9 74.2 50.9 46.4 68.8
Nous-Hermes2 83.9 80.7 80.1 71.3 75.7 52.1 46.2 70.0
Nous-Puffin 81.5 80.7 80.4 72.5 77.6 50.7 45.6 69.9
Dolly 6B 68.8 77.3 67.6 63.9 62.9 38.7 41.2 60.1
Dolly 12B 56.7 75.4 71 62.2 64.6 38.5 40.4 58.4
Alpaca 7B 73.9 77.2 73.9 66.1 59.8 43.3 43.4 62.5
Alpaca Lora 7B 74.3 79.3 74 68.8 56.6 43.9 42.6 62.8
GPT-J 6.7B 65.4 76.2 66.2 64.1 62.2 36.6 38.2 58.4
LLama 7B 73.1 77.4 73 66.9 52.5 41.4 42.4 61.0
LLama 13B 68.5 79.1 76.2 70.1 60 44.6 42.2 63.0
Pythia 6.7B 63.5 76.3 64 61.1 61.3 35.2 37.2 56.9
Pythia 12B 67.7 76.6 67.3 63.8 63.9 34.8 38 58.9
Fastchat T5 81.5 64.6 46.3 61.8 49.3 33.3 39.4 53.7
Fastchat Vicuña 7B 76.6 77.2 70.7 67.3 53.5 41.2 40.8 61.0
Fastchat Vicuña 13B 81.5 76.8 73.3 66.7 57.4 42.7 43.6 63.1
StableVicuña RLHF 82.3 78.6 74.1 70.9 61 43.5 44.4 65.0
StableLM Tuned 62.5 71.2 53.6 54.8 52.4 31.1 33.4 51.3
StableLM Base 60.1 67.4 41.2 50.1 44.9 27 32 46.1
Koala 13B 76.5 77.9 72.6 68.8 54.3 41 42.8 62.0
Open Assistant Pythia 12B 67.9 78 68.1 65 64.2 40.4 43.2 61.0
Mosaic MPT7B 74.8 79.3 76.3 68.6 70 42.2 42.6 64.8
Mosaic mpt-instruct 74.3 80.4 77.2 67.8 72.2 44.6 43 65.6
Mosaic mpt-chat 77.1 78.2 74.5 67.5 69.4 43.3 44.2 64.9
Wizard 7B 78.4 77.2 69.9 66.5 56.8 40.5 42.6 61.7
Wizard 7B Uncensored 77.7 74.2 68 65.2 53.5 38.7 41.6 59.8
Wizard 13B Uncensored 78.4 75.5 72.1 69.5 57.5 40.4 44 62.5
GPT4-x-Vicuna-13b 81.3 75 75.2 65 58.7 43.9 43.6 63.2
Falcon 7b 73.6 80.7 76.3 67.3 71 43.3 44.4 65.2
Falcon 7b instruct 70.9 78.6 69.8 66.7 67.9 42.7 41.2 62.5
text-davinci-003 88.1 83.8 83.4 75.8 83.9 63.9 51 75.7
AI轻松学

普通人的AI入门指南

帮助你以低成本、零基础学会如何利用AI工具。AI就像办公软件一样,是每个人的必备技能。 掌握AI会让你在求职中占据优势,在未来的工作和学习中事半功倍。

查看详情>
未经允许不得转载:首席AI分享圈 » GPT4All:支持CPU运行的大型语言模型客户端,重视本地化与数据安全
分享到

首席AI分享圈

首席AI分享圈专注于人工智能学习,提供全面的AI学习内容、AI工具和实操指导。我们的目标是通过高质量的内容和实践经验分享,帮助用户掌握AI技术,一起挖掘AI的无限潜能。无论您是AI初学者还是资深专家,这里都是您获取知识、提升技能、实现创新的理想之地。

联系我们