Petals：分布式共享GPU推理运行大型语言模型，像BitTorrent网络一样共享GPU资源
综合介绍 Petals 是一个由 BigScience Workshop 开发的开源项目，旨在通过分布式计算的方式运行大型语言模型（LLMs）。用户可以在家中使用消费级 GPU 或 Google Colab 运行和微调 LLMs，如 Llama 3.1、Mixtral、F...
Aphrodite Engine：高效的LLM推理引擎，支持多种量化格式和分布式推理。
综合介绍 Aphrodite Engine是PygmalionAI的官方后端引擎，旨在为PygmalionAI网站提供推理端点，并支持Hugging Face兼容模型的快速部署。该引擎利用vLLM的Paged Attention技术，实现了高效的K/V管理和连续批处理，...
GizAI 集成主流商业化生成式AI工具，不限文本、图像、音频、视频生成工具，这一切完全免费！
GizAI 是一个集成了AI生成、笔记和云存储功能的一站式平台。用户可以通过GizAI生成图像、视频、音频、文本、角色、故事和游戏，并且可以在平台上进行协作笔记和云存储。GizAI 提供了多种AI工具，帮助用户提高生产力和创造力，同时保护用户隐私，不会在未经同意的情况下使用用户数据进行AI训练。 GizAI 由 Giz Inc. 运营，成立于 Stripe Atlas，并获得 Google for Startups Cloud、Microsoft for Startups Founders Hub、AWS Activate 和 Paddle AI LaunchPad 等项目的支持。GizAI 坚信 使用先进的 生成式AI技术 是每个人的权力，提供免费的广告支持计划，允许用户生成、协作和分享内容。
Text generation web UI：基于 Gradio 大语言模型聊天界面，支持多种后端服务
综合介绍 Text generation web UI 是一个基于 Gradio 的网页用户界面，专为大语言模型（LLM）设计。它支持多种文本生成后端，包括 Transformers、llama.cpp 和 ExLlamaV2 等。用户可以通过简单的安装步骤，快速部...
llama.cpp：高效推理工具，支持多种硬件，轻松实现LLM推理
综合介绍 llama.cpp是一个用纯C/C++实现的库，旨在简化大语言模型（LLM）的推理过程。它支持多种硬件平台，包括Apple Silicon、NVIDIA GPU和AMD GPU，并提供多种量化选项以提高推理速度和减少内存使用。该项目的...
Jan：开源离线AI助手，ChatGPT 替代品，运行本地AI模型或连接云端AI
综合介绍 Jan 是一个开源的 ChatGPT 替代品，能够在用户的设备上 100% 离线运行。它由 Cortex 引擎驱动，支持多种硬件平台，包括 NVIDIA GPU 和 Apple M 系列芯片。Jan 提供了丰富的模型库，用户可以下载并运行如...
AyeSoul：简约的AI实时搜索引擎，会思考并调用50+工具协助完成各项任务
综合介绍 AyeSoul 是一个统一的 AI 搜索、回答和任务引擎，旨在通过一个简单的界面帮助用户完成各种日常任务。无论是网页搜索、深度研究、头脑风暴、创意写作、内容创作还是编程，AyeSoul 都能提供智能化的支持，...
Komo：快速搜索信息生成结构化答案，探索更多搜索结果
综合介绍 Komo 是一个由人工智能驱动的搜索引擎，旨在提供快速、私密且无广告的搜索体验。用户可以通过Komo 进行深度探索、获取即时答案以及讨论各种话题。其主要功能包括搜索、探索和聊天，帮助用户高效地找到所...
Morphic：AI驱动的开源搜索引擎，提供智能问答、视频搜索、生成UI代码
综合介绍 Morphic是一个基于AI技术的搜索引擎，采用生成式用户界面，旨在提供智能问答和高效搜索体验。用户可以通过Morphic进行多种搜索，包括文本、视频等，并能保存搜索历史，分享搜索结果。Morphic支持多种AI...
Hyperspace（aiOS）：分布式AI算力共享网络，aiOS生成式浏览器，深度知识智能体
综合介绍 Hyperspace是一个创新的生成式浏览器（aiOS），基于全球最大的对等AI网络，旨在为用户提供深度研究与分析的强大工具。通过集成多种AI模型和数据源，Hyperspace允许用户快速生成信息网，利用高质量的资源...
GroundX：构建基于真实、无幻觉数据的 RAG（检索增强） API
综合介绍 GroundX是一款专为构建基于真实数据的LLM（大语言模型）应用而设计的全栈解决方案，专为构建RAG应用的全套服务。它通过动态分块和上下文生成，解决了传统向量数据库在处理复杂文档时产生的幻觉问题，帮...