Motor Afrodita: un motor de inferencia LLM eficiente que admite múltiples formatos de cuantificación e inferencia distribuida.

Introducción general

Aphrodite Engine是PygmalionAI的官方后端引擎，旨在为PygmalionAI网站提供推理端点，并支持Hugging Face兼容模型的快速部署。该引擎利用vLLM的Paged Attention技术，实现了高效的K/V管理和连续批处理，显著提升了推理速度和内存利用率。Aphrodite Engine支持多种量化格式和分布式推理，适用于各种现代GPU和TPU设备。

Lista de funciones

• 连续批处理：高效处理多个请求，提升推理速度。
• Paged Attention：优化K/V管理，提升内存利用率。
• CUDA优化内核：提高推理性能。
• Apoyo cuantitativo：支持AQLM、AWQ、Bitsandbytes等多种量化格式。
• inferencia distribuida：支持8-bit KV缓存，适用于高上下文长度和高吞吐量需求。
• Compatibilidad con varios dispositivos：兼容NVIDIA、AMD、Intel GPU及Google TPU。
• Despliegue de Docker：提供Docker镜像，简化部署流程。
• API兼容：支持OpenAI兼容API，便于集成到现有系统。

Utilizar la ayuda

Proceso de instalación

1. Instalación de dependencias::
   • 确保系统安装了Python 3.8至3.12版本。
   • 对于Linux用户，建议使用以下命令安装依赖：

    sudo apt update && sudo apt install python3 python3-pip git wget curl bzip2 tar
   

   • 对于Windows用户，建议使用WSL2安装：

    wsl --install
   sudo apt update && sudo apt install python3 python3-pip git wget curl bzip2 tar
   

2. 安装Aphrodite Engine::
   • Utilice pip para instalar:

    pip install -U aphrodite-engine
   

3. modelo de cebado::
   • 运行以下命令启动模型： bash
aphrodite run meta-llama/Meta-Llama-3.1-8B-Instruct

   • 这将创建一个OpenAI兼容的API服务器，默认端口为2242。

使用Docker部署

1. 拉取Docker镜像::

   docker pull alpindale/aphrodite-openai:latest

2. 运行Docker容器::

   docker run --runtime nvidia --gpus all \
-v ~/.cache/huggingface:/root/.cache/huggingface \
-p 2242:2242 \
--ipc=host \
alpindale/aphrodite-openai:latest \
--model NousResearch/Meta-Llama-3.1-8B-Instruct \
--tensor-parallel-size 8 \
--api-keys "sk-empty"

Funciones principales

1. 连续批处理::
   • Aphrodite Engine通过连续批处理技术，可以同时处理多个请求，显著提升推理速度。用户只需在启动时指定批处理参数即可。
2. Paged Attention::
   • 该技术优化了K/V管理，提升了内存利用率。用户无需额外配置，系统会自动应用该优化。
3. Apoyo cuantitativo::
   • 支持多种量化格式，如AQLM、AWQ、Bitsandbytes等。用户可以在启动模型时指定所需的量化格式：

    aphrodite run --quant-format AQLM meta-llama/Meta-Llama-3.1-8B-Instruct
   

4. inferencia distribuida::
   • 支持8-bit KV缓存，适用于高上下文长度和高吞吐量需求。用户可以通过以下命令启动分布式推理：

    aphrodite run --tensor-parallel-size 8 meta-llama/Meta-Llama-3.1-8B-Instruct
   

5. Integración API::
   • Aphrodite Engine提供OpenAI兼容API，便于集成到现有系统。用户可以通过以下命令启动API服务器： bash
aphrodite run --api-keys "your-api-key" meta-llama/Meta-Llama-3.1-8B-Instruct