Aphrodite Engine: эффективный механизм вывода LLM, поддерживающий несколько форматов квантования и распределенный вывод.
Общее введение Aphrodite Engine - это официальный бэкэнд-движок для PygmalionAI, предназначенный для обеспечения конечной точки вывода для сайтов PygmalionAI и поддержки быстрого развертывания моделей, совместимых с Hugging Face. Движок использует p...