RWKV Runner: herramienta de código abierto para la gestión de modelos lingüísticos a gran escala RWKV

Introducción general

RWKV-Runner es una herramienta de gestión y lanzamiento diseñada específicamente para modelos RWKV, con el objetivo de proporcionar una herramienta de gestión y lanzamiento de RWKV fácil de usar. Está totalmente automatizada y es compacta, con un tamaño de solo 8 MB, al tiempo que proporciona una interfaz compatible con la API OpenAI.

Desarrollado por josStorer, miembro de la comunidad de código abierto RWKV. La herramienta está diseñada para eliminar las barreras que dificultan el uso de modelos lingüísticos de gran tamaño y ofrecer una solución totalmente automatizada. rWKV-Runner tiene un tamaño reducido, ya que solo requiere unos pocos MB, y proporciona una interfaz compatible con la API OpenAI, lo que hace posible que todos los... ChatGPT Los clientes están disponibles como clientes RWKV.RWKV es un modelo de lenguaje de gran tamaño con un rendimiento comparable a GPT, admite la formación directa como GPT Transformer, y es totalmente de código abierto y está disponible comercialmente.

Lista de funciones

• Gestión totalmente automatizada: Gestiona automáticamente la puesta en marcha y la gestión de los modelos RWKV sin necesidad de configuración manual por parte del usuario.
• clase de peso ligero (en atletismo)El tamaño del programa es de unos pocos MB, lo que lo hace adecuado para una amplia gama de dispositivos.
• Compatible con la API OpenAI: Proporciona una interfaz compatible con la API OpenAI para facilitar la integración en los sistemas existentes.
• Soporte multilingüeSe admiten los idiomas chino simplificado, inglés y japonés.
• Soporte multiplataformaCompatible con sistemas Windows, MacOS y Linux.
• Aceleración CUDA personalizadaCompatible con aceleración CUDA personalizada del núcleo para mejorar el rendimiento y reducir el uso de memoria.
• Despliegue del servidor: Soporta el despliegue de backend-python en el servidor, y los clientes pueden utilizarlo simplemente conectándose al servidor.

Utilizar la ayuda

Visite el repositorio GitHub para obtener instrucciones de instalación
Vea el vídeo tutorial de instalación para obtener instrucciones prácticas
Consulta la documentación en la web oficial de RWKV

página de inicio

Interfaz de chat

Finalización de la interfaz de continuación

Pantalla de composición

Interfaz de configuración

Interfaz de gestión de modelos

Ajuste de la interfaz

Proceso de instalación

1. Descargar RWKV-Runner::
   • entrevistas Repositorios de GitHub Descarga la última versión de RWKV-Runner.
   • Seleccione el paquete de instalación correspondiente según el sistema operativo (Windows, MacOS, Linux).
2. Instalar RWKV-Runner::
   • Usuarios de Windows: Descomprima el archivo ZIP descargado, ejecute el programa RWKV-Runner.exe.
   • Usuarios de MacOS: Descomprima el archivo ZIP descargado, ejecute el programa RWKV-Runner.app.
   • Usuarios de Linux: Descomprimir el archivo TAR descargado, ejecutar el programa ./RWKV-Runner.
3. Configuración del RWKV-Runner::
   • Abra RWKV-Runner y vaya a la página de Configuración.
   • Si necesita conectarse al servidor, introduzca la dirección del servidor para API URL Medio.

Proceso de utilización

1. Inicio de RWKV-Runner::
   • Haga doble clic para ejecutar el programa y espere a que se complete la carga.
   • El programa detecta y carga automáticamente el modelo RWKV.
2. Uso de la interfaz API de OpenAI::
   • Busque la sección Configuración de la API en la página Configuración.
   • Rellena los parámetros relevantes de la API OpenAI en la posición correspondiente y guarda la configuración.
3. Aceleración CUDA personalizada::
   • Vaya a la página de configuración y busque la opción de aceleración CUDA.
   • Activa o desactiva la aceleración personalizada del kernel CUDA según sea necesario.
4. Tareas en curso::
   • Seleccione en la pantalla principal el tipo de tarea que desea ejecutar (por ejemplo, chatear, escribir, redactar, etc.).
   • Ajuste los parámetros API (por ejemplo, Temperatura, Top_P, etc.) en función de los requisitos de la tarea.
   • Haga clic en el botón Iniciar y espere a que se complete la tarea.
5. Despliegue del servidor::
   • Descargue e instale backend-python en su servidor.
   • Configure la dirección del servidor y los parámetros relacionados.
   • Introduzca la dirección del servidor en la configuración del cliente para conectarse al servidor.

problemas comunes

• No se puede iniciar el programa.Compruebe que ha descargado el paquete de instalación correcto para garantizar la compatibilidad del sistema.
• Excepción de aceleración CUDAPrueba a desactivar la aceleración CUDA personalizada del kernel o a actualizar el controlador de la GPU.
• Error en la solicitud APICompruebe que la API está configurada correctamente y que la conexión de red funciona.

RWKV Escritura Automática de Novelas Edición Especial (25G)

Un verdadero modelo dedicado a la escritura de novelas con rondas múltiples totalmente automatizadas de novelas continuas.

Enlace: https://pan.quark.cn/s/f078738521d5
Código del extracto: 42Us