Avatarify Python: Videollamadas con avatares en videoconferencia

Introducción general

Avatarify Python es una herramienta de videoconferencia de IA de código abierto basada en la tecnología First Order Motion Model que mapea las expresiones faciales y los movimientos de un usuario a cualquier avatar en tiempo real. Es compatible con varios programas de videoconferencia, como Zoom, Skype, Teams, etc., lo que permite a los usuarios realizar videollamadas con avatares en lugar de con imágenes de cámaras reales. La herramienta no sólo admite el uso de avatares de famosos preestablecidos, sino que también permite a los usuarios añadir avatares personalizados e incluso utilizar avatares de personajes virtuales generados por IA. Cuando se ejecuta el sistema, se crea una cámara web virtual que puede utilizarse en cualquier aplicación que admita una fuente de entrada de vídeo personalizada.

Lista de funciones

• Expresiones y movimientos faciales en tiempo real para avatares virtuales
• Admite una amplia gama de avatares de famosos preestablecidos y avatares personalizados
• Integración de los avatares AI generados por StyleGAN
• Proporciona zoom en la pantalla de la cámara y función de ajuste de posición
• Superposición de la vista previa del avatar para reposicionarlo
• Posibilidad de cambiar rápidamente entre distintos avatares (teclas de acceso directo 1-9).
• Compatible con vista previa y pantalla de salida reflejadas
• Proporciona la función de visualización de puntos de rasgos faciales para ayudar a la alineación.
• Compatible con los principales programas de videoconferencia
• Opción de funcionamiento local o aceleración remota de la GPU

Utilizar la ayuda

requisitos del sistema

1. Requisitos básicos de configuración:
   • Se requiere una tarjeta gráfica NVIDIA (rendimiento recomendado) para el funcionamiento local:
     • GeForce GTX 1080 Ti: 33 fps
     • GeForce GTX 1070: 15 fps
     • GeForce GTX 950: 9 imágenes por segundo.
   • Si no tienes una tarjeta gráfica NVIDIA, es una opción:
     • Ejecutar a distancia con Google Colab
     • Uso de un servidor remoto con una GPU
     • Funciona con CPU (menor rendimiento, <1fps)

Pasos de la instalación

1. Instalación del sistema Windows:
   • Instalación de Miniconda Python 3.8
   • Instalación de Git
   • Abre el Prompt de Anaconda y ejecútalo:

     git clone https://github.com/alievk/avatarify-python.git
     cd avatarify-python
     scripts\install_windows.bat
     

   • Descarga el archivo de pesos del modelo en el directorio avatarify-python.
   • Instalación de OBS Studio y VirtualCam Plugin
2. Instalación del sistema Linux:

   git clone https://github.com/alievk/avatarify-python.git
   cd avatarify-python
   bash scripts/install.sh
   

3. Instalación del sistema Mac:
   • Instalación de Miniconda Python 3.7
   • Instalación de CamTwist
   • Ejecute el script de instalación:

     git clone https://github.com/alievk/avatarify-python.git
     cd avatarify-python
     bash scripts/install_mac.sh
     

Normas de uso

1. Inicie el procedimiento:
   • Windows: Ejecutarrun_windows.bat
   • Linux: En funcionamientobash run.sh
   • Mac: Siga las instrucciones de Google Colab o Remote Server
2. Controles operativos:
   • Teclas numéricas 1-9: Cambia rápidamente entre los 9 primeros avatares.
   • Tecla Q: Activar avatares aleatorios generados por la IA
   • Tecla 0: Mostrar/ocultar avatar
   • Tecla A/D: cambiar avatar anterior/siguiente
   • Tecla W/S: Ampliar/reducir la pantalla de la cámara
   • Teclas U/H/J/K: arriba/izquierda/abajo/derecha para mover la pantalla de la cámara
   • Tecla Z/C: Ajustar la transparencia de la superposición del avatar
   • Tecla X: restablecer el marco de referencia
   • Tecla F: Cambiar el modo de búsqueda del marco de referencia
   • Tecla O: mostrar/ocultar puntos de rasgos faciales
   • Tecla ESC: salir del programa
3. Consejos de conducción Avatar:
   • Mantener la posición y las proporciones de la cara en el encuadre de la cámara lo más cerca posible del avatar de destino.
   • Emparejar expresiones mediante la función de superposición de transparencias (tecla Z/C) o la visualización de puntos de rasgos faciales (tecla O)
   • Puede utilizar la tecla F para que el software encuentre automáticamente un marco de referencia mejor.
4. Se utiliza en los programas de videoconferencia:
   • Zoom: Configuración -> Vídeo -> Seleccionar cámara virtual
   • Skype: Configuración -> Audio y Video -> Seleccionar Cámara Virtual
   • Equipos: Imagen de perfil -> Configuración -> Dispositivos -> Seleccionar cámara virtual
   • Slack: Hacer una llamada -> Permitir que el navegador utilice la cámara -> Configuración -> Seleccionar cámara virtual