EMO: Generación de vídeo de retrato de alta calidad basado en imágenes de retrato y audio de voz humana.

Introducción general

Yummy Portrait EMO es una herramienta de generación de vídeo dinámico de retratos de alta calidad proporcionada por Hundred Refine (Model Studio), una gran plataforma de servicios de modelos de AliCloud. La herramienta se basa en imágenes de retratos y archivos de audio de voz humana para generar vídeos dinámicos de retratos realistas. Joyful Portrait EMO contiene dos modelos independientes: "Joyful Portrait EMO-detect" y "Joyful Portrait EMO", que se utilizan para la detección de conformidad de imágenes de personajes y la generación de vídeo de personajes, respectivamente. Los usuarios pueden generar rápidamente vídeos de retratos de personajes de alta calidad que cumplan las especificaciones mediante sencillas llamadas a la API, lo que resulta adecuado para diversos escenarios de aplicación, como presentadores virtuales, personas digitales, etc.

Experiméntelo gratis en la aplicación Tongyi. La comercialización formal está disponible a través de llamadas API o autodespliegue en la plataforma Ali Bailian.

Lista de funciones

• Detección de conformidad de la imagen de caracteres: Utiliza el modelo "EMO-detect" para detectar si la imagen de entrada se ajusta a la especificación.
• Generación de vídeos de personajesEl modelo "EMO Portrait" permite generar un vídeo dinámico a partir de una imagen de retrato y un archivo de audio vocal.
• Varios estilos para elegir: Admite una amplia gama de intensidades de estilo de movimiento, como animado, moderado y tranquilo.
• Llamada API: Proporciona una interfaz API fácil de usar para que los desarrolladores la integren.
• despliegue autónomo: Admite la implantación independiente del modelo para requisitos de alta concurrencia.

Utilizar la ayuda

Instalación y configuración

1. Servicio abiertoEn primer lugar, debes abrir el servicio Joyful Portrait EMO en la plataforma AliCloud y obtener la clave API.
2. Obtener clave API: Inicia sesión en tu cuenta de AliCloud y entra en la plataforma de servicios de grandes modelos, Hundred Refine, para obtener la clave API.

Pasos de uso

1. Llamada al modelo de detección de imágenes::
   • El modelo "EMO-detect" se utiliza para detectar si la imagen de retrato de entrada se ajusta a la especificación.
   • Ejemplo de llamada a la API:

    import requests
   url = "https://api.aliyun.com/emo-detect"
   headers = {"Authorization": "Bearer YOUR_API_KEY"}
   data = {"image": "base64_encoded_image"}
   response = requests.post(url, headers=headers, json=data)
   print(response.json())
   

2. Llamada al modelo de generación de vídeo::
   • Utilizando el modelo "Yummy Portrait EMO", introduce las imágenes de retratos detectadas y los archivos de audio vocal para generar vídeo en movimiento.
   • Ejemplo de llamada a la API:

    import requests
   url = "https://api.aliyun.com/emo"
   headers = {"Authorization": "Bearer YOUR_API_KEY"}
   data = {
   "image": "base64_encoded_image",
   "audio": "base64_encoded_audio",
   "style_level": "active"
   }
   response = requests.post(url, headers=headers, json=data)
   print(response.json())
   

despliegue autónomo

1. Adquisición de recursosCompra recursos de instancia exclusivos en la plataforma AliCloud.
2. modelo de despliegue: Despliega los modelos "EMO-detect-deployment" y "EMO-deployment" respectivamente.
3. Invocar el modelo de despliegue::
   • Llama al modelo "EMO-detectar-desplegar" para la detección de imágenes.
   • Llama al modelo "EMO-despliegue" para la generación de vídeo.

Tarifas y restricciones de flujos

advertencia

• Tarifas y restricciones de flujos: El pago se basa en el uso, consulte la documentación oficial de AliCloud para conocer las tarifas específicas.
• límite de concurrencia: Dependiendo de la unidad aritmética adquirida, se admiten diferentes números de tareas concurrentes.