EMO: gerar vídeo de retrato de alta qualidade com base em imagens de retrato e áudio de voz humana.

Introdução geral

O Yummy Portrait EMO é uma ferramenta de geração de vídeo dinâmico de retrato de alta qualidade fornecida pelo Hundred Refine (Model Studio), uma grande plataforma de serviços de modelo do AliCloud. A ferramenta é baseada em imagens de retratos e arquivos de áudio de voz humana para gerar vídeos dinâmicos de retratos realistas. O Joyful Portrait EMO contém dois modelos independentes: "Joyful Portrait EMO-detect" e "Joyful Portrait EMO", que são usados para detecção de conformidade de imagem de personagem e geração de vídeo de personagem, respectivamente. Os usuários podem gerar rapidamente vídeos de retratos de personagens de alta qualidade que estejam em conformidade com as especificações por meio de chamadas de API simples, que são adequadas para vários cenários de aplicação, como âncoras virtuais, pessoas digitais e assim por diante.

Experimente-o gratuitamente no aplicativo Tongyi. A comercialização formal está disponível por meio de chamadas de API ou implantação própria na plataforma Ali Bailian.

Lista de funções

• Detecção de conformidade da imagem do caractereDetecção de EMO: use o modelo "EMO-detect" para detectar se a imagem de entrada está em conformidade com a especificação.
• Geração de vídeos de personagensVídeo dinâmico: Usando o modelo "EMO Portrait", um vídeo dinâmico é gerado com base em uma imagem de retrato e um arquivo de áudio vocal.
• Vários estilos para escolherSuporte a uma ampla gama de intensidades de estilo de movimento, como animado, moderado e calmo.
• Chamada de APIAPI: fornece uma interface de API fácil de usar para que os desenvolvedores façam a integração.
• implantação autônomaSuporte à implementação independente de modelo para requisitos de alta simultaneidade.

Usando a Ajuda

Instalação e configuração

1. Serviço aberto: Em primeiro lugar, você precisa abrir o serviço EMO Joyful Portrait na plataforma AliCloud e obter a API Key.
2. Obter chave de APIFaça login na sua conta do AliCloud e entre na plataforma de serviço de modelo grande, Hundred Refine, para obter a chave de API.

Etapas de uso

1. Chamada do modelo de detecção de imagem::
   • O modelo "EMO-detect" é usado para detectar se a imagem de retrato de entrada está em conformidade com a especificação.
   • Exemplo de chamada de API:

    import requests
   url = "https://api.aliyun.com/emo-detect"
   headers = {"Authorization": "Bearer YOUR_API_KEY"}
   data = {"image": "base64_encoded_image"}
   response = requests.post(url, headers=headers, json=data)
   print(response.json())
   

2. Chamada do modelo de geração de vídeo::
   • Usando o modelo "Yummy Portrait EMO", insira as imagens de retrato detectadas e os arquivos de áudio vocal para gerar vídeos em movimento.
   • Exemplo de chamada de API:

    import requests
   url = "https://api.aliyun.com/emo"
   headers = {"Authorization": "Bearer YOUR_API_KEY"}
   data = {
   "image": "base64_encoded_image",
   "audio": "base64_encoded_audio",
   "style_level": "active"
   }
   response = requests.post(url, headers=headers, json=data)
   print(response.json())
   

implantação autônoma

1. Compra de recursosCompra de recursos de instância exclusivos na plataforma AliCloud.
2. modelo de implantaçãoImplementar os modelos "EMO-detect-deployment" e "EMO-deployment", respectivamente.
3. Invocar o modelo de implantação::
   • Chame o modelo "EMO-detect-deployment" para a detecção de imagens.
   • Chame o modelo de "implantação de EMO" para geração de vídeo.

Tarifas e restrições de fluxo

advertência

• Tarifas e restrições de fluxo: O pagamento é baseado no uso. Consulte a documentação oficial do AliCloud para obter tarifas específicas.
• limite de simultaneidadeDependendo da unidade aritmética adquirida, há suporte para diferentes números de tarefas simultâneas.