Avatarify Python: chamadas de vídeo com avatares em videoconferências

Introdução geral

O Avatarify Python é uma ferramenta de videoconferência de IA de código aberto baseada na tecnologia First Order Motion Model que mapeia as expressões faciais e os movimentos de um usuário para qualquer avatar em tempo real. Ela é compatível com vários softwares de videoconferência, como Zoom, Skype, Teams, etc., permitindo que os usuários façam chamadas de vídeo com avatares em vez de imagens reais da câmera. A ferramenta não só suporta o uso de avatares de celebridades predefinidos, mas também permite que os usuários adicionem avatares personalizados e até mesmo usem avatares de personagens virtuais gerados por IA. Uma webcam virtual é criada quando o sistema é executado e pode ser usada em qualquer aplicativo que ofereça suporte a uma fonte de entrada de vídeo personalizada.

Lista de funções

• Expressões faciais e movimentos em tempo real mapeados para avatares virtuais
• Suporta uma ampla variedade de avatares de celebridades predefinidos e avatares personalizados
• Integração de avatares de IA gerados pelo StyleGAN
• Oferece zoom na tela da câmera e função de ajuste de posição
• Suporte à sobreposição de visualização do avatar para reposicionamento
• Capacidade de alternar rapidamente entre diferentes avatares (teclas de atalho 1-9)
• Suporta visualização espelhada e tela de saída
• Oferece a função de exibição de pontos de características faciais para auxiliar no alinhamento
• Compatível com todos os principais softwares de videoconferência
• Opção de operação local ou aceleração remota da GPU

Usando a Ajuda

Requisitos do sistema

1. Requisitos básicos de configuração:
   • A placa de vídeo NVIDIA (desempenho recomendado) é necessária para a operação local:
     • GeForce GTX 1080 Ti: 33 fps
     • GeForce GTX 1070: 15 fps
     • GeForce GTX 950: 9 quadros/seg.
   • Se você não tiver uma placa de vídeo NVIDIA, essa é uma opção:
     • Execute remotamente com o Google Colab
     • Uso de um servidor remoto com uma GPU
     • Executa na CPU (desempenho inferior, <1 fps)

Etapas de instalação

1. Instalação do sistema Windows:
   • Instalação do Miniconda Python 3.8
   • Instalação do Git
   • Abra o prompt do Anaconda e execute-o:

     git clone https://github.com/alievk/avatarify-python.git
     cd avatarify-python
     scripts\install_windows.bat
     

   • Faça o download do arquivo de pesos do modelo no diretório avatarify-python.
   • Instalação do OBS Studio e do plug-in VirtualCam
2. Instalação do sistema Linux:

   git clone https://github.com/alievk/avatarify-python.git
   cd avatarify-python
   bash scripts/install.sh
   

3. Instalação do sistema Mac:
   • Instalação do Miniconda Python 3.7
   • Instalação do CamTwist
   • Execute o script de instalação:

     git clone https://github.com/alievk/avatarify-python.git
     cd avatarify-python
     bash scripts/install_mac.sh
     

Diretrizes para uso

1. Iniciar o procedimento:
   • Windows: Executarrun_windows.bat
   • Linux: Em execuçãobash run.sh
   • Mac: siga as instruções do Google Colab ou do servidor remoto
2. Controles operacionais:
   • Teclas numéricas de 1 a 9: alternam rapidamente entre os primeiros 9 avatares
   • Tecla Q: Ativar avatares aleatórios gerados por IA
   • Tecla 0: alternar entre mostrar/ocultar o avatar
   • Tecla A/D: alternar entre o avatar anterior e o próximo
   • Tecla W/S: Aumentar/reduzir o zoom da tela da câmera
   • Teclas U/H/J/K: para cima/esquerda/para baixo/direita para mover a tela da câmera
   • Tecla Z/C: Ajusta a transparência da sobreposição do avatar
   • Tecla X: redefine o quadro de referência
   • Tecla F: Alternar o modo de busca do quadro de referência
   • Tecla O: mostrar/ocultar pontos de características faciais
   • Tecla ESC: sair do programa
3. Dicas de direção para Avatar:
   • Mantenha a posição e as proporções do rosto no quadro da câmera o mais próximo possível do avatar de destino
   • Combine expressões usando a função de sobreposição de transparência (tecla Z/C) ou a exibição de pontos de características faciais (tecla O)
   • Você pode usar a tecla F para permitir que o software encontre automaticamente um quadro de referência melhor.
4. Usado em software de videoconferência:
   • Zoom: Configurações -> Vídeo -> Selecionar câmera virtual
   • Skype: Configurações -> Áudio e vídeo -> Selecionar câmera virtual
   • Equipes: Foto do perfil -> Configurações -> Dispositivos -> Selecionar câmera virtual
   • Slack: Faça uma chamada -> Permitir que o navegador use a câmera -> Configurações -> Selecionar câmera virtual