Plataforma de criação de vídeos "Searchlight" do Dharma Institute Análise completa

Recebido hoje cedo"busca de luz"Uma notificação de que o aplicativo de teste interno foi aprovado e uma breve revisão publicada antes de dormir.

A plataforma está posicionada como a "plataforma de aplicativos de capacidade de tecnologia de visão" do Dharma Institute, e há menos aplicativos no momento (em comparação com o lançamento), e espera-se que mais aplicativos de visão sejam abertos gradualmente.

A busca por luz é dividida em dois endereços:

https://xunguang.damo-vision.com/ (IA de busca de luz)

https://damo-vision.com/ (parece uma plataforma para testar recursos menos maduros; coloque-a no final da explicação; aqui nós a chamamos de "teste de pequenos recursos do Seek Light AI")

IA de busca de luz

A lista de todos os recursos, uma tela simplesmente impossível de colocar, parece que ele quer aplicar todos os tipos de tecnologia de ponta para cobrir todos os tipos deeditor visualCena. Parece que o Seeking Light será o maior site de RunwayML .

Controle da boca

Vimos o efeito da sincronização da boca usando pessoas reais, imagens de anime, fotos e vídeos, quatro tipos de materiais, respectivamente.

Observação: É necessário o número total de pixels (comprimento*largura) da resolução do clipe de vídeo/imagem de teste atual (256*256 ~ 2048*2048).

Geralmente usando imagens de anime, pequenos loops de vídeo são gerados para obter melhores resultados:

Efeito do teste: (comprimido cerca de 3 vezes)

Use a imagem para gerá-la novamente:

Problemas com a iluminação dos rostos dos personagens de anime, iluminação facial não natural após a sincronização da boca.

Gere-o novamente usando imagens de ação ao vivo (sem tentar um vídeo de ação ao vivo, o resultado geral será um pouco melhor do que uma imagem de um único caractere):

Controle de expressão

Controle com precisão as expressões faciais das pessoas em uma imagem ou vídeo para gerar um vídeo que corresponda ao modelo de expressão.

Efeitos do teste:

controle de espelho

Efeitos do teste:

O movimento é um pouco grande, e você pode ver que os últimos quadros da imagem capturada estão mal renderizados:

Eliminação da meta

Eliminação de clipes em vídeo, oferecendo seleção, enquadramento e apagamento inteligentes. Aqui é feita uma tentativa de eliminar alvos estáticos, mas os alvos estáticos têm fundos um pouco mais complexos.

Você pode tentar eliminar elementos que estão se movendo dramaticamente por conta própria, como carros em alta velocidade, pedestres caminhando e objetos parados em espelhos.

efeito do teste

mudança de estilo

Sem colocar um vídeo, os resultados são um pouco piores, com uma tela piscando, então aqui está uma interceptação de uma imagem um pouco melhor.

Teste de mini-função de IA para busca de luz

Depois de fazer o login e acessar a página inicial, você só verá o curativo virtual e a edição da postura, e a função ainda é relativamente básica.

A função de geração 3D exibida na página inicial requer um aplicativo separado.

Avaliação do Virtual Dress Up

Primeiramente, vamos dar uma rápida olhada positiva em uma jovem que está usando menos. Aqui você pode ver as mãos corretamente exibidas no traje. No entanto, essa parte maior pode estar limitada pelo modelo e, em geral, está encolhida e não é manipulada de acordo com o formato original do corpo da personagem, e a cor da pele mudou.

Testado anteriormente com uma única peça de roupa longa e, em seguida, com um efeito de top e bottom curtos em tempo real:

Sei que algumas de vocês estão se perguntando se as calças compridas e plus vão enfiar a saia comprida dentro da calça? Recomendo que você não faça isso...

Editor de postura

Desta vez, usaremos um modelo profissional para ajustar a postura. Depois de carregar a foto do modelo, a primeira etapa é "obter o esqueleto".

Arrastar o nó do esqueleto e fazer com que o modelo aperte a cintura não funciona tão bem quanto deveria.

Continuo arrastando e soltando os ossos para tentar obter o efeito das mãos se espalhando, mas os ossos das mãos não são ajustáveis por meio de seu próprio empurrar e soltar.

Usando o modelo de pose de esqueleto, você pode ver aqui que o "esqueleto da mão" no modelo é alterado e a mão correta é gerada.

Ao usar um modelo de pose, você pode selecionar "Effect Upgrade" para melhorar significativamente a qualidade da imagem.

Antes da atualização do efeito: (10 selecionados aleatoriamente, escolhi deliberadamente um dos mais feios para facilitar a comparação)

O efeito é aprimorado: