VideoSeal: Ferramenta avançada de incorporação e extração de marca d'água oculta em vídeo de código aberto para proteger os direitos autorais de vídeo

Introdução geral

O VideoSeal é uma ferramenta de marca d'água de vídeo de código aberto desenvolvida pela Facebook Research, projetada para fornecer incorporação e extração eficientes de marcas d'água de vídeo. A ferramenta é compatível com os modelos de código aberto mais recentes, incluindo modelos pré-treinados, código de treinamento, código de inferência e ferramentas de avaliação, todos liberados sob a licença do MIT. O VideoSeal não é compatível apenas com marcas d'água em vídeo, mas também é adequado para marcas d'água em imagens, fornecendo uma variedade de modelos de referência (por exemplo, MBRS, CIN, TrustMark e WAM) para uso, modificação e distribuição. A ferramenta foi projetada com o objetivo de oferecer aos usuários uma solução de proteção de vídeo flexível e eficiente.

Experiência: https://aidemos.meta.com/videoseal/demo

Lista de funções

• Incorporação de marca d'água em vídeoMarca d'água: incorpore marcas d'água em vídeos para proteger seus direitos autorais.
• Extração de marca d'água de vídeoExtrair as informações da marca d'água incorporada do vídeo.
• Incorporação de marca d'água na imagemSuporte para incorporação de marcas d'água em imagens.
• Extração de marca d'água de imagemExtrair as informações da marca d'água incorporada da imagem.
• Modelo de pré-treinamentoModelos pré-treinados: Uma ampla gama de modelos pré-treinados é fornecida, podendo ser usada diretamente pelo usuário.
• Código de treinamentoCódigo de treinamento completo: O código de treinamento completo é fornecido para que os usuários possam treinar seus próprios modelos conforme necessário.
• Código de raciocínioCódigo de inferência: fornece código de inferência para facilitar as operações de incorporação e extração de marcas d'água.
• Ferramentas de avaliaçãoFornecer ferramentas de avaliação para ajudar os usuários a avaliar a eficácia da incorporação e extração de marcas d'água.

Usando a Ajuda

Processo de instalação

1. Instalação do PythonCertifique-se de que a versão 3.10 do Python esteja instalada em seu sistema.
2. Instalando o PyTorchInstale o PyTorch e suas dependências usando os seguintes comandos:

   pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

3. Instalar o VideoSealClone o repositório VideoSeal e instale as dependências:

   git clone https://github.com/facebookresearch/videoseal.git
cd videoseal
pip install -e .

4. Instalação do Decord (opcional)Biblioteca para processamento de vídeo, instalação recomendada:

   pip install decord

Processo de uso

Incorporação de marca d'água em vídeo

1. Carregar vídeoUse o torchvision para carregar e normalizar o vídeo:

   importar torchvision
importar videoseal
from videoseal.evals.metrics import bit_accuracy
video_path = "assets/videos/1.mp4"
video = torchvision.io.read_video(video_path, output_format="TCHW")
video = video.float() / 255.0

2. Modelos de carregamentoCarregamento do modelo VideoSeal: Carregue o modelo VideoSeal:

   model = videoseal.load("videoseal")

3. Marcas d'água incorporadasMarca d'água: incorpore a marca d'água no vídeo:

   outputs = model.embed(video, is_video=True)
video_w = outputs["imgs_w"]
msgs = outputs["msgs"]

Extração de marca d'água de vídeo

1. Extrair informações de marca d'águaExtrair informações incorporadas de vídeos com marca d'água:

   msg_extracted = model.extract_message(video_w, aggregation="avg", is_video=True)

Incorporação e extração de marca d'água de imagem

1. Carregar imagemCarregamento e normalização da imagem: Carregue e normalize a imagem:

   img = video[0:1]
outputs = model.embed(img, is_video=False)
img_w = outputs["imgs_w"]
msg_extracted = model.extract_message(img_w, aggregation="avg", is_video=False)

Outras funções

• Download do modelo de pré-treinamentoModelos: Os modelos são baixados automaticamente por meio do Hugging Face, ou você pode baixar e atualizar manualmente o caminho do modelo.
• Download do modelo de referênciaGuia de download: É fornecido um guia de download e os usuários devem fazer o download manual do modelo de terceiros.
• Avaliação do VMAFGuia de instalação e uso do VMAF: Um guia de instalação e uso do VMAF é fornecido para ajudar os usuários a avaliar a qualidade do vídeo.