MediaCrawler: conteúdo de plataformas de mídia social múltipla, ferramenta de rastreamento de comentários em vídeo

Introdução geral

O MediaCrawler é uma ferramenta de rastreamento de conteúdo de mídia social criada para desenvolvedores. Ao fornecer uma função de rastreamento avançada, ela pode obter rapidamente vídeos, imagens, comentários, curtidas, retweets e outros dados de plataformas sociais como Xiaohongshu, Jieyin, Shutterbug, B-station, Weibo e assim por diante. Essa ferramenta usa o Playwright como uma ponte, preservando o ambiente do navegador após o login e obtendo parâmetros criptografados por meio da execução de expressões JS, simplificando assim a dificuldade da engenharia reversa complexa.

Apenas para uso profissional, observe que a coleta de dados precisa ser realizada dentro do escopo da autorização.

Lista de funções

Suporte a plataformas como Xiaohongshu, Jieyin, Shutterbugs, B-station, Weibo, etc.
Fornecer login por cookie, login por código QR, login por número de celular e outros métodos
Suporte à pesquisa de palavras-chave e à função de rastreamento de ID de vídeo/post especificado
Suporte a cache de estado de login e pool de proxy IP
Fornecer soluções de CAPTCHA com controle deslizante (algumas plataformas)

Usando a Ajuda

Criar e ativar um ambiente virtual Python
Instale as dependências: use o comando `pip install -r requirements.txt`.
Para instalar o driver do navegador Playwright: use o comando `playwright install`.
Para executar o rastreador: use um argumento de linha de comando, como `python main.py --platform xhs --lt qrcode --type search`.
Use `python main.py --help` para ver exemplos de rastreadores para outras plataformas.
Verifique a estrutura do código do projeto e responda a mais perguntas no repositório do GitHub.

Materiais didáticos

Este conteúdo foi ocultado pelo autor. Digite o código de verificação para visualizar o conteúdo

Captcha:

Preste atenção ao número público do WeChat deste site, responda "CAPTCHA, um tipo de teste de desafio-resposta (computação)", obtenha o código de verificação. Pesquise no WeChat por "Chefe do Círculo de Compartilhamento de IA"ou"Aparência-AI"ou WeChat escaneando o lado direito do código QR pode prestar atenção a esse número público do WeChat do site.

O guia do leigo para começar a usar a IA

Ajuda você a aprender a utilizar as ferramentas de IA com baixo custo e a partir de uma base zero.A IA, assim como o software de escritório, é uma habilidade essencial para todos. Dominar a IA lhe dará uma vantagem em sua busca de emprego e metade do esforço em seu trabalho e estudos futuros.

Ver detalhes>