MediaCrawler: Multi-Social-Media-Plattform Inhalt, Video-Kommentar-Crawler-Tool

Allgemeine Einführung

MediaCrawler ist ein Crawler-Tool für soziale Medieninhalte, das für Entwickler entwickelt wurde. Durch die Bereitstellung einer leistungsstarken Crawler-Funktion kann es schnell Videos, Bilder, Kommentare, Likes, Retweets und andere Daten von sozialen Plattformen wie Xiaohongshu, Jieyin, Shutterbug, B-Station, Weibo und so weiter erfassen. Dieses Tool verwendet Playwright als Brücke, behält die Browserumgebung nach der Anmeldung bei und erhält verschlüsselte Parameter durch die Ausführung von JS-Ausdrücken, wodurch die Schwierigkeit eines komplexen Reverse Engineering vereinfacht wird.

Bitte beachten Sie, dass die Datenerhebung nur im Rahmen der Genehmigung erfolgen darf.

Funktionsliste

Unterstützung von Plattformen wie Xiaohongshu, Jieyin, Shutterbugs, B-station, Weibo usw.
Cookie-Login, QR-Code-Login, Login über Mobiltelefon und andere Methoden
Unterstützt die Suche nach Schlüsselwörtern und die Crawling-Funktion für bestimmte Video-/Post-IDs
Zwischenspeicherung des Anmeldestatus und Unterstützung von IP-Proxy-Pools
Bereitstellung von CAPTCHA-Slider-Lösungen (einige Plattformen)

Hilfe verwenden

Erstellen und Aktivieren einer virtuellen Python-Umgebung
Installieren Sie die Abhängigkeiten: Verwenden Sie den Befehl `pip install -r requirements.txt`.
So installieren Sie den Playwright-Browsertreiber: Verwenden Sie den Befehl `playwright install`.
Um den Crawler zu starten, verwenden Sie ein Kommandozeilenargument wie `python main.py --platform xhs --lt qrcode --type search`.
Verwenden Sie `python main.py --help`, um Beispiele von Crawlern für andere Plattformen zu sehen.
Überprüfen Sie die Struktur des Projektcodes und beantworten Sie weitere Fragen im GitHub-Repository.

Lernmaterialien

Dieser Inhalt wurde vom Autor versteckt, bitte geben Sie den Verifizierungscode ein, um den Inhalt zu sehen

Captcha:

Bitte achten Sie auf diese Website WeChat öffentliche Nummer, Antwort "CAPTCHA, eine Art von Challenge-Response-Test (Computertechnik)", um den Verifizierungscode zu erhalten. Suchen Sie in WeChat nach "Leiter des AI-Austauschkreises"oder"Looks-AI" oder WeChat Scannen der rechten Seite des QR-Codes kann die Aufmerksamkeit auf diese Website WeChat öffentliche Zahl zu zahlen.