X-Kit: Twitter-Daten-Crawl und -Analyse für X-Nutzerdaten und Tweets

Allgemeine Einführung

X-Kit ist ein Open-Source-Tool, das zum Crawlen und Analysieren von X (ehemals Twitter)-Nutzerdaten und Tweets entwickelt wurde. Das vom GitHub-Nutzer xiaoxiunique entwickelte Tool soll Nutzern dabei helfen, den Prozess der Erfassung grundlegender Informationen und Tweets zu einem bestimmten X-Nutzer zu automatisieren sowie regelmäßige Aktualisierungen der Nutzer-Timeline-Daten zu unterstützen.X-Kit unterstützt nicht nur die lokalisierte Speicherung von Daten, sondern nutzt auch GitHub Actions, um Bereitstellungen zu automatisieren, wodurch es für Nutzer extrem einfach zu verwenden und zu verwalten ist.

Funktionsliste

• Erfassen Sie automatisch grundlegende Informationen und Tweets von bestimmten Benutzern
• Zeitgesteuerte Aktualisierung der Benutzerzeitleistendaten
• Unterstützt lokalisierte Datenspeicherung
• Automatisierte Bereitstellung von GitHub-Aktionen
• Funktion "Tägliche Tweets
• Bulk Follow Benutzer
• Datenspeicherung nach Datum

Hilfe verwenden

Einbauverfahren

1. Umgebungsvariablen konfigurieren: Erstellen Sie die.envfügen Sie die folgende Konfiguration hinzu:

   AUTH_TOKEN=你的X认证Token
GET_ID_X_TOKEN=用于获取用户ID的Token

2. Zu verfolgende Benutzer hinzufügen: indev-accounts.jsonFügen Sie die Benutzerinformationen im Feld

   {
"username": "用户名",
"twitter_url": "用户主页链接",
"description": "用户描述",
"tags": ["标签1", "标签2"]
}

3. Installation von Abhängigkeiten: Führen Sie den folgenden Befehl aus, um die Abhängigkeit zu installieren:

   bun install

Verwendung

1. Benutzerinformationen abrufen: Führen Sie den folgenden Befehl aus, um Benutzerinformationen zu erhalten:

   bun run scripts/index.ts

2. Erhalten Sie die neuesten Tweets: Führen Sie den folgenden Befehl aus, um die neuesten Tweets zu erhalten:

   bun run scripts/fetch-tweets.ts

3. Bulk Follow Benutzer: Führen Sie den folgenden Befehl aus, um Benutzer in großen Mengen zu verfolgen:

   bun run scripts/batch-follow.ts

Automatisierte Bereitstellung

X-Kit verwendet GitHub Actions, um die Bereitstellung zu automatisieren, und die folgenden sind die wichtigsten automatisierten Aufgaben:

• get-home-aktuellste-zeitleiste.yml: Alle 30 Minuten die neuesten Tweets erhalten
• daily-get-tweet-id.ymlBenutzerinformationen werden einmal pro Tag abgefragt.

Datenspeicherung

• Die Benutzerinformationen werden in deraccounts/Verzeichnis (auf der Festplatte des Computers)
• Die Daten der Tweets werden in der Dateitweets/Katalog, benannt nach Datum

Technologiepaket

• Brötchenfür die Paketverwaltung und die Ausführung von Skripten
• TypScriptWichtigste Programmiersprachen
• Twitter-APIfür die Datenerfassung
• GitHub-Aktionenfür die automatische Bereitstellung

Mit diesen Schritten können Benutzer X-Kit einfach installieren und verwenden, um die Daten und Tweets von X-Benutzern zu crawlen und zu analysieren. Detaillierte Betriebsabläufe und automatische Bereitstellungsfunktionen machen das Tool ideal für Nutzer, die X-Daten regelmäßig aktualisieren und verwalten müssen.