X-Kit: Twitter-Daten-Crawl und -Analyse für X-Nutzerdaten und Tweets

Allgemeine Einführung

X-Kit ist ein Open-Source-Tool, das zum Crawlen und Analysieren von X (ehemals Twitter)-Nutzerdaten und Tweets entwickelt wurde. Das vom GitHub-Nutzer xiaoxiunique entwickelte Tool soll Nutzern dabei helfen, den Prozess der Erfassung grundlegender Informationen und Tweets zu einem bestimmten X-Nutzer zu automatisieren sowie regelmäßige Aktualisierungen der Nutzer-Timeline-Daten zu unterstützen.X-Kit unterstützt nicht nur die lokalisierte Speicherung von Daten, sondern nutzt auch GitHub Actions, um Bereitstellungen zu automatisieren, wodurch es für Nutzer extrem einfach zu verwenden und zu verwalten ist.

Funktionsliste

• Erfassen Sie automatisch grundlegende Informationen und Tweets von bestimmten Benutzern
• Zeitgesteuerte Aktualisierung der Benutzerzeitleistendaten
• Unterstützt lokalisierte Datenspeicherung
• Automatisierte Bereitstellung von GitHub-Aktionen
• Funktion "Tägliche Tweets
• Bulk Follow Benutzer
• Datenspeicherung nach Datum

Hilfe verwenden

Ablauf der Installation

1. Umgebungsvariablen konfigurieren: Erstellen Sie die.envfügen Sie die folgende Konfiguration hinzu:

   AUTH_TOKEN=Ihr X-Authentifizierungs-Token
GET_ID_X_TOKEN=Token zum Abrufen der Benutzer-ID

2. Zu verfolgende Benutzer hinzufügen: indev-accounts.jsonFügen Sie die Benutzerinformationen im Feld

   {
"benutzername": "user_name",
"twitter_url": "Link zur Homepage des Benutzers",
"description": "Beschreibung des Benutzers",
"tags": ["tag1", "tag2"]
}

3. Installation von Abhängigkeiten: Führen Sie den folgenden Befehl aus, um die Abhängigkeit zu installieren:

   Brötchen holen

Verwendung

1. Benutzerinformationen abrufen: Führen Sie den folgenden Befehl aus, um Benutzerinformationen zu erhalten:

   bun run scripts/index.ts

2. Erhalten Sie die neuesten Tweets: Führen Sie den folgenden Befehl aus, um die neuesten Tweets zu erhalten:

   scripts/fetch-tweets.ts ausführen

3. Bulk Follow Benutzer: Führen Sie den folgenden Befehl aus, um Benutzer in großen Mengen zu verfolgen:

   bun run scripts/batch-follow.ts

Automatisierte Bereitstellung

X-Kit verwendet GitHub Actions, um die Bereitstellung zu automatisieren, und die folgenden sind die wichtigsten automatisierten Aufgaben:

• get-home-aktuellste-zeitleiste.yml: Alle 30 Minuten die neuesten Tweets erhalten
• daily-get-tweet-id.ymlBenutzerinformationen werden einmal pro Tag abgefragt.

Datenspeicherung

• Die Benutzerinformationen werden in derKonten/Verzeichnis (auf der Festplatte des Computers)
• Die Daten der Tweets werden in der DateiTweets/Katalog, benannt nach Datum

Technologiepaket

• Brötchenfür die Paketverwaltung und die Ausführung von Skripten
• TypScriptWichtigste Programmiersprachen
• Twitter-APIfür die Datenerfassung
• GitHub-Aktionenfür die automatische Bereitstellung

Mit diesen Schritten können Benutzer X-Kit einfach installieren und verwenden, um die Daten und Tweets von X-Benutzern zu crawlen und zu analysieren. Detaillierte Betriebsabläufe und automatische Bereitstellungsfunktionen machen das Tool ideal für Nutzer, die X-Daten regelmäßig aktualisieren und verwalten müssen.