Agrégateur : plateforme unique de recherche et d'agrégation d'agents, pool d'agents gratuits (à utiliser dans le respect des règles).

Introduction générale

Aggregator est un projet open source conçu pour créer un pool de proxy gratuit qui peut explorer une variété de nœuds de proxy disponibles. La plate-forme dispose d'un système de plug-in flexible, les utilisateurs peuvent selon les besoins spéciaux du site cible, par le biais de plug-ins pour réaliser des fonctions spécifiques. Le projet est principalement utilisé pour apprendre les techniques de crawling, interdites pour toute activité illégale.

Liste des fonctions

• Agent Construction de la piscineLe système d'information sur les proxy : Il explore et regroupe automatiquement les nœuds de proxy provenant de plusieurs sources pour former un pool de proxy de haute qualité.
• système enfichableLa prise en charge de plug-ins définis par l'utilisateur pour répondre aux besoins spécifiques des différents sites web.
• l'automatisationLe système de gestion de l'accès à l'internet est un système de gestion de l'accès à l'internet, qui comprend la connexion automatique, l'enregistrement automatique, l'agrégation des abonnements et d'autres fonctions pour simplifier le fonctionnement de l'utilisateur.
• Prise en charge multiprotocoleLe système de proxy est compatible avec de nombreux protocoles de proxy, tels que HTTP, HTTPS, SOCKS, etc.
• Source ouverte et soutien de la communautéLe projet est open source et les utilisateurs sont libres de modifier et d'étendre les fonctionnalités et d'obtenir un soutien de la part de la communauté.

Utiliser l'aide

Processus d'installation

1. Préparation de l'environnementPython : Assurez-vous que Python 3.6 et plus est installé.
2. projet de clonage: Utilisation git clone https://github.com/wzdnzd/aggregator pour cloner le projet localement.
3. Installation des dépendances: Allez dans le répertoire du projet et exécutez pip install -r requirements.txt Installer les dépendances nécessaires.
4. fichier de configurationModifier le cas échéant config.yaml Fichier de configuration pour définir les paramètres de la cible de crawl et du pool d'agents.
5. Projets en cours: Mise en œuvre python collect.py Pour commencer à explorer le nœud proxy, exécutez python process.py Agents de traitement et d'agrégation.

Processus d'utilisation

1. Démarrer le crawler: Run python collect.py Commencez à explorer les nœuds proxy et le système les explorera automatiquement en fonction des paramètres définis dans le fichier de configuration.
2. Traitement des données: Run python process.py Les nœuds proxy explorés sont traités et filtrés afin de garantir la haute qualité du pool de proxy.
3. Utilisation du plug-inEn fonction des besoins du site cible, écrivez ou utilisez un plugin existant qui sera placé dans la section plugins le système le chargera et l'exécutera automatiquement.
4. l'automatisationLes fonctions d'identification automatique et d'enregistrement automatique, entre autres, sont configurées et les scripts correspondants sont exécutés afin d'automatiser le fonctionnement.
5. Voir les résultatsLes données du pool d'agents sont sauvegardées dans un fichier spécifié et peuvent être utilisées par l'utilisateur en cas de besoin.

Procédure d'utilisation détaillée

• Agent Construction de la piscineLe système explore régulièrement les nœuds de proxy à partir de sources multiples et les examine et les vérifie afin de garantir la qualité et la disponibilité du pool de proxy.
• système enfichableLes utilisateurs peuvent écrire des plug-ins personnalisés basés sur les besoins spécifiques du site cible, qui seront placés dans l'espace de travail du site. plugins le système chargera et exécutera automatiquement ces plugins.
• l'automatisationLe système effectuera ces opérations périodiquement afin de simplifier le travail quotidien de l'utilisateur.
• Prise en charge multiprotocoleLe système prend en charge une variété de protocoles proxy tels que HTTP, HTTPS, SOCKS, etc. Les utilisateurs peuvent choisir le protocole proxy approprié en fonction de leurs besoins.