Agregador: plataforma única de rastreo y agregación de agentes, fondo común de agentes gratuitos (utilícelo de forma respetuosa).

Introducción general

Aggregator es un proyecto de código abierto diseñado para crear un grupo de proxy libre que puede rastrear una variedad de nodos proxy disponibles. La plataforma tiene un sistema flexible de plug-in , los usuarios pueden de acuerdo a las necesidades especiales del sitio de destino , a través de plug-ins para lograr funciones específicas . El proyecto se utiliza principalmente para aprender técnicas de rastreo , prohibido para cualquier actividad ilegal .

Lista de funciones

• Agente Piscina Construcción: Rastrea y agrega automáticamente nodos proxy de múltiples fuentes para formar un conjunto de proxy de alta calidad.
• sistema enchufableSoporte para plug-ins definidos por el usuario para hacer frente a las necesidades específicas de diferentes sitios web.
• automatización: Incluye inicio de sesión automático, registro automático, agregación de suscripciones y otras funciones para simplificar el funcionamiento del usuario.
• Soporte multiprotocolo: Admite diversos protocolos proxy, como HTTP, HTTPS, SOCKS, etc.
• Código abierto y apoyo comunitarioEl proyecto es de código abierto y los usuarios son libres de modificar y ampliar la funcionalidad y obtener apoyo a través de la comunidad.

Utilizar la ayuda

Proceso de instalación

1. Preparación medioambientalAsegúrese de que Python 3.6 o superior está instalado.
2. proyecto de clonación: Uso git clone https://github.com/wzdnzd/aggregator para clonar el proyecto localmente.
3. Instalación de dependencias: Vaya al directorio del proyecto y ejecute pip install -r requirements.txt Instale las dependencias necesarias.
4. archivo de configuraciónModifíquese en caso necesario config.yaml Archivo de configuración para establecer los parámetros de destino de rastreo y del grupo de agentes.
5. Proyectos en curso: Aplicación python collect.py Para iniciar el rastreo del nodo proxy, ejecute python process.py Agentes de transformación y agregación.

Proceso de utilización

1. Iniciar el rastreador: Ejecutar python collect.py Inicie el rastreo de los nodos proxy y el sistema los rastreará automáticamente según los ajustes del archivo de configuración.
2. Tratamiento de datos: Ejecutar python process.py Los nodos proxy rastreados se procesan y filtran para garantizar la alta calidad del conjunto de proxies.
3. Uso de enchufes: En función de las necesidades del sitio de destino, escriba o utilice un plugin existente que se colocará en la carpeta plugins el sistema lo cargará y ejecutará automáticamente.
4. automatizaciónConfiguración de la facturación automática, el registro automático y otras funciones, y ejecución de las secuencias de comandos correspondientes para lograr un funcionamiento automatizado.
5. Ver resultadosUna vez finalizado el procesamiento, los datos de la agrupación de agentes se guardarán en un archivo especificado y el usuario podrá utilizarlos cuando lo necesite.

Procedimiento de funcionamiento detallado

• Agente Piscina ConstrucciónEl sistema rastrea regularmente los nodos proxy desde múltiples fuentes y los examina y verifica para garantizar la alta calidad y disponibilidad del conjunto de proxies.
• sistema enchufableLos usuarios pueden escribir plug-ins personalizados en función de las necesidades específicas del sitio de destino para colocarlos en el directorio plugins el sistema cargará y ejecutará automáticamente estos plugins.
• automatizaciónConfiguración: Configure el registro de entrada automático, el registro automático y otras funciones a través del archivo de configuración, y el sistema realizará estas operaciones periódicamente para simplificar la operación diaria del usuario.
• Soporte multiprotocoloEl sistema es compatible con diversos protocolos proxy, como HTTP, HTTPS, SOCKS, etc. Los usuarios pueden elegir el protocolo proxy adecuado en función de sus necesidades.