Maxun: una plataforma sin código y de código abierto que rastrea automáticamente datos web y los convierte en API u hojas de cálculo.

Introducción general

Maxun es una plataforma de extracción de datos web sin código y de código abierto que permite a los usuarios entrenar robots en cuestión de minutos para que rastreen automáticamente datos web y los conviertan en API u hojas de cálculo. La plataforma admite paginación y desplazamiento, puede adaptarse a cambios en el diseño del sitio web y ofrece potentes funciones de rastreo de datos para una gran variedad de necesidades de extracción de datos.

Lista de funciones

• Extracción de datos sin código: no es necesario escribir código para rastrear los datos de la página web.
• Rastreo automatizado de datos: los robots automatizan las tareas de rastreo de datos.
• Generación de API: convierte los datos rastreados en una API.
• Conversión a hoja de cálculo: exportación de los datos capturados a una hoja de cálculo
• Función de paginación y desplazamiento: gestión de datos de varias páginas y de páginas largas.
• Adaptación a los cambios de diseño del sitio web: adaptación automática a los cambios de diseño de la página
• Soporte de inicio de sesión y autenticación de dos factores: rastreo de datos de sitios web que requieren inicio de sesión (próximamente).
• Integración con Google Sheets: importación de datos directamente a Google Sheets
• Compatibilidad con proxy: utilice proxies externos para eludir la protección anti-bot.

Utilizar la ayuda

Proceso de instalación

Instalación con Docker Compose

1. Almacén de proyectos de clonación:

   git clone https://github.com/getmaxun/maxun

2. Vaya al catálogo de proyectos:

   cd maxun

3. Cree e inicie el servicio mediante Docker Compose:

   docker-compose up -d --build

instalación manual

1. Asegúrese de que Node.js, PostgreSQL, MinIO y Redis están instalados en su sistema.
2. Almacén de proyectos de clonación:

   git clone https://github.com/getmaxun/maxun

3. Vaya al directorio del proyecto e instale las dependencias:

   cd maxun
npm install
cd maxun-core
npm install

4. Ponga en marcha los servicios front-end y back-end:

   npm run start

5. El servicio front-end se ejecutará en http://localhost:5173/ y el servicio back-end en http://localhost:8080/.

Normas de uso

1. Creación de robots::
   • Tras iniciar sesión en la plataforma, haz clic en el botón "Crear bot".
   • Seleccione el tipo de datos que desea capturar (lista, texto o captura de pantalla).
   • Configure las reglas de rastreo, como la URL de destino, la frecuencia de rastreo, etc.
   • Guarde e inicie el robot, que realizará automáticamente la tarea de captura de datos.
2. Exportación de datos::
   • Una vez completada la misión bot, ve a la página de detalles de la misión.
   • Seleccione el formato de exportación (API u hoja de cálculo).
   • Haga clic en el botón "Exportar" para descargar los datos u obtener el enlace API.
3. Paginación y desplazamiento::
   • Configure las opciones de paginación y desplazamiento al crear un bot.
   • El robot procesará automáticamente los datos de varias páginas y los datos de páginas largas para garantizar la integridad de los datos.
4. Adaptación a los cambios de diseño del sitio web::
   • La plataforma incorpora algoritmos inteligentes que se adaptan automáticamente a los cambios en el diseño de las páginas.
   • No es necesario ajustar manualmente las reglas de rastreo, el robot se adaptará automáticamente a los cambios.
5. Integración con Google Sheets::
   • En Configuración de la plataforma, configure la integración de Google Sheets.
   • Los datos capturados por el robot se importarán automáticamente al formulario de Google Sheets especificado.
6. Utilizar proxies::
   • En Configuración de la plataforma, configure el agente externo.
   • El robot realizará la tarea de agarre a través de un proxy, eludiendo la protección antirrobot.