Maxun: uma plataforma de código aberto, sem código, que rastreia automaticamente os dados da Web e os converte em APIs ou planilhas

Introdução geral

A Maxun é uma plataforma de extração de dados da Web de código aberto e sem código que permite aos usuários treinar robôs em minutos para rastrear automaticamente os dados da Web e convertê-los em APIs ou planilhas. A plataforma suporta paginação e rolagem, pode se adaptar a mudanças no layout do site e oferece recursos avançados de rastreamento de dados para uma variedade de necessidades de extração de dados.

Lista de funções

• Extração de dados sem código: não há necessidade de escrever código para rastrear os dados da página da Web
• Rastreamento automatizado de dados: os robôs automatizam as tarefas de rastreamento de dados
• Geração de API: conversão de dados rastreados em uma API
• Conversão em planilha: exporte os dados capturados para uma planilha
• Suporte a paginação e rolagem: manipulação de dados de várias páginas e dados de páginas longas
• Adaptação às mudanças de layout do site: adaptação automática às mudanças no layout da página
• Suporte a login e autenticação de dois fatores: rastreamento de dados de sites que exigem login (em breve)
• Integração com o Google Sheets: importe dados diretamente para o Google Sheets
• Suporte a proxy: use proxies externos para contornar a proteção antibot

Usando a Ajuda

Processo de instalação

Instalação com o Docker Compose

1. Clonagem do Project Warehouse:

   git clone https://github.com/getmaxun/maxun

2. Vá para o catálogo de projetos:

   cd maxun

3. Crie e inicie o serviço usando o Docker Compose:

   docker-compose up -d --build

instalação manual

1. Certifique-se de que o Node.js, o PostgreSQL, o MinIO e o Redis estejam instalados em seu sistema.
2. Clonagem do Project Warehouse:

   git clone https://github.com/getmaxun/maxun

3. Vá para o diretório do projeto e instale as dependências:

   cd maxun
npm install
cd maxun-core
npm install

4. Inicie os serviços de front-end e back-end:

   npm run start

5. O serviço de front-end será executado nohttp://localhost:5173/O serviço de back-end será executado nohttp://localhost:8080/.

Diretrizes para uso

1. Criando robôs::
   • Depois de fazer login na plataforma, clique no botão "Create Bot" (Criar bot).
   • Selecione o tipo de dados a serem capturados (lista, texto ou captura de tela).
   • Configurar regras de rastreamento, como URL de destino, frequência de rastreamento, etc.
   • Salve e inicie o robô, que executará automaticamente a tarefa de coleta de dados.
2. Exportação de dados::
   • Depois que a missão do bot for concluída, vá para a página de detalhes da missão.
   • Selecione o formato de exportação (API ou planilha).
   • Clique no botão "Export" para fazer o download dos dados ou obter o link da API.
3. Manipulação de paginação e rolagem::
   • Configure as opções de paginação e rolagem ao criar um bot.
   • O robô processará automaticamente dados de várias páginas e dados de páginas longas para garantir a integridade dos dados.
4. Adaptação às mudanças de layout do site::
   • A plataforma tem algoritmos inteligentes incorporados que se adaptam automaticamente às mudanças no layout da página.
   • Não há necessidade de ajustar manualmente as regras de rastreamento, o robô se adaptará automaticamente às alterações.
5. Integração com o Google Sheets::
   • Em Platform Settings, configure a integração do Google Sheets.
   • Os dados coletados pelo robô serão importados automaticamente para o formulário especificado do Google Sheets.
6. Uso de proxies::
   • Em Platform Settings (Configurações da plataforma), configure o agente externo.
   • O robô executará a tarefa de agarrar por meio de um proxy, ignorando a proteção antirrobô.

O guia do leigo para começar a usar a IA

Ajuda você a aprender a utilizar as ferramentas de IA com baixo custo e a partir de uma base zero.A IA, assim como o software de escritório, é uma habilidade essencial para todos. Dominar a IA lhe dará uma vantagem em sua busca de emprego e metade do esforço em seu trabalho e estudos futuros.

Ver detalhes>