Navegar A IA permite que você extraia e monitore dados de qualquer página da Web em minutos, sem código. Os bots que você treina para operar sites da mesma forma que os humanos permitem que você extraia os dados mais precisos com o mínimo de esforço. Este guia apresenta alguns conceitos-chave para ajudá-lo a começar.
1) Robótica
Você pode treinar ummecânicopara automatizar uma série de etapas em seu site que normalmente teriam que ser feitas manualmente.
Por exemplo, um robô pode executar todos os comportamentos a seguir durante a execução de uma tarefa:
- Abrir a página
- chegar à costa (de um tufão etc.)
- clicar em um botão
- preencher um formulário
- Selecione no menu suspenso
- Extraia dados estruturados de páginas da Web para planilhas
- Clique no botão "Next" (Avançar) ou "Load More" (Carregar mais) para obter mais dados.
- capturar uma imagem exibida na tela do computador
- Monitorar alterações visuais ou de conteúdo em partes específicas de uma página da Web
O bot tem [parâmetros de entrada] dinâmicos que permitem que você ajuste o URL da página da Web, também conhecido como [URL de origem], ou a entrada de texto em cada execução. Isso permite que você use o mesmo bot para extrair ou monitorar dados em um número ilimitado de páginas em um site com um layout semelhante.
A maioria das pessoas cria robôs que simplesmente abrem uma página da Web e extraem dados dela. Os usuários podem usar [batch run] em dezenas de milhares de páginas semelhantes em um site para extrair rapidamente todo o conjunto de dados.
Os bots também fazem muitas coisas em segundo plano que talvez você não perceba, como resolver CAPTCHAs, usar endereços IP residenciais geolocalizados, imitar o comportamento humano para evitar a detecção, adaptar-se automaticamente às alterações do site e, essencialmente, manter-se.
2) Robôs pré-fabricados versus robôs personalizados
Os robôs podem ser criados usando [Premade Robots] ou usando o gravador Browse AI e sua interface click-to-extract. Cada bot tem alguns [Input Parameters] (Parâmetros de entrada) (por exemplo, endereço da Web) que você pode ajustar cada vez que o executa.
Os bots pré-criados se aplicam a casos de uso populares e novos bots são lançados toda semana. Alguns exemplos são a extração de dados dos sites das empresas Yelp, TripAdvisor ou LinkedIn.
Mais de 901 usuários do TP3T of Browse AI criam bots que são bots personalizados treinados para casos de uso específicos. Por exemplo, alguns corretores de imóveis monitoram as licenças de construção emitidas pelo governo do condado (no site oficial do condado) e as conectam a um CRM de vendas ou a uma planilha que envia automaticamente e-mails a todos os construtores que obtêm uma licença de construção.
3) URL de origem
Cada [bot personalizado] tem um URL de origem [parâmetro de entrada], que, por padrão, aponta para o link em que foi treinado. Você pode extrair ou monitorar dados de qualquer outra página desse site com um layout semelhante, ajustando o URL de origem.
Por exemplo, se você quisesse [monitorar] os preços dos produtos do Walmart, poderia treinar um bot personalizado em uma página de produto do Walmart e, em seguida, ajustar o URL de origem de cada monitor para configurar esse bot para monitorar 100 páginas de produtos diferentes.
4) Tarefas
Cada [bot] é treinado para executar uma tarefa específica. Cada vez que você executa esse bot, ele executa essa tarefa, e os detalhes da tarefa (incluindo os dados que foram extraídos) são armazenados nessa tarefa na guia Histórico do bot.
Se você configurar um bot de monitoramento para [monitorar] alterações na página da Web diariamente, talvez seja necessário executar uma tarefa por dia, ou cerca de 30 tarefas por mês.
Novas tarefas podem ser criadas de várias maneiras diferentes:
- Você pode abrir um bot em seu painel, ir para a guia Run Tasks e executar uma tarefa.
- Na guia Run Tasks (Executar tarefas), você também pode selecionar [Batch Run] (Execução em lote) para executar até 50.000 tarefas de uma só vez, carregando arquivos CSV.
- Se você configurar um monitor, uma nova tarefa de monitoramento será criada automaticamente sempre que for necessário realizar uma verificação de monitoramento.
- Se você integrar o Browse AI a outro software ou usar a API, novas tarefas poderão ser criadas por meio da API.
- Ocasionalmente, o sistema criará tarefas para garantir que o robô esteja saudável ou para otimizar o robô, tornando-o mais rápido ou mais confiável. As tarefas serão marcadas como "executadas pelo sistema".
5) Monitorar
Um dos recursos mais úteis do Browse AI é o sistema de monitoramento integrado.
Cada robô pode ser configurado com um número infinito de monitores, cada um dos quais corresponde a uma página do site ou a uma condição de pesquisa que precisa ser monitorada.
Por exemplo, você pode usar um bot para monitorar todos os produtos em um site de comércio eletrônico e receber notificações quando os preços mudarem ou quando um produto estiver disponível.
O monitor pode detectar alterações e pode ser configurado para enviar uma notificação por e-mail quando uma alteração for detectada ou enviar automaticamente os dados para outro software.
6) Parâmetros de entrada
Cada bot é equipado com parâmetros de entrada que podem ser ajustados e monitorados de acordo com os requisitos da tarefa, o que significa que você não precisa recriar bots para cada página ou termo de pesquisa em seu site.
O parâmetro de entrada mais comum é [URL de origem], que é a página que o robô visita pela primeira vez.
Ao personalizar o robô, se você inserir algum texto, ele se tornará um parâmetro de entrada que poderá ser ajustado posteriormente.
7) Execução em lote
O recurso Batch Execution (Execução em lote) está disponível na guia Execute Tasks (Executar tarefas) do Painel de controle do robô. Esse recurso permite que você carregue um arquivo CSV contendo até 50.000 conjuntos diferentes de [Input Parameters] e crie imediatamente uma [Task] para cada conjunto de parâmetros. As tarefas serão colocadas na fila para processamento e, após a conclusão, você receberá o conjunto completo de dados extraídos.
Por exemplo, você pode carregar um arquivo CSV contendo links para 50.000 páginas de empresas no LinkedIn e obter todos os dados extraídos dessas páginas.
8) Deep Crawl
Deep Crawl é um termo comumente usado que se refere ao rastreamento de uma lista de links de uma página em uma determinada categoria e, em seguida, à extração dos detalhes de cada link.
Essa abordagem permite coletar dados detalhados e aprofundados de páginas ou seções do seu site.
Saiba mais sobre como usar o Navegar na IA Realizar um rastreamento profundo de [artigo relacionado].
9) Aplicativos integrados
Muitas vezes, você precisará transferir dados capturados em seu site para outros softwares que usa, como o Google Forms ou o CRM. A Browse AI oferece mais de 5.000 integrações para facilitar a importação de dados de qualquer site para as ferramentas que você já usa.
10) Integração do Google Forms com o Airtable
Já existem integrações diretas para [Google Forms] e Airtable. Uma vez configurado no robô, cada vez que ele executa uma tarefa, os dados extraídos são inseridos diretamente em sua planilha.
Navegue pelo plug-in do Google Forms da AI
Esse plug-in fornece funcionalidade adicional para o Google Forms:
- O robô pode ser executado diretamente no Google Forms, destacando o conjunto de parâmetros de entrada e clicando no botão.
- Exclusão automática de dados antigos do Google Forms.
- Remova automaticamente as duplicatas do Google Sheets.
11) Integração de conectores (Zapier, Make, Pabbly)
Com alguns cliques de um software de integração de terceiros, esses métodos de integração nativa permitirão que você conecte o Browse AI a mais de 5.000 outros aplicativos:
- [ZapierFácil de operar, mas caro quando usado em grandes quantidades.
- [Fazer...] custa menos, mas é mais complicado de usar.
- [Pabbly Connect]. Geralmente usado por usuários que adquiriram um contrato vitalício pago uma única vez para economizar dinheiro.
12) API e Webhooks
Se você tiver desenvolvedores de software em sua equipe, certifique-se de aproveitar as vantagens das APIs e dos webhooks, que permitem fazer quase tudo no painel de controle (exceto criar novos bots) e interagir programaticamente com APIs e webhooks disponíveis publicamente.
Algumas startups criaram seu software com base nas APIs da Browse AI e terceirizaram todo o trabalho intensivo de rastreamento de dados.