Servidor MCP Firecrawl: Serviço MCP de rastreador da Web baseado no Firecrawl

Introdução geral

Firecrawl MCP Server é uma ferramenta de código aberto desenvolvida pela MendableAI, com base no Modelo de protocolo de contexto (MCP), integrada à API Firecrawl, oferece rastreamento avançado da Web e extração de dados. Projetado para modelos de IA, como Cursor, Claude e outros clientes LLM, ele oferece suporte a uma ampla gama de operações, desde o rastreamento de uma única página até o rastreamento em lote, pesquisa e extração de dados estruturados. Quer se trate de renderização JavaScript de páginas da Web dinâmicas, rastreamento profundo e filtragem de conteúdo, o Firecrawl MCP Server realiza o trabalho com eficiência. A ferramenta é compatível com implantações em nuvem e auto-hospedadas com novas tentativas automáticas, limitação de taxa e sistemas de registro para desenvolvedores, pesquisadores e engenheiros de dados. Desde março de 2025, o projeto é atualizado continuamente no GitHub e é amplamente reconhecido pela comunidade.

Lista de funções

• Captura de página únicaMarkdown: extrai Markdown ou dados estruturados de um URL especificado.
• rastreador em massaManuseio eficiente de vários URLs com suporte para operação paralela e limitação de taxa integrada.
• Pesquisa na WebExtrai conteúdo de resultados de pesquisa com base em uma consulta.
• rastreamento profundoSuporte à descoberta de URLs e ao rastreamento da Web em várias camadas.
• extração de dadosExtração de informações estruturadas de páginas da Web usando LLM.
• Renderização JavaScriptCaptura o conteúdo completo de uma página da Web dinâmica.
• Filtragem inteligenteFiltragem de conteúdo por meio de inclusão/exclusão de tags.
• Monitoramento de condiçõesProgresso da tarefa em lote: fornece consultas sobre o progresso da tarefa em lote e o uso de crédito.
• sistema de registroStatus operacional: registra o status operacional, o desempenho e as mensagens de erro.
• Suporte para celular/desktopAdaptação a diferentes portas de visualização de dispositivos.

Usando a Ajuda

Processo de instalação

O Firecrawl MCP Server oferece vários métodos de instalação para diferentes cenários de uso. Veja a seguir as etapas detalhadas:

Maneira 1: execução rápida com o npx

1. Obtenha a chave da API do Firecrawl (registre-se no site do Firecrawl para obtê-la).
2. Abra um terminal e defina as variáveis de ambiente:

   export FIRECRAWL_API_KEY="fc-YOUR_API_KEY"

intercambialidade "fc-YOUR_API_KEY" para sua chave real.
3) Execute o pedido:

npx -y firecrawl-mcp

4. Após a inicialização bem-sucedida, o terminal exibe [INFO] Servidor FireCrawl MCP inicializado com sucesso.

Modo 2: Instalação manual

1. Instalação global:

   npm install -g firecrawl-mcp
   

2. Defina as variáveis de ambiente (como acima).
3. Em execução:

   firecrawl-mcp
   

Abordagem 3: implementação auto-hospedada

1. Clonar um repositório do GitHub:

   git clone https://github.com/mendableai/firecrawl-mcp-server.git
   cd firecrawl-mcp-server
   

2. Instale a dependência:

   npm install
   

3. Construir projeto:

   npm run build
   

4. Defina as variáveis de ambiente e execute-o:

   node dist/src/index.js
   

Maneira 4: Executar no cursor

1. seguro Cursor Versão 0.45.6 ou superior.
2. Abra Cursor Settings (Configurações do cursor) > Features (Recursos) > MCP Servers (Servidores MCP).
3. Clique em "+ Add New MCP Server" e digite:
   • Nome. firecrawl-mcp
   • Tipo. comando
   • Comando. env FIRECRAWL_API_KEY=sua-chave-api npx -y firecrawl-mcp
   • Os usuários do Windows que estiverem com problemas podem tentar:cmd /c "set FIRECRAWL_API_KEY=sua-chave-api && npx -y firecrawl-mcp"
4. Salve e atualize a lista de servidores MCP, que o Composer Agent invoca automaticamente.

Maneira 5: Correndo no Windsurf

1. compilador . /codeium/windsurf/model_config.json::

   {
   "mcpServers": {
   "mcp-server-firecrawl": {
   "comando": "npx",
   "args": ["-y", "firecrawl-mcp" ], {
   "env": {
   "FIRECRAWL_API_KEY": "YOUR_API_KEY_HERE"
   }
   }
   }
   }
   

2. Salve e execute o Windsurf.

Configuração de variáveis de ambiente

Configuração necessária

• FIRECRAWL_API_KEYChave de API da nuvem: chave de API da nuvem, que deve ser definida ao usar serviços de nuvem.

Configurações opcionais

• FIRECRAWL_API_URLEndpoints de API para instâncias auto-hospedadas, como https://firecrawl.your-domain.com.
• Repetir a configuração:
  • FIRECRAWL_RETRY_MAX_ATTEMPTSNúmero máximo de novas tentativas, padrão 3.
  • FIRECRAWL_RETRY_INITIAL_DELAYAtraso da primeira tentativa (milissegundos): atraso da primeira tentativa (milissegundos), padrão 1000.
  • FIRECRAWL_RETRY_MAX_DELAYAtraso máximo em milissegundos, padrão 10000.
  • FIRECRAWL_RETRY_BACKOFF_FACTORFator de fallback: O fator de fallback, padrão 2.
• Monitoramento de crédito:
  • FIRECRAWL_CREDIT_WARNING_THRESHOLDLimite de aviso: Limite de aviso, padrão 1000.
  • FIRECRAWL_CREDIT_CRITICAL_THRESHOLDLimite de emergência: Limite de emergência, padrão 100.

Exemplo de configuração

Uso da nuvem:

export FIRECRAWL_API_KEY="your-api-key"
export FIRECRAWL_RETRY_MAX_ATTEMPTS=5
export FIRECRAWL_RETRY_INITIAL_DELAY=2000
export FIRECRAWL_CREDIT_WARNING_THRESHOLD=2000

Funções principais

Função 1: raspagem de uma única página (firecrawl_scrape)

• procedimento::
  1. Depois de iniciar o servidor, envie uma solicitação POST:

     curl -X POST http://localhost:端口/firecrawl_scrape \
     -H "Content-Type: application/json" \
     -d '{"url": "https://example.com", "formats": ["markdown"], "onlyMainContent": true, "timeout": 30000}'
     

  2. Retorna o conteúdo principal no formato Markdown.
• Descrição do parâmetro::
  • onlyMainContentApenas os elementos principais são extraídos.
  • includeTags/excludeTagsTags HTML: Especifique as tags HTML a serem incluídas ou excluídas.
• cenário do aplicativoExtraia rapidamente as principais informações de um artigo ou página.

Função 2: Rastreamento em lote (firecrawl_batch_scrape)

• procedimento::
  1. Envia uma solicitação em massa:

     curl -X POST http://localhost:端口/firecrawl_batch_scrape \
     -H "Content-Type: application/json" \
     -d '{"urls": ["https://example1.com", "https://example2.com"], "options": {"formats": ["markdown"]}}'
     

  2. Obtenha a ID da operação, por exemplo. lote_1.
  3. Verifique o status:

     curl -X POST http://localhost:端口/firecrawl_check_batch_status \
     -H "Content-Type: application/json" \
     -d '{"id": "batch_1"}'
     

• caracterizaçãoLimitação de taxa integrada e processamento paralelo para coleta de dados em grande escala.

Função 3: Pesquisa na Web (firecrawl_search)

• procedimento::
  1. Enviar uma solicitação de pesquisa:

     curl -X POST http://localhost:端口/firecrawl_search \
     -H "Content-Type: application/json" \
     -d '{"query": "AI tools", "limit": 5, "scrapeOptions": {"formats": ["markdown"]}}'
     

  2. Retorna o conteúdo Markdown dos resultados da pesquisa.
• usoAcesso em tempo real aos dados da página da Web relevantes para a consulta.

Função 4: Deep Crawl (firecrawl_crawl)

• procedimento::
  1. Iniciar uma solicitação de rastreamento:

     curl -X POST http://localhost:端口/firecrawl_crawl \
     -H "Content-Type: application/json" \
     -d '{"url": "https://example.com", "maxDepth": 2, "limit": 100}'
     

  2. Retorna os resultados do rastreamento.
• parâmetros::maxDepth controlando a profundidade do rastreamento.limite Limite o número de páginas.

Função 5: Extração de dados (firecrawl_extract)

• procedimento::
  1. Envia uma solicitação de extração:

     curl -X POST http://localhost:端口/firecrawl_extract \
     -H "Content-Type: application/json" \
     -d '{"urls": ["https://example.com"], "prompt": "Extract product name and price", "schema": {"type": "object", "properties": {"name": {"type": " string"}, "price": {"type": "number"}}}}'
     

  2. Retorna dados estruturados.
• caracterizaçãoSuporte para extração LLM, esquema personalizado para garantir o formato de saída.

Dicas e truques

• Visualização do registroObservação: fique de olho nos registros do terminal em tempo de execução (por exemplo [INFO] Iniciando o scrape) para depurar.
• Tratamento de errosSe você encontrar [ERRO] Limite de taxa excedidoAjuste os parâmetros de repetição ou aguarde.
• Integração com o LLMNo Cursor ou Claude A ferramenta é chamada automaticamente ao inserir os requisitos de rastreamento diretamente no

Por meio das operações acima, os usuários podem facilmente implementar e usar o Firecrawl MCP Server para atender às necessidades diversificadas de dados da Web.