AIパーソナル・ラーニング
と実践的なガイダンス
サイバーナイフ用ドローイングミラー

Firecrawl MCPサーバー: FirecrawlベースのWebクローラーMCPサービス

はじめに

ファイヤークロール エムシーピー サーバーは、MendableAIによって開発されたオープンソースツールです。 モデル・コンテキスト・プロトコル (MCP)プロトコルの実装は、Firecrawl APIと統合され、強力なウェブクローリングとデータ抽出を提供します。Cursor、Claude、その他のLLMクライアントのようなAIモデル用に設計され、単一ページのクローリングからバッチクローリング、検索、構造化データ抽出まで、幅広いオペレーションをサポートします。動的ウェブページのJavaScriptレンダリング、ディープクローリング、コンテンツフィルタリングなど、Firecrawl MCP Serverは効率的に仕事をこなします。このツールは、開発者、研究者、データエンジニアのために、自動再試行、レート制限、ロギングシステムを備え、クラウドとセルフホストデプロイの両方をサポートしている。2025年3月現在、プロジェクトはGitHub上で継続的に更新されており、コミュニティによって広く認知されている。

Firecrawl MCP サーバー: Firecrawl ベースのウェブクローリング MCP プロトコル-1


 

機能一覧

  • シングルページ・グラブ指定されたURLからMarkdownまたは構造化データを抽出します。
  • バルククローラー並列動作と内蔵レート制限のサポートにより、複数のURLを効率的に処理。
  • ウェブ検索クエリに基づいて検索結果からコンテンツを抽出します。
  • ディープクローリングURLディスカバリーとマルチレイヤーウェブクローリングをサポート。
  • データ抽出LLMを用いたウェブページからの構造化情報の抽出。
  • JavaScriptレンダリング動的なウェブページの全コンテンツをキャプチャします。
  • インテリジェント・フィルトレーションタグインクルード/エクスクルードによるコンテンツフィルタリング。
  • コンディション・モニタリングバッチタスクの進捗状況やクレジット使用量のクエリーを提供します。
  • ログシステム動作状態、パフォーマンス、エラーメッセージを記録します。
  • モバイル/デスクトップ対応異なるデバイスのビューポートに適応。

 

ヘルプの使用

設置プロセス

Firecrawl MCP Server は、さまざまな使用シナリオに対応するため、さまざまなインストール方法を提供しています。以下はその詳細な手順である:

方法1:npxを使ったクイックラン

  1. FirecrawlのAPIキーを取得する(取得するにはFirecrawlのウェブサイトに登録する)。
  2. ターミナルを開き、環境変数を設定する:
    export FIRECRAWL_API_KEY="fc-YOUR_API_KEY"

相互互換性 "fc-YOUR_API_KEY" を実際のキーに置き換えてください。
3.オーダーを実行する:

npx -y firecrawl-mcp
  1. 起動に成功すると、端末には次のように表示される。 [INFO] FireCrawl MCP サーバーは正常に初期化されました。.

モード2:手動設置

  1. グローバル・インストール:
    npm install -g firecrawl-mcp
    
  2. 環境変数を設定する(上記の通り)。
  3. 走っている:
    ファイヤークロール・マクピー
    

アプローチ3:セルフホスト・デプロイメント

  1. GitHubリポジトリをクローンする:
    git clone https://github.com/mendableai/firecrawl-mcp-server.git
    cd firecrawl-mcp-server
    
  2. 依存関係をインストールします:
    npmインストール
    
  3. ビルド・プロジェクト:
    npm run build
    
  4. 環境変数を設定して実行する:
    ノード dist/src/index.js
    

方法4:カーソル上で実行する

  1. セキュア カーソル バージョン0.45.6以上。
  2. Cursor Settings(カーソル設定)> Features(機能)> MCP Servers(MCPサーバー)を開きます。
  3. Add New MCP Server "をクリックして入力します:
    • 名前 ファイヤークロール・マクピー
    • タイプ 命令
    • 命令だ。 env FIRECRAWL_API_KEY=your-api-key npx -y firecrawl-mcp
    • 問題が発生しているWindowsユーザーは、試してみてください:cmd /c "set FIRECRAWL_API_KEY=your-api-key && npx -y firecrawl-mcp"
  4. Composerエージェントが自動的に呼び出すMCPサーバーのリストを保存し、更新する。

方法5:ウィンドサーフで走る

  1. コンパイラ ./codeium/windsurf/model_config.json::
    {
    "mcpServers":{」です。
    "mcp-server-firecrawl":{」である。
    "command": "npx"、
    "args": ["-y", "firecrawl-mcp" ], {
    "env": {
    "firecrawl_api_key": "your_api_key_here"
    }
    }
    }
    }
    
  2. Windsurfを保存して実行します。

環境変数の設定

必要な構成

  • firecrawl_api_keyクラウドAPIキーは、クラウドサービスを利用する際に設定する必要があります。

オプション構成

  • firecrawl_api_urlのようなセルフホスト・インスタンス用のAPIエンドポイント。 https://firecrawl.your-domain.com.
  • 設定を再試行する:
    • Firecrawl_retry_max_attempts最大リトライ回数、デフォルトは3。
    • Firecrawl_retry_initial_delayデフォルトは1000。
    • Firecrawl_retry_max_delayデフォルトは10000。
    • ファイアークロール再試行係数デフォルトは2。
  • クレジット・モニタリング:
    • Firecrawl_credit_warning_threshold警告のしきい値。
    • Firecrawl_credit_critical_thresholdデフォルトは100。

設定例

クラウドの利用:

export FIRECRAWL_API_KEY="your-api-key"
エクスポートFIRECRAWL_RETRY_MAX_ATTEMPTS=5
export FIRECRAWL_RETRY_INITIAL_DELAY=2000
export FIRECRAWL_CREDIT_WARNING_THRESHOLD=2000

主な機能

機能1:単一ページスクレイプ(firecrawl_scrape)

  • 手続き::
    1. サーバーを起動したら、POSTリクエストを送信する:
      curl -X POST http://localhost:端口/firecrawl_scrape  \
      -H "Content-Type: application/json"
      -d '{"url": "https://example.com", "formats": ["markdown"], "onlyMainContent": true, "timeout": 30000}'.
      
    2. メインコンテンツをMarkdown形式で返します。
  • パラメータの説明::
    • onlyMainContent主要な要素のみを抽出。
    • インクルードタグ/除外タグHTMLタグを含めるか除外するかを指定します。
  • アプリケーションシナリオ記事やページの核となる情報を素早く抽出。

機能2:バッチクロール(firecrawl_batch_scrape)

  • 手続き::
    1. 一括リクエストを送信する:
      curl -X POST http://localhost:端口/firecrawl_batch_scrape  \
      -H "Content-Type: application/json"
      -d '{"urls": ["https://example1.com", "https://example2.com"], "options": {"formats": ["markdown"]}}'.
      
    2. オペレーションIDを取得する。 バッチ.
    3. ステータスをチェックする:
      curl -X POST http://localhost:端口/firecrawl_check_batch_status  \
      -H "Content-Type: application/json" ୧-͈ᴗ-͈⁎'
      -d '{"id": "batch_1"}'.
      
  • 性格描写大規模データ収集のためのレート制限と並列処理を内蔵。

機能3:ウェブ検索(firecrawl_search)

  • 手続き::
    1. 検索リクエストを送信する
      curl -X POST http://localhost:端口/firecrawl_search  \
      -H "Content-Type: application/json" ╱ '{"query": "AI tools".
      -d '{"query": "AI tools", "limit": 5, "scrapeOptions": {"formats": ["markdown"]}}'.
      
    2. 検索結果のMarkdownコンテンツを返します。
  • 使用クエリに関連するウェブページデータへのリアルタイムアクセス。

機能4:ディープクロール(firecrawl_crawl)

  • 手続き::
    1. クロール要求を開始する:
      curl -X POST http://localhost:端口/firecrawl_crawl  \
      -H "Content-Type: application/json"
      -d '{"url": "https://example.com", "maxDepth": 2, "limit": 100}'.
      
    2. クロールの結果を返す。
  • パラメトリック::最大深度 クロールの深さをコントロールする。制限 ページ数を制限する。

機能5:データ抽出(firecrawl_extract)

  • 手続き::
    1. 抽出要求を送信する:
      curl -X POST http://localhost:端口/firecrawl_extract  \
      -H "Content-Type: application/json"  \ -d '{"urls": [""] "prompt: "商品名と価格を抽出します。
      -d '{"urls": ["https://example.com"], "prompt": "Extract product name and price", "schema": {"type": "object", "properties": {"name": {"type": "string"}, "price": {"type": "number"}}}'.
      
    2. 構造化データを返します。
  • 性格描写LLM抽出のサポート、カスタムスキーマによる出力フォーマットの確保。

ヒントとコツ

  • ログビュー: 実行時にターミナルのログを見ておくこと(例えば [INFO] スクレープ開始)をデバッグする。
  • エラー処理もし出会ったら [ERROR] レートの上限を超えましたリトライパラメータを調整するか、待つ。
  • LLMとの統合カーソルまたは クロード に直接クロールの要件を入力すると、ツールが自動的に起動します。

以上の操作により、ユーザーはFirecrawl MCP Serverを簡単に導入し、多様なウェブデータニーズに対応することができる。

シーディーエヌワン
無断転載を禁じます:チーフAIシェアリングサークル " Firecrawl MCPサーバー: FirecrawlベースのWebクローラーMCPサービス

チーフAIシェアリングサークル

チーフAIシェアリングサークルは、AI学習に焦点を当て、包括的なAI学習コンテンツ、AIツール、実践指導を提供しています。私たちの目標は、高品質のコンテンツと実践的な経験の共有を通じて、ユーザーがAI技術を習得し、AIの無限の可能性を一緒に探求することです。AI初心者でも上級者でも、知識を得てスキルを向上させ、イノベーションを実現するための理想的な場所です。

お問い合わせ
ja日本語