Crawlee: Creación de rastreadores web fiables y herramientas de automatización de navegadores con Node.js

Introducción general

Crawlee 是一个由 Apify 开发的开源网络爬虫和浏览器自动化库，专为 Node.js 环境设计。它支持 JavaScript 和 TypeScript，能够与 Puppeteer、Playwright、Cheerio、JSDOM 等工具配合使用，提供强大的数据抓取和自动化功能。Crawlee 允许用户构建可靠的爬虫，提取 AI、LLM、RAG 或 GPTs 所需的数据，并下载 HTML、PDF、JPG、PNG 等文件。其设计旨在使爬虫看起来更像人类操作，能够规避现代反爬虫机制，支持代理轮换和会话管理，适用于各种复杂的网络抓取任务。

Crawlee for Python 向早期采用者开放！

Lista de funciones

• HTTP 和无头浏览器爬取的单一接口
• 持久化的 URL 爬取队列（广度优先和深度优先）
• 可插拔的数据和文件存储
• 自动根据系统资源进行扩展
• 集成代理轮换和会话管理
• 生命周期可通过钩子自定义
• CLI 工具用于引导项目
• 可配置的路由、错误处理和重试机制
• 提供 Dockerfiles 以便部署
• 使用 TypeScript 编写，支持泛型
• 支持 HTTP2 和自动生成浏览器样式的请求头
• 集成快速 HTML 解析器（Cheerio 和 JSDOM）
• 支持 JSON API 抓取
• 支持 JavaScript 渲染和截图
• 无头和有头模式支持
• 自动生成人类样式的指纹
• 使用 Playwright 和 Puppeteer 的统一接口
• 支持 Chrome、Firefox、Webkit 等浏览器

Utilizar la ayuda

montaje

Crawlee 需要 Node.js 16 或更高版本。可以通过以下命令快速安装并创建一个示例爬虫：

npx crawlee create my-crawler
cd my-crawler
npm start

如果你更喜欢手动安装，可以使用以下命令：

npm install crawlee playwright

然后在你的项目中导入并使用：

import { PlaywrightCrawler, Dataset } from 'crawlee';
const crawler = new PlaywrightCrawler({
async requestHandler({ request, page, enqueueLinks, log }) {
const title = await page.title();
log.info(`Title of ${request.loadedUrl} is '${title}'`);
await Dataset.pushData({ title, url: request.loadedUrl });
await enqueueLinks();
},
// headless: false, // Uncomment to see the browser window
});
await crawler.run(['https://crawlee.dev']);

Función Flujo de operaciones

1. 创建爬虫项目：使用 Crawlee CLI 快速创建一个新的爬虫项目，CLI 会安装所有必要的依赖并添加样板代码。
2. Configuración del rastreador：在项目中配置爬虫的请求处理逻辑、数据存储位置、代理设置等。
3. Ejecutar el rastreador：通过命令行运行爬虫，Crawlee 会自动处理请求、抓取数据并存储结果。
4. almacenamiento de datos：Crawlee 默认将数据存储在当前工作目录的 ./storage 文件夹中，可以通过配置文件覆盖此目录。
5. Funciones ampliadas：根据需要添加自定义钩子、错误处理机制和重试策略，确保爬虫的稳定性和可靠性。

代理和会话管理

Crawlee 集成了代理轮换和会话管理功能，确保爬虫在抓取过程中不会被目标网站屏蔽。可以通过配置文件设置代理列表和会话参数，实现自动轮换和管理。

despliegues

Crawlee 提供了 Dockerfiles，方便将爬虫部署到云端或其他环境中。可以通过以下命令构建和运行 Docker 容器：

docker build -t my-crawler .
docker run my-crawler