Scrapy Web 服务

可以通过 JSON-RPC 控制正在运行的 Scrapy 网络爬虫。 它由 JSONRPC_ENABLED 设置启用。 该服务通过 JSON-RPC 2.0 协议提供对主要爬虫对象的访问。 访问爬虫对象的端点是

http://localhost:6080/crawler

下表包含一些显示 Web 服务行为的设置

序号 设置 描述 默认值
1 JSONRPC_ENABLED 这是指布尔值,它决定是否启用 Web 服务及其扩展。 True
2 JSONRPC_LOGFILE 这是指用于记录对 Web 服务发出的 HTTP 请求的文件。 如果未设置,将使用标准的 Scrapy 日志。 None
3 JSONRPC_PORT 这是指 Web 服务的端口范围。 如果设置为 None ,则端口将被动态分配。 [6080, 7030]
4 JSONRPC_HOST 这是指 Web 服务应侦听的接口。 '127.0.0.1'

查看笔记

扫码一下
查看教程更方便