5月

scrapyd 安装使用

Contents

scrapyd解决什么痛点？

1. 可以通过浏览器看爬虫的运行状态，包括时间,日志啊

2.可以通过curl直接运行爬虫和停止爬虫

1. 安装scrapyd

pip install scrapyd

scrapyd

根目录下执行scrapyd

curl http://localhost:6800/schedule.json -d project=default -d spider=spider2

curl http://localhost:6800/cancel.json -d project=myproject -d job=你的jobId    （取消爬虫）

注意启动的时候，当前目录会生成 twistd.pid，万一非正常退出，起不来，报这个错误：

TypeError: ‘ProcessLookupError’ object is not subscriptable

把这个文件remove即可。

Post Views: 0

3614