scrapy爬虫部署(scrapy管理)
-
参考 https://piaosanlang.gitbooks.io/spiders/05day/section5.3.html
-
网址源文件 使用scrapyd 管理爬虫 · 网络爬虫教程
常用:
- 开启:
curl https:///schedule.json -d project=default -d spider=btspider
- 本次开启使用
curl https://blog.wktadmin.com/scrapyd/schedule.json -d project=default -d spider=btspider
- 关闭
curl https://blog.wktadmin.com/scrapyd/cancel.json -d project=default -d job=284a5496078d11e98a7df6afa62feb35
- 列表
curl https://blog.wktadmin.com/scrapyd/listspiders.json?project=default