pycharm 调试 scrapy

 

首先我们用pig3 安装scrapy后,然后使用scrapy crawl xxx 其实是用编译好的执行文件来执行而已,这个执行文件的位置在

 

 

/usr/local/bin/scrapy

 

后面的crawl 和xxx都是参数,其中xxx表示爬虫的名字,也不是文件名啥的。

而pycharm 调试其实是用python xxx的形式,就是用python来执行脚本。所以要真的调试scrapy,要用python来执行scrapy源码的入口文件再加参数

 

import sys
print(sys.path)

 

可以用这个命令来查找我们默认包都安装的位置。找到地方为/usr/local/lib/python3.6/site-packages

 

 

cmdline.py 就是我们要找的文件的地址。

编辑pycharm 中Run -》Edit Configurations ,弄成图1的样子,记得要根据你自己的scrapy源码地址和爬虫名字来填写。开始加断点调试吧!

http://www.waitingfy.com/archives/2019

2019

Leave a Reply

Name and Email Address are required fields.
Your email will not be published or shared with third parties.