首先我们用pig3 安装scrapy后,然后使用scrapy crawl xxx 其实是用编译好的执行文件来执行而已,这个执行文件的位置在
/usr/local/bin/scrapy
后面的crawl 和xxx都是参数,其中xxx表示爬虫的名字,也不是文件名啥的。
而pycharm 调试其实是用python xxx的形式,就是用python来执行脚本。所以要真的调试scrapy,要用python来执行scrapy源码的入口文件再加参数
import sys print(sys.path)
可以用这个命令来查找我们默认包都安装的位置。找到地方为/usr/local/lib/python3.6/site-packages
cmdline.py 就是我们要找的文件的地址。
编辑pycharm 中Run -》Edit Configurations ,弄成图1的样子,记得要根据你自己的scrapy源码地址和爬虫名字来填写。开始加断点调试吧!
2019