手册目的 专门记录使用Scrapy爬虫学习过程中的各种坑
IDE Anaconda，python 3.6
Scrapy创建环境失败
- bug现象：
- cmd输入scrapy startproject xxx，返回：DLL load failed：操作系统无法运行 %1
- 解决方法：
- 删除/修改window/system32/ 的 libeay32.dll和ssleay32.dll
- 具体参考 https://tennc.github.io/2016/09/30/anaconda-install-scrapy-tips/
Scrapy crawl提示未知命令
- bug现象：
- cmd输入scrapy crawl xxx，返回unknown command：crawl
- 解决方案：
- 需要进入项目的根目录，crawl会去搜索scrapy.cfg
Scrapy hxs/xss提示未知命令
- bug现象：
- cmd shell模式下输入response.hxs(xxxx)，返回未知的hxs命令
- 解决方案：
- 新版本的Scrapy已经取消了hxs/xss，取而代之的是response.xpath
网友评论