Python学习-Scrapy爬虫专题

手册目的 专门记录使用Scrapy爬虫学习过程中的各种坑
IDE Anaconda，python 3.6

Scrapy创建环境失败

• bug现象：
  • cmd输入scrapy startproject xxx，返回：DLL load failed：操作系统无法运行 %1
• 解决方法：
  • 删除/修改window/system32/ 的 libeay32.dll和ssleay32.dll
  • 具体参考 https://tennc.github.io/2016/09/30/anaconda-install-scrapy-tips/

Scrapy crawl提示未知命令

• bug现象：
  • cmd输入scrapy crawl xxx，返回unknown command：crawl
• 解决方案：
  • 需要进入项目的根目录，crawl会去搜索scrapy.cfg

Scrapy hxs/xss提示未知命令

• bug现象：
  • cmd shell模式下输入response.hxs(xxxx)，返回未知的hxs命令
• 解决方案：
  • 新版本的Scrapy已经取消了hxs/xss，取而代之的是response.xpath