scrapy写爬虫时候的错误和问题总结

• 请求的时候没有返回response
  结论： 更改settings.py中的ROBOTSTXT_OBEY为False
  爬取的时候，发现response为 None，本来以为是该页面做了保密机制，以及一些防爬虫的机制，所以之后伪装成浏览器，发现也不可以，查了一些资料，发现问题所在在robots.txt
  在scrapy shell中调试发现这一行
  2017-01-17 11:55:02 [scrapy] DEBUG: Crawled (200) <GET http://xxx.com/robots.txt> (referer: None)
  其中的robots.txt很耐人寻味，主要就是她的问题，在此不在深入解释，具体可参考这位大大的文章
  [爬虫出现Forbidden by robots.txt][1]
  [1]: http://blog.csdn.net/zzk1995/article/details/51628205

但是更改ROBOTSTXT_OBEY为False后对爬虫以及其他有没有什么影响由于时间原因，暂时没有深入研究，有了解的大神可留言进行讨论~