Scrapy 框架 item 存入mongodb数据库

一个模版，直接用就好了，看懂就行：https://blog.csdn.net/topleeyap/article/details/78916683

参考2：https://blog.csdn.net/topleeyap/article/details/79029530

Scrapy命令行

几个你需要知道的命令行操作：
http://blog.csdn.net/topleeyap/article/details/79124136

有些网站需要user—Agent 才能正常的爬取，比如说豆瓣

scrapy shell "https://movie.douban.com/subject/1306029/" -s USER_AGENT="Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (K HTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36"

2. Base Spider使用

参考资料

【1】Scrapy框架 基础 豆瓣：https://zhuanlan.zhihu.com/woodenrobot?topic=scrapy

【scrapy进阶使用3套】：

1. 小白进阶之Scrapy第一篇：https://cuiqingcai.com/3472.html
2.进阶Scrapy第二篇：https://cuiqingcai.com/3952.html/2

【3】scrapy进阶使用：

• https://www.jianshu.com/p/041f9cd91d8d
• https://www.jianshu.com/p/7BB9F6B9AC5B

【4】正则表达式

• http://funhacks.net/2016/12/27/regular_expression/

[5] 日期时间StripTime & striftime
http://www.runoob.com/python/att-time-strptime.html