准备工作
User-Agent池
爬微博，这种大项目，必要充分的伪装是必须的，所以需要一个User-Agent池，每次，随机选择一个User-Agent。
爬虫策略
登录微博
登录一直是一个很复杂的问题，不过，我们可以通过selenium来简化这个问题。
直接通过selenium编写浏览器的脚本，自动打开微博的手机站，点击登录，在输入框中填充账号，密码，再点击登录。最后返回cookie即可。
Scrapy配置
MiddleWare：随机User-Agent和随机Cookie
Mongodb：网络爬虫，数据项进场会出现不全，格式不统一的状况，所以采用Mongodb较为合适
进群：125240963 即可获取数十套 PDF哦！
网友评论