一、爬取分析
豆瓣音乐是国内音乐资料及评论网站，现在想爬取豆瓣音乐下所有的音乐评论（乐评），乐评属于音乐介绍下的子菜单，本文以周杰伦的叶惠美为例，url：https://music.douban.com/subject/1406522/
可以看到叶惠美下有122条长评论，爬取思路：
- 1、先获取所有乐评的页面url，点击“全122条”即是这首歌全部乐评页面。可以看到122条长评论，共7页。（歌曲url+reviews）
- 2、每页我们按照时间排序获取评论，点击“最新发布的”。（歌曲url+reviews+?sort=time）
- 3、获取每页评论的url，经分析，每页页面url是有规则的（歌曲url+reviews+?sort=time+&start=10整数倍）
- 4、获取每页每条评论的url。
- 5、根据每条评论url，获取每条评论的内容。
评论标题、评论内容、评论者、评论音乐、评论时间、评论url
二、Scrapy代码实现
2.1 创建项目
使用命令Scrapy>scrapy startproject douban
2.2 创建爬虫文件
通过下面命令快速创建CrawlSpider模板的spider爬虫文件music_reviews.py：
scrapy genspider -t crawl music_reviews music.douban.com
使用Pycharm打开douban项目
2.3 编写items.py文件
items.py主要是定义保存想要爬取的内容，是进行数据保存不可缺少的步骤，通过它进行数据的整理并通过Pipelines进行数据的数据库保存，图片下载等，它只有一种类型scrapy.Field()。
2.3 编写爬虫文件music_reviews.py文件
爬虫文件定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，爬虫文件就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。
2.3 编写setting.py文件
setting.py文件提供了定制Scrapy组件的方法，可以控制包括核心(core)，插件(extension)，pipeline及spider组件。比设置Json Pipeliine、LOG_LEVEL等。
本次我们需要设置有：
- 爬取的默认User-Agent，在google浏览器输入
chrome://version/可以得到用户代理USER_AGENT。
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36' - 下载器在下载同一个网站下一个页面前需要等待的时间。
DOWNLOAD_DELAY = 1 - 禁用Cookies
COOKIES_ENABLED = False - 遵守 Robot协议
ROBOTSTXT_OBEY = True
2.4 运行爬虫项目
使用scrapy crawl music_reviews -o review.json运行爬虫项目，爬去返回结果用-o review.json输出创建review.json文件，结果保存到其中。
运行过程：
爬取结束：
总共爬取保持122个item，对应我们总共122条评论。
2.5 查看爬取结果
总共122行结果，和总评论数是一致的！不过文件结果中文显示的是Unicode码，后面我们用pipelines.py指定编码格式 。
2.5 编写pipelines.py文件
当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。以下是item pipeline的一些典型应用：
- 验证爬取的数据(检查item包含某些字段，比如说name字段)
- 查重(并丢弃)
- 将爬取结果保存到文件或者数据库中。
为了启用Item Pipeline组件，必须将它的类添加到 settings.py文件ITEM_PIPELINES 配置。
所以上面的案例，我们首先编写pipelines.py
然后再setting.py文件中启用Pipeline组件。
最有，要在爬虫文件中将获取的数据交给pipeline组件（把之前写的return注释掉）
最后使用命令scrapy crawl music_reviews运行爬虫项目。
查看结果，现在中文显示正常了。
2.6 增加run.py文件运行爬虫项目的方式
增加一个文件在Pycharm快速运行爬虫项目，替代以前命令行方式启动运行，两者其实大同小异。
三、爬取结果保存到Mongodb中
3.1 在setting.py文件中加入你的mongodb的连接信息，爬取存储库表信息。
# MONGODB 主机名
MONGODB_HOST = "127.0.0.1"
# MONGODB 端口号
MONGODB_PORT = 27017
# 数据库名称
MONGODB_DBNAME = "Douban"
# 存放数据的表名称
MONGODB_SHEETNAME = "douban_music_reviews"
3.2 修改pipelines.py文件
注释掉以前写保存为本地json文件的代码，增加存入Mongodb部分。
3.3 运行测试
点击运行之前写的run.py文件
整个项目Gitee地址：
https://gitee.com/yangpengming/spider_douban_music_reviews.git
网友评论