最近新换了台手机，因此想用爬虫看看淘宝上相关的评价。
Python爬取简单页面还是比较套路的，要么直接爬取HTML页面，要么爬取对应的json页面，当然这里不考虑验证码需要登录等情况。淘宝的页面数据是异步加载的，所以要到相应的json文件里找对应的数据，评论数据都是装载在json里再经过JavaScript处理后显示到HTML页面里的。下面我们来实战一下华为荣耀畅玩7C这款手机在天猫旗舰店的评价，在淘宝上搜索荣耀畅玩7C定位到官方页面，之后按F12打开源码，定位到Network，因为默认F12的开发者选项的页面是对应Elements的，按F5刷新页面后在Network里对应找到相关的json文件，实际爬过一些小项目的人应该很熟悉上面的操作了。如下图：
找到json数据位置
点击Headers可以看到对应的URL和请求方式（是get还是post）
Headers页面.png
可以看到URL很长，里面封装了大量的参数，用这个url可以爬取评论的单个页面，但是要连续爬取各个页面的评论挺困难的，我研究了很久试了很多次callback参数的改变，效果不是很好，后来查网上的资料发现可以简化参数，将后面的参数削减掉，只保留几个必要的参数，变成：https://rate.taobao.com/feedRateList.htm?auctionNumId=商品id¤tPageNum=1，改变currentPageNum就好，于是开始完善代码，用requests获得数据后，用json将str类型的数据变成json数据，然后解析json数据，提取评论中自己关注的数据写入csv文件中，这里懒得用csv库了，直接当做文本文件进行读写。代码如下：
import requests
import json
import re
def getOneUrl(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return -1 # 页面没正常下下来
首先是比较套路的获取单个页面数据，就是调用了 requests.get(url)
def getOverViewComment():#评论概览
oc_url = "https://rate.tmall.com/listTagClouds.htm?" \
"itemId=565264660443&isAll=true&isInner=true"
ovtxt=getOneUrl(oc_url)
print(ovtxt)
#jsonp921({"tags":{"dimenSum":8,…… loudList":""}})
if ovtxt==-1:
return
#ov2=re.compile('\{.+\}').search(ovtxt) #json的部分
ovc = json.loads('{'+ovtxt+'}')
print(ovc["tags"]["rateSum"])
for tc in ovc['tags']['tagClouds']:
print(tc['tag'],tc)
函数getOverViewComment()是获取荣耀畅玩7C的评论概览数据，对应HTML里的效果如下：
HTML里的整体评论
getOverViewComment()运行的输出如下
畅玩7C评论概览
下面的代码功能是获取和解析每个页面的评论数据，具体代码不难理解的。
def parseCommentJson(url, savep): # 解析每个页面的json数据
text = getOneUrl(url)
if text == -1:
print('页面没正常获取', url)
return -1
hc = json.loads(text.strip().strip('()')) # 除掉空格和首尾括号
if (hc['total'] == 0 or hc['comments'] == None):
return 0
print(hc['total'])
with open(savep, 'a+', encoding='utf-8') as wf:
for each_c in hc['comments']: #循环每条评论
wstr = '{name},{date},{ct},{sku}'.format(name=each_c['user']['nick'],
date=each_c['date'], ct=each_c['content'],
sku=each_c['auction']['sku'])
aplst = each_c['appendList']
addstr = ''
if aplst != []: # 有追评
for adict in aplst:
astr = ',{dac},{act}'.format(dac=str(adict['dayAfterConfirm']), act=adict['content'])
addstr = addstr+astr
wf.write(wstr+addstr+'\n')
def honorComment():
for i in range(1,101):#结束页面可以自由改，如果要全量爬就设大一些,每个页面大概有20条 30115/20
url='https://rate.taobao.com/feedRateList.htm?auctionNumId={cid}&' \
'currentPageNum={page}'.format(cid='565264660443',page=str(i))
savep='D:/FFOutput/honor7cComment_{page}.csv'.format(page=str(i)) #直接page=i 也是可以的
#page不迭代时，是写到同一个文件里，省得去合并了
if (parseCommentJson(url,savep)==0):
break #后面没有评论了
honorComment() #调用
代码也可以进行拓展，例如获取评论里的其他属性，我这里主要爬了用户名称、评价时间、评价内容、购买类型以及追评的数据。需要其他数据可以自己改一下代码，并不难。
最后的数据效果如下，我只爬了前100页的数据。
评论数据输出.csv
有这样的几千条数据可以进行一些有趣的分析，例如每天的评价数：评价数随时间变化的折线图、结合促销手段、其他手机的发布时间等数据去理解评价数随时间的变化，分析荣耀10发布是否对荣耀畅玩7C的销量有影响；各种类型售出的比例：大家是更喜欢3G内存版本还是4G内存版本，大家更喜欢哪种颜色；对于核心的评论文本，可以结合自然语言处理进行深入分析，例如情感分析，对有追评数据的分析前后的情感变化，做词云图进行可视化等等。之后也许会把分析过程也用Python实现然后写成文章。
上面的分析过程和爬虫代码是一个框架，想要分析其他产品的淘宝评论也可以按照这个思路。如果有其他有趣的分析视角，欢迎留言。
网友评论