需要爬取的数据：如下图，发布的时间，评论内容，颜色分类，以及用户名。
环境：360浏览器
工具：jupyter notebook（建议使用notebook，pycharm需要安装的包一时半会儿装不上）
实验步骤：
第一步，找到详情页
用自己发账号先登录淘宝。
找到完美日记旗舰店，找到周迅代言的小细跟口红产品，点击进入详情页。如下图
滚动鼠标，下拉，找到评论区。如图
分析需要爬取的数据。本篇爬取该产品四个字段：发布时间、评论内容、颜色分类、用户名称。
第二步，分析网页数据
滚动鼠标，到详情页下方，发现有多页数据需要爬取。
按F12键，或是在页面右上方找到“工具——>开发人员工具”。
得到如下页面（如果没有内容，请再次按F5刷新）
点击“NetWork”，再点击“JS”，找到以“list_detail_rate.htm?...”开头的链接，点击该链接，点击右边出现的框的“Preview”，以此找到“jsonp1097——>ra teList”，该数据列表里面存在所需要爬取的数据字段的内容。
通过观察发现，“rateList”列表有20个子项数据。”displayUserNick”为用户名称的字段，“auctionSku”为颜色分类的字段，“rateDate”为发布日期的字段，“rateContent”为评论内容的字段。
现在，我们已经找到所需要爬取的数据所在的数据包。
点击右边小框的“Headers”。找到“General”下的“Request URL”，复制到“currentPage=1”停止，即：
该链接是后面写代码的时候需要用的url地址;
“Request Method”告诉我们请求数据类型为get;“content-type”告诉我们，获取到的数据文本格式为text/html格式，这意味着在写代码的时候需要使用.text或是.HTML()方法，获取到文本内容；”cookie”这一大段写代码的时候也需要复制下来，“user-agent”也需要复制下来，这两个字段都是模拟人浏览网页的，防止服务器端识别出是爬虫而触发反爬机制，严重者封IP。
重点来了！！！
第三步，写爬虫代码。
需要导入的包：
from pandas import DataFrame #存储数据
import pandas as pd # 分析数据
import time # 设置请求访问时间，模拟人浏览页面
import random # 随机数
import requests #发送请求
import re # 使用正则表达式
from bs4 import BeautifulSoup # 解析获取到的文本
import openpyxl #存储数据
新建表，存储数据：
wb=openpyxl.Workbook()
sheet=wb.active #打开活动表
sheet.title='新表1'
sheet['A1']='name' #列名
sheet['B1']='auctionSku' #列名
sheet['C1']='rateDate' #列名
sheet['D1']='rateContent' #列名
代码详情页及其解释
# 胡金丽 2017033213 2021/1/4
from pandas import DataFrame #存储数据
import pandas as pd # 分析数据
import time # 设置请求访问时间，模拟人浏览页面
import random # 随机数
import requests #发送请求
import re # 使用正则表达式
from bs4 import BeautifulSoup # 解析获取到的文本
import openpyxl #存储数据
# 开始运行
if __name__ == "__main__":
wb=openpyxl.Workbook()
sheet=wb.active
sheet.title='新表1'
#列名字段
sheet['A1']='name'
sheet['B1']='auctionSku'
sheet['C1']='rateDate'
sheet['D1']='rateContent'
# 淘宝只能抓取99页数据
for page in range(1,100):
print('\n---------------------------------------------第{}页---------------------------------------------'.format(page))
# 设置每页浏览间隔时间为8到12秒，模拟人浏览页面。目前该区间比较合适，没有爬到一半或者十多页就中断停止
time.sleep(random.randint(8,12))
# 设置代理，模拟人请求数据。该部分都是从“Headers”下的内容复制过来的。
myheader = {
'Accept':'*/*',
'Accept-Language':'zh-CN,zh;q=0.9',
'Referer':'https://detail.tmall.com/item.htm',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36',
'Cookie':'dnk=aaaaaahjl85529134; hng=CN%7Czh-CN%7CCNY%7C156; tracknick=aaaaaahjl85529134; lid=aaaaaahjl85529134; lgc=aaaaaahjl85529134; cookie2=19ee58633482f3b3310474989d89c887; t=d6a9ad72b863b4cd1cb1f61314183617; enc=WiRQwnC66VuVdX0z68e3hYy3f5su9lOe157KMqMD%2Fs4dhixFl2AYgc4T85GIqLAwfVi0NxmA9ajfODV%2FxysuDw%3D%3D; _tb_token_=fdee3535e3b7e; cna=BBB4GMzzhkoCAbfm0zFREDt4; xlly_s=1; uc1=cookie14=Uoe0ZNC9e%2BKKMg%3D%3D&cookie21=WqG3DMC9Fb5mPLIQo9kR&pas=0&cookie15=Vq8l%2BKCLz3%2F65A%3D%3D&cookie16=U%2BGCWk%2F74Mx5tgzv3dWpnhjPaQ%3D%3D&existShop=false; uc3=vt3=F8dCuAAn5eHaq2CrCcE%3D&lg2=UIHiLt3xD8xYTw%3D%3D&nk2=AnCFXU7mB8JX0Kdg6aEUtYM%3D&id2=UUGiEzvGzlBBwA%3D%3D; _l_g_=Ug%3D%3D; uc4=nk4=0%40AJtx9250k9HiX4n79Ml2yqgX%2F7uAJ47Vwtwzkg%3D%3D&id4=0%40U2OVG7BM3GpQuMDpD3srlyGrE8dh; unb=2908467432; cookie1=BxuQ17l5weJgXbqwM8qm4J%2BxYRcImAzb%2FOfytz7gynA%3D; login=true; cookie17=UUGiEzvGzlBBwA%3D%3D; _nk_=aaaaaahjl85529134; sgcookie=E100Hpx7yUIcAEy7AxNzW8aUdFpEzs4J4aQ8ZVjTHTw%2BQJ8B%2B5dJTq4M92FwuKjg5htvsNBJkB3LoEalh%2BeKFWRWVg%3D%3D; sg=421; csg=c903a057; x5sec=7b22726174656d616e616765723b32223a223530383636336634346665633238623832663164623034363532643038656539434c485378663846454b794a6965437374666d6131674561444449354d4467304e6a63304d7a49374d513d3d227d; tfstk=cQ15BOcik0mS57wEaaa28sYuPwAAaBZXo8tRPTAMtl576ybBDsjo_hTqr9mmMdLf.; l=eBSQ8Mi7OtFe6QOABO5Clurza77trIObzrFzaNbMiInca1rFGMiKeNQ2lOAyPdtxgtfATetrJmGnAReB76UdgZqhuJ1REpZZZxJ6-; isg=BL29Rhn1vi0BdRpBzfqpaE77zBm3WvGsupO5in8DsZWEtt_oR6mjfOEgYerwEglk'
}
# 将page的页码 赋值给 url_c ，形成每一页的url地址
url_c = 'https://rate.tmall.com/list_detail_rate.htm?itemId=628774307843&spuId=1845961505&sellerId=3375170974&order=3¤tPage={}'.format(page)
# 发送get请求
res = requests.get(url=url_c,headers=myheader)
# 获取到的内容转码。.content方法获取到的数据格式可以是text，也可以是html格式
content = res.content.decode('utf-8')
# 建立一个空列表，存储每一页的数据
elem_list = []
# 获取到用户名称
elem_list1=re.findall('"displayUserNick":"(.*?)"',content)
# 获取到颜色分类
elem_list2= re.findall('"auctionSku":"(.*?)"',content)
# 获取到发布日期
elem_list3=re.findall('"rateDate":"(.*?)"',content)
# 获取到评论内容
elem_list4=re.findall('"rateContent":"(.*?)"',content)
# 将获取的列表进行转置，形成每一行一条完整的记录
for num in range(len(elem_list1)):
elem_list.append([elem_list1[num],elem_list2[num],elem_list3[num],elem_list4[num]])
# 将每一天记录添加进表格
for i in elem_list:
sheet.append(i)
print(elem_list)
# 必须有这一步，存入perfectdiary_data.xlsx表
wb.save('perfectdiary_data.xlsx')
print("完成！！！")
# 如果出现connectionerror的错误，目前方法是：把页码范围 range()起始点 改为没有爬取成功的页码数，表的名字改为不同之前的。
# 前面爬取没有出错的页码已经存储到excel表格里面去了，重新运行。后面只需要将两个excel表格的内容合并即可
结果如图（没有做数据清洗的哈）：
完结，撒花花
有问题，可留言哇
求夸！
网友评论