一、需求分析

这一篇总共需要爬取两个页面的数据，分别是：

某城市的店铺列表页面
某店铺的评论列表页面

但在爬取的过程中，我们只要多爬几页，网站就会要求登录，所以我们这里还要处理一个登录的页面，即先完成登录，再去爬取。

二、URL提取

浏览器F12 切换到Network选项卡下，再使用到Doc过滤器，打卡登录页面，刷新一次就可以看到URL链接了，后面Web端的URL也是这样获取，就不在重复了。

获取登录URL

# 登录URL
https://account.dianping.com/login?redir=http%3A%2F%2Fwww.dianping.com%2F

F12获取登录的URL

店铺列表URL

# 店铺列表URL
http://www.dianping.com/guangzhou/ch10/p2

评论详情URL

# 评论详情URL
http://www.dianping.com/shop/G8Ieq52Y02jBiXP8/review_all/p2

三、分析文档结构，定位元素位置

在模拟请求之前，就可以先分析文档结构，这一步没什么太大的技术含量，方法也多种多样，一般就是用bs4或正则来提取。定位元素时多是依靠元素的属性来定位，如果元素属性太少了，不足以定位元素，可以考虑使用正则。

如果你不了解bs4这个库，可以参考下面链接：

Beautiful Soup 4.2.0 文档

根据文档结构定位元素

四、编写程序

这里我将测试通过的代码放在下面，基于selenium的爬虫相对来说没那么容易失效，如果文档结构发生了变化，则需要对提取数据部分进行修改，接口则是相对稳定的，往往不那么容易发生变动。

注：

这里需要注意的是，直接使用selenium是会被识别为爬虫的，哪怕是手动操作也不行。这是因为大众点评用JS做了检测，需要绕过这个检测有两种方法（这里采用的是第一种）：

修改浏览器参数

拦截并修改JS

检测webdriver的JS代码

# -*- coding: utf-8 -*-
# @Time    : 2021/4/20 11:14
# @Author  : keep1234quiet
# @FileName: 03.seleniumSpider.py
# @Software: PyCharm
# @Blog    : https://www.jianshu.com/u/2fc23add985d

import random
from selenium import webdriver
from time import sleep
from bs4 import BeautifulSoup as BS


options = webdriver.ChromeOptions()
UA = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.128 Safari/537.36'
options.add_argument(f'user-agent={UA}')

options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)

# 没有配置环境变量的话需要填写Chromedriver的路径：webdriver.Chrome(executable_path="***")
driver = webdriver.Chrome(options=options)
driver.maximize_window()

# 去掉window.navigator.webdriver字段，防止被检测出是使用selenium
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
  "source": """
    Object.defineProperty(navigator, 'webdriver', {
      get: () => undefined
    })
  """
})


def login():
    """
    登录函数
    """
    login_url = 'https://account.dianping.com/login?redir=http%3A%2F%2Fwww.dianping.com%2F'
    driver.get(login_url)   # 打开登录页面，手动扫码登录

    while True:
        try:
            driver.find_element_by_class_name('login-container')  # 还能找到"请登录"
            sleep(2)
        except:
            driver.find_element_by_class_name('countDown')  # 登录成功
            break

    print('登录成功')


def fetch_shoplist(page_num=1):
    """
    获取美食分区下的店铺信息
    """
    city = 'guangzhou'
    food_shop_url = f'http://www.dianping.com/{city}/ch10'  # /p1~
    shop_info = []
    for i in range(1, page_num+1):
        driver.get(food_shop_url+f'/p{i}')
        soup = BS(driver.page_source, 'lxml')
        page_shop = soup.find_all('div', class_='txt')
        for shop in page_shop:
            shop_info.append({
                'shopid': shop.a['data-shopid'],
                'name': shop.a.text.strip(),
                'score': shop.find('div', class_='nebula_star').text.strip()
            })
    return shop_info


def fetch_comment(shopid='H7fXoNAkafmesfFG', page=1):
    """
    爬取指定店铺下的用户评论
    :param shopid: 店铺ID
    :param page: 页码
    :return: 解析后的评论信息
    """
    url = f'http://www.dianping.com/shop/{shopid}/review_all'
    if page != 1:
        url += f'/p{page}'
    driver.get(url)
    soup = BS(driver.page_source, 'lxml')
    comments = soup.find_all('div', class_='main-review')
    comment_list = []
    for item in comments:   # 遍历所有评论
        username = item.find('div', class_='dper-info').text.strip()
        items = item.find_all('span', class_='item')     # 各项评分
        detail_score = []
        for _item in items:
            detail_score.append(_item.text.strip())
        content = item.find('div', class_='review-words').text.strip()  # 获取到的评论不全，做了CSS加密
        comment_list.append({'username': username, 'item': detail_score, 'content': content})
    return comment_list


if __name__ == '__main__':
    login()
    shop_info = fetch_shoplist()
    # print(shop_info)
    for _ in shop_info:
        print(_)
    shopid = shop_info[2]['shopid']     # 这里也可以用for来遍历，但要适当加延时
    comment_list = fetch_comment(shopid=shopid, page=1)
    # print(comment_list)
    for _ in comment_list:
        print(_)
    driver.quit()