分析

目标：获取淘宝搜索页面的信息，提取其中的商品名称和价格
理解：
淘宝的搜索接口
翻页的处理

首先分析搜索接口，
很容易我们就可以发现，

image.png

https://s.taobao.com/search?q=后面接我们的搜索词就可以

我们再研究翻页处理：
第二页

image.png

第三页

image.png

我们可以发现，s参数指定了搜索页的跳转，每48条记录一次页面跳转。

有同学可能发现还会有其他很多的参数，这个我们先忽略，我们直接构造一个url，只包括搜索词和搜索页，看看能不能访问到正确页面：
比如
https://s.taobao.com/search?q=手机&s=48

我们将上述地址放到地址栏

image.png

发现可以正确访问，所以我们现在就已经知道了如何确定访问接口

设计程序结构

主要有三步

步骤1：提交商品搜索请求，循环获取页面
步骤2：对于每个页面，提取商品名称和价格信息
步骤3：将信息输出到屏幕上

首先我们对于上面研究出的搜索接口给出基本的代码：

#CrowTaobaoPrice.py
import requests
import re

def getHTMLText(url):

    
def parsePage(ilt, html):


def printGoodsList(ilt):

        
def main():
    goods = '手机'
    depth = 3
    start_url = 'https://s.taobao.com/search?q=' + goods
    infoList = []
    for i in range(depth):
        try:
            url = start_url + '&s=' + str(48*i)
            html = getHTMLText(url)
            parsePage(infoList, html)
        except:
            continue
    printGoodsList(infoList)
    
main()

对于获取页面源码的函数，我们已经写过很多次了，就是利用requets库抓取页面

def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

核心代码

这个爬虫最核心的地方就在于对商品信息的获取，我们首先分析页面的源代码，我们搜索第一个商品的名字

image.png

基本上所有商品的信息，名称，价格，月销量都在这段数据结构里显示，是嵌入在js代码里的，所以我们就无法用bs4库来提取。
但我们可以直接用re库，正则表达式提取。
因为我们可以发现，所有的商品名称都是
“title”:" "的格式，我们可以搜索确认一下：

image.png

我们搜索发现，正好是48条记录，也就是48个商品的信息，所以直接匹配就可以把所所有商品名称信息提取出来，是不是很简单。
对于商品价格和月销量也是这么获取的

def parsePage(ilt, html):
    try:
        plt = re.findall(r'\"price\"\:\"[\d\.]*\"',html)
        tlt = re.findall(r'\"title\"\:\".*?\"',html)
        mslt = re.findall(r'\"month_sales\"\:\"[\d\.]*\"',html)
        for i in range(len(plt)):
            price = eval(plt[i].split(':')[1])
            title = eval(tlt[i].split(':')[1])
            monthsales = eval(mslt[i].split(':')[1])
            ilt.append([price , title, monthsales])
    except:
        print("")

完整代码

#CrowTaobaoPrice.py
import requests
import re

def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
    
def parsePage(ilt, html):
    try:
        plt = re.findall(r'\"price\"\:\"[\d\.]*\"',html)
        tlt = re.findall(r'\"title\"\:\".*?\"',html)
        mslt = re.findall(r'\"month_sales\"\:\"[\d\.]*\"',html)
        for i in range(len(plt)):
            price = eval(plt[i].split(':')[1])
            title = eval(tlt[i].split(':')[1])
            monthsales = eval(mslt[i].split(':')[1])
            ilt.append([price , title, monthsales])
    except:
        print("")

def printGoodsList(ilt):
    tplt = "{:4}\t{:8}\t{:16}\t{:16}"
    print(tplt.format("序号", "价格", "商品名称","月销量"))
    count = 0
    for g in ilt:
        count = count + 1
        print(tplt.format(count, g[0], g[1],g[2]))
        
def main():
    goods = '手机'
    depth = 3
    start_url = 'https://s.taobao.com/search?q=' + goods
    infoList = []
    for i in range(depth):
        try:
            url = start_url + '&s=' + str(48*i)
            html = getHTMLText(url)
            parsePage(infoList, html)
        except:
            continue
    printGoodsList(infoList)
    
main()

结果：