爬虫：获取淘宝商品信息

根据指定关键词，输出商品的价格、名称、店铺、销量

# -*- coding: utf-8 -*-
"""
Created on Thu Oct 31 2019

@author: yangyang
"""

import requests
from bs4 import BeautifulSoup  # 解析网页数据

web_taobao = "https://list.tmall.com/search_product.htm"

headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
        }

params = {
        # 输入搜索商品名称
        "q": "雅诗兰黛 眼霜",
        "type": "p",
        "spm": "a220m.1000858.a2227oh.d100",
        "from": ".list.pc_1_searchbutton"
        }

res = requests.get(web_taobao, headers=headers, params=params)
soup = BeautifulSoup(res.text, 'html.parser')
items = soup.find_all("div", class_="product") 

# 取读前10条数据，一般一页是60条
for i in range(10):
    item = items[i]
    # 商品价格
    productPrice = item.find("p", class_="productPrice").text.strip()
    # 商品名称
    try:
        productTitle = item.find("p", class_="productTitle").text.strip()
    except:
        productTitle = item.find("div", class_="productTitle productTitle-spu").text.strip()
    # 商品店铺
    productShop = item.find("div", class_="productShop").text.strip()
    # 成交数据
    try:
        productStatus = item.find("p", class_="productStatus").text.strip()
    except:
        productStatus = "暂无成交数据"
    print(productTitle,productPrice,productStatus,productShop)
    print("\n")

输出

Estee Lauder/雅诗兰黛 新肌透修护眼部密集精华15ml ¥590.00 该款月成交 522笔 Estee Lauder雅诗兰黛官方旗舰店


Estee Lauder/雅诗兰黛 雅诗兰黛特润修护精华眼霜 ¥510.00 该款月成交 49万笔 Estee Lauder雅诗兰黛官方旗舰店


Estee Lauder/雅诗兰黛 白金级花菁萃紧颜精华眼霜 ¥980.00 该款月成交 105笔 Estee Lauder雅诗兰黛官方旗舰店


Estee Lauder/雅诗兰黛 新肌透修护眼部密集精华 ¥590.00 该款月成交 6.8万笔 Estee Lauder雅诗兰黛官方旗舰店


Estee Lauder/雅诗兰黛 白金花菁粹紧颜焕活眼霜 ¥980.00 该款月成交 6233笔 Estee Lauder雅诗兰黛官方旗舰店


Estee Lauder/雅诗兰黛 特润修护精华眼霜 ¥510.00 该款月成交 2515笔 Estee Lauder雅诗兰黛官方旗舰店


Estee Lauder/雅诗兰黛 肌透修护眼部密集精华露 ¥560.00 该款月成交 30笔 Estee Lauder雅诗兰黛官方旗舰店


Estee Lauder/雅诗兰黛 白金级蕴能黑钻奢华眼霜 ¥2500.00 该款月成交 9笔 Estee Lauder雅诗兰黛官方旗舰店


Estee Lauder/雅诗兰黛 雅诗兰黛弹力多肽眼霜 ¥560.00 该款月成交 129笔 Estee Lauder雅诗兰黛官方旗舰店


Estee Lauder/雅诗兰黛 雅诗兰黛新多效智妍眼霜 ¥550.00 该款月成交 1笔 Estee Lauder雅诗兰黛官方旗舰店