这是学习爬虫的第一周的第2小节，按要求爬取商品的：图片地址、商品名称、价格、评分星级，评分量等信息。

爬取的网页如下：

Shop Homepage.png

最终成果：

{'price': '$24.99', 'star': 7, 'title': 'EarPod', 'img': 'img/pic_0000_073a9256d9624c92a05dc680fc28865f.jpg', 'review': '65 reviews'}
{'price': '$64.99', 'star': 4, 'title': 'New Pocket', 'img': 'img/pic_0005_828148335519990171_c234285520ff.jpg', 'review': '12 reviews'}
{'price': '$74.99', 'star': 4, 'title': 'New sunglasses', 'img': 'img/pic_0006_949802399717918904_339a16e02268.jpg', 'review': '31 reviews'}
{'price': '$84.99', 'star': 3, 'title': 'Art Cup', 'img': 'img/pic_0008_975641865984412951_ade7a767cfc8.jpg', 'review': '6 reviews'}
{'price': '$94.99', 'star': 4, 'title': 'iphone gamepad', 'img': 'img/pic_0001_160243060888837960_1c3bcd26f5fe.jpg', 'review': '18 reviews'}
{'price': '$214.5', 'star': 4, 'title': 'Best Bed', 'img': 'img/pic_0002_556261037783915561_bf22b24b9e4e.jpg', 'review': '18 reviews'}
{'price': '$500', 'star': 4, 'title': 'iWatch', 'img': 'img/pic_0011_1032030741401174813_4e43d182fce7.jpg', 'review': '35 reviews'}
{'price': '$15.5', 'star': 4, 'title': 'Park tickets', 'img': 'img/pic_0010_1027323963916688311_09cc2d7648d9.jpg', 'review': '8 reviews'}
#把获得的数据整合到列表，方便之后有其他操作
[{'price': '$24.99', 'star': 7, 'title': 'EarPod', 'img': 'img/pic_0000_073a9256d9624c92a05dc680fc28865f.jpg', 'review': '65 reviews'}, {'price': '$64.99', 'star': 4, 'title': 'New Pocket', 'img': 'img/pic_0005_828148335519990171_c234285520ff.jpg', 'review': '12 reviews'}, {'price': '$74.99', 'star': 4, 'title': 'New sunglasses', 'img': 'img/pic_0006_949802399717918904_339a16e02268.jpg', 'review': '31 reviews'}, {'price': '$84.99', 'star': 3, 'title': 'Art Cup', 'img': 'img/pic_0008_975641865984412951_ade7a767cfc8.jpg', 'review': '6 reviews'}, {'price': '$94.99', 'star': 4, 'title': 'iphone gamepad', 'img': 'img/pic_0001_160243060888837960_1c3bcd26f5fe.jpg', 'review': '18 reviews'}, {'price': '$214.5', 'star': 4, 'title': 'Best Bed', 'img': 'img/pic_0002_556261037783915561_bf22b24b9e4e.jpg', 'review': '18 reviews'}, {'price': '$500', 'star': 4, 'title': 'iWatch', 'img': 'img/pic_0011_1032030741401174813_4e43d182fce7.jpg', 'review': '35 reviews'}, {'price': '$15.5', 'star': 4, 'title': 'Park tickets', 'img': 'img/pic_0010_1027323963916688311_09cc2d7648d9.jpg', 'review': '8 reviews'}]

代码如下：

#! /usr/bin/env python
# _*_ coding: utf-8 _*_
from bs4 import BeautifulSoup
info = [ ]
with open('./index.html','r') as wb_data:
    Soup = BeautifulSoup(wb_data,'lxml')
    #print(Soup)
    imgs = Soup.select('body > div > div > div.col-md-9 > div > div > div > img')
    titles = Soup.select('body > div > div > div.col-md-9 > div > div > div > div.caption > h4 > a')
    prices = Soup.select('body > div > div > div.col-md-9 > div > div > div > div.caption > h4.pull-right')
    dess= Soup.select('body > div > div > div.col-md-9 > div > div div > div.caption > p')
    stars = Soup.select('body > div > div > div.col-md-9 > div > div > div > div.ratings')
    reviews = Soup.select('body > div > div > div.col-md-9 > div > div > div > div.ratings > p.pull-right')
    #print(stars)

for img,title,price,des,star,review in zip(imgs,titles,prices,dess,stars,reviews):
        #print(len(star),star)
        data = {
            'img':img.get('src'),
            'title':title.get_text(),
            'price':price.get_text(),
            #取出实心 星星的数量
            'star':len(star.find_all("span",class_="glyphicon glyphicon-star")),
            'review':review.get_text()
        }
        #打印获得的每一组数据
        print(data)
        #把获得的数据整合到列表，方便之后对数据有其他操作
        info.append(data)
print(info)

总结：

• 学习了find_all()方法,获取了实心星星的数量;
• 掌握了len()方法的使用。