requests+正则表达式（二） 之 百科和京东图片 的下载

爬取了那么多数据信息，今天我们换个口味，爬取图片链接并将其下载到本地里，下面我们来下百度百科和京东的图片，废话不多说，直接上案例：

案例一：爬取百度百科图片（https://tieba.baidu.com/p/3823765471?red_tag=2142847374）

打开这个网址我们检查下图片和网页源码，规律如下：

2.png

观察了图片格式之后，我们可以开始定义函数并设置爬取的正则了：

import requests
import re
import urllib.request

#模拟成浏览器
headers = { "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36" }

#定义爬取贴吧图片并下载的函数 (https://tieba.baidu.com/p/3823765471)
def req_tieba_img(url):
    html = requests.get(url, headers=headers)#请求页面源码
    html.encoding = "utf-8" #设置编码
    response = html.text #转换成文本形式
    #爬取图片的正则表达式
    reg = r'<img class="BDE_Image" src="(.*?\.jpg)"'
    data = re.compile(reg, re.S).findall(response) #预编译并执行查找

    x = 1
    for img in data:
        img_name = r"C:/Users/Administrator/Desktop/baike/"+ str(x) +".jpg"
        
        print("正在写入第 "+ str(x) +" 张图片...")
        try:
            with open(img_name,"wb") as f: #将图片保存如本地
                f.write(requests.get(img).content) #这个必须要先请求图片而不仅仅是放入的是链接而已
        except Exception as e: #即使抛出异常对我们的重命名图片也没有影响
            x += 1
        
        x += 1 #自增

#调用
url = "https://tieba.baidu.com/p/3823765471"
req_tieba_img(url)

我们执行爬虫文件之后效果如下：

3.png

案例二：爬取京东手机图片（https://list.jd.com/list.html?cat=9987,653,655&page=页数）

打开网页我们在检查中观察我们要抓取的图片列表所在的区域，因为京东页面图片太多，因此待会儿我们爬取的时候先定位我们需要爬取的区域（注：区域定位有个开始和结束位置，并且这个两个标志必须唯一），然后再找个区域里面爬取图片，页面观察图：

5.png

知道规律之后我们开始敲代码了:

#定义爬取京东手机图片并下载的函数
def req_jingdong_img(url, page):
    #请求页面源码
    html = requests.get(url, headers=headers)
    html.encoding = "utf-8" #设置编码
    response = html.text #转换成文本形式
    #指定爬取的数据范围及过滤掉部分没必要的信息
    reg1 = r'<div id="plist".+?<div class="page clearfix">' #设置正则表达式
    data1 = re.compile(reg1, re.S).findall(response) #预编译并且执行
    #抓取jpg图片链接
    reg2 = r'<img width="220" height="220" data-img="1" src="//(.*?\.jpg)"'
    list_img = re.compile(reg2, re.S).findall(data1[0])

    x = 1
    for imgurl in list_img:
        image_name = "C:\\Users\\Administrator\\Desktop\\jingdongimg\\"+ str(page) + str(x) +".jpg" #拼接下载之后图片的名字
        imgurl = "http://"+ imgurl #在浏览器中打开观察地址栏中的图片链接
        
        print("正在写入第 "+ str(page)+" 页第 "+ str(x) +" 张图片")

        try:
            urllib.request.urlretrieve(imgurl, filename=image_name)#这个方式自带请求图片

        except Exception as e:
            x += 1

        x += 1


#调用
for i in range(1,67):#请求66页的图片
    url = "https://list.jd.com/list.html?cat=9987,653,655&page="+ str(i)
    req_jingdong_img(url, i)

执行之后效果图如下:

6.png

哈哈哈，图片爬取和下载就是这样了，爬取网站千变万化，但是使用的核心技术还是一个原理，希望对您有帮助，欢迎留言！