python爬虫-抓取网站的图片

####第一步

找一个图片比较多的网站，比如http://www.daimg.com

####第二步

打开这个 URL ,获取网页数据

···

from urllib import request

import re

def getReq(url):

    url_req = request.urlopen(url) # 打开一个url

    return url_req # 返回这个对象

http_req = getReq("http://www.daimg.com/") # 拿到http 请求

后的上下文对象(HTTPResponse object)

data = http_req.read().decode('GB2312') # 获取网页数据

print(data)

···

####第三步

获取图像链接

···

def getJpg(data):

    jpglist = re.findall(r'src="http.+?.jpg"',data)

    return jpglist

http_req = getReq("http://www.daimg.com/") # 拿到http 请求

后的上下文对象(HTTPResponse object)

data = http_req.read().decode(‘GB2312’) # 获取网页数据

Link = getJpg(data)

print(Link)

···

####第四步

下载图像文件

···

def downLoad(jpgUrl,n):

    try:

        request.urlretrieve(jpgUrl,'%s.jpg' %n)

    except Exception as e:

        print(e)

    finally:

        print(' 图片%s 下载操作完成' % n)

n=1

for jpgurl in Link:

    s = re.findall(r'http.+?.jpg',jpgurl)

    downLoad(s[0],n)

    n= n +1

···

这样就完成了抓取网站中的图片了