1.任务描述： 如何做一个爬虫

2.相关知识：

Python提供了urllib.request模块来处理url，这里我们将介绍其中两个常用的方法。
Python内容匹配的re模块 

re模块是Python的正则表达式模块，有关正则表达式的。

函数  re.findall(pattern, string[, flags]):

从string中查找所有符合pattern正则表达式模式的子串，以这些子串作为列表元素返回一个列表。

参数说明：

pattern：要搜寻的正则表达式。

string：要检索的字符串。

flag：可选项，可设置搜索的要求。可以选择输入re.S,re.I等。

re.S：如果不使用re.S参数，则只在每一行内进行匹配，如果一行没有，就换下一行重新开始，不会跨行。而使用re.S参数以后，正则表达式会将这个字符串作为一个整体，将\n当做一个普通的字符加入到这个字符串中，在整体中进行匹配。

3.步骤：

1. URL处理模块（库）

 import urllib.request as req

2.根据URL获取网页

url = 'http://www.gotonudt.cn/site/gfkdbkzsxxw/lqfs/index.html'

3. 创建一个表示远程url的类文件对象

 req.urlopen('url ')

webpage = req.urlopen(url)

4. 读取网页的所有数据,并转换为uft-8编码

data = webpage.read().decode('utf-8')

print(data)

5.re模块是Python的正则表达式模块,调用此模块，从string中查找所有符合pattern正则表达式模式的子串，以这些子串作为列表元素返回一个列表。

 import re

 jpglist = re.findall(r'src="http.+?.jpg"',data)

6。对数据进一步选择，得到地址

for jpgurl in jpglist:

    s = re.findall(r'http.+?.jpg',jpgurl)

    print(s)

7.利用地址下载图片：

def downLoad(jpgUrl,n):

    try:

        request.urlretrieve(jpgUrl,'%s.jpg' %n)

    except Exception as e:

        print(e)

    finally:

        print('图片%s 下载操作完成' % n)

n=1

for jpgurl in jpglist:

    s = re.findall(r'http.+?.jpg',jpgurl)

    downLoad(s[0],n)            #调用函数downLoad

    n= n +1

8.完整代码如下：

import re

import urllib.request as req

url = 'http://www.daimg.com/'

webpage = req.urlopen(url)

data = webpage.read().decode('GB2312')

print(data)

jpglist = re.findall(r'src="http.+?.jpg"',data)

print(jpglist)

def downLoad(jpgUrl,n):

    try:

        request.urlretrieve(jpgUrl,'%s.jpg' %n)

    except Exception as e:

        print(e)

    finally:

        print('图片%s 下载操作完成' % n)

n=1

for jpgurl in jpglist:

    s = re.findall(r'http.+?.jpg',jpgurl)

    downLoad(s[0],n)            #调用函数downLoad

    n= n +1