本笔记整理自中谷教育在线教育视频

学习笔记——正则表达式常用符号

这里学习过正则表达式后，简单做了一个爬虫程序，效果为从某个网站上下载网站上的符合要求的图片。这里选取了百度贴吧中的某个壁纸网站：实验网站，目标是下载实验网站上面的壁纸图片。

实现代码

import re
import urllib

def getHtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html

def getImg(html):
    reg = r'src="(.*?\.jpg)" width'
    imgre = re.compile(reg)
    imglist = re.findall(imgre, html)
    x = 0
    for imgurl in imglist:
        urllib.urlretrieve(imgurl,'%s.jpg' %x)
        x+=1

Html = getHtml("https://tieba.baidu.com/p/1112043392?pid=12757849991&cid=0&red_tag=0812006929#12757849991")  \\选取某百度贴吧网址
getImg(Html)

代码分析
首先，这里导入正则表达式模块re、网页爬虫模块urliib

import re
import urllib

定义两个函数，getHtml()和getImg()，作用分别为获得网页的源代码和得到图片。

def getHtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html

getHtml()函数实现了从网站url上获取源代码。

def getImg(html):
    reg = r'src="(.*?\.jpg)" width'
    imgre = re.compile(reg)
    imglist = re.findall(imgre, html)
    x = 0
    for imgurl in imglist:
        urllib.urlretrieve(imgurl,'%s.jpg' %x)
        x+=1

getImg()函数实现了从源代码匹配图片的原网址代码，主要是正则的定义，分析过网站源代码后，发现图片原网址有以下共同特征：以'.jpg'结尾，网站前后有"，在""之前有字符串'src='，之后有' width'，于是，正则的定义可以如下：

reg = r'src="(.*?\.jpg)" width'

其中，reg = r'str'表示定义字符串str为正则；（）表示只输出（）内的字符串的内容，即在后面由re.findall()函数匹配后只输出图片源网站。这里的'.'表示任意字符，'*'表示取0到无限长，'?'表示进行最小匹配，防止在网站源代码内进行最大搜索，不能得到图片网址，这里第二个'.'前面加''表示这里的'.'是字符本身，而不是广泛的任意字符。
然后使用urllib.urlretrieve()实现图片的下载，命名。

urllib.urlretrieve(imgurl,'%s.jpg' %x)

---

几点问题

• 这里进行图片下载时首先要保证图片网站是能够进入的，笔者在实现时就出现了报错状态，原因是匹配的图片网站本身就是不可进入的。
• 匹配后可能会出现非要求的网址被匹配出来，这里就要求能够精确搜索条件，增加匹配的精度。