python re模块详解

前面已经初步介绍了正则式的语法规则和re模块的方法。
这次主要举了几个例子，看看re模块在实际工作中的使用。

1. re.match

设定一个字符串

    content = '2005-2018 douban.com, all rights reserved 北京豆网科技有限公司'

• 常规匹配

    result = re.match('2005-\d{4}\s\w{6}\W\w{3}\W{2}\w{3}\s\w{6}\s\w{8}\s.*司$', content)
    print(result.group())

输出结果

> 2005-2018 douban.com, all rights reserved 北京豆网科技有限公司

• 泛匹配

    result = re.match('^2005.*司$', content)
    print(result.group())

输出结果

> 2005-2018 douban.com, all rights reserved 北京豆网科技有限公司

• 目标匹配(括号及group的用法)

    content = '2005-2018 douban.com, all rights reserved 北京豆网科技有限公司'
    result = re.match('^(\d{4})-(\d{4}).*司$', content)
    print(result.group())
    print(result.group(1))
    print(result.groups(), type(result.groups()))
    print(result.group(2))

输出结果

> 2005-2018 douban.com, all rights reserved 北京豆网科技有限公司
> 2005
> ('2005', '2018') <class 'tuple'>
> 2018

• re.match从字符串的开头匹配
  （将常规匹配中表达式 改成 005-\d{4}...都不能匹配成功）
• group与groups的用法：
  1. group()查看正则式所匹配内容
  2. group(1)查看正则式中第一个括号里面的内容
  3. groups()将正则式中所有括号里面的内容组成一个tuple，提取字符串要用切片的方法result.groups()[0]
  4. group() 里面的参数是从1开始的，不是0。
• 匹配模式的参数使用 （re.S举例）
  将content内容中增加换行符‘\n'

content1 = '2005-2018 douban.com, all rights reserved \n 北京豆网科技有限公司'

使用匹配模式的参数re.S，忽略换行符匹配
(具体参数规则请查阅上次的内容)

    result = re.match('^2005.*司$', content1, re.S)
    result_error = re.match('^2005.*司$', content1)

    print(result.group())
    print(result_error)

原本正则式.*不会匹配换行符，但是填写参数re.S后，
输出结果就能匹配到字符串中的换行符了

> 2005-2018 douban.com, all rights reserved 
 北京豆网科技有限公司
> None

2. re.search

!!! 为匹配方便，能用search就不用match !!!

• 贪婪匹配

    result1 = re.search('2018.*(\w{6})', content)
    print(result1.group(1))

输出结果

> 科技有限公司

• 非贪婪匹配

    result2 = re.search('2018.*?(\w{6})', content)
    print(result2.group(1))

输出结果

> douban

区别：
匹配目标(\w{6})是想截取2018以后的连续6个字母数字及下划线
贪婪匹配中.*，尽可能多的匹配到中间的字符，只剩下最后6个字符作为匹配目标
非贪婪匹配.*?，却截取与匹配目标最接近的6个字符

3. re.findall

案例：正则式爬取豆瓣图书相关信息
先获得单个html源码

url = 'https://book.douban.com/top250?icn=index-book250-all'
response = requests.get(url)
content = response.text

这里只截取书名和价格

网页源码

注意使用非贪婪匹配，否则不能截取所有信息

    results = re.findall('title="(\w+)".*?<p class="pl">.*?(\d{2}\.\d{2}).*?</p>', content, re.S)
    print(results)

输出结果是由tuple组成的list

[('追风筝的人', '29.00'), ('小王子', '22.00'), ('围城', '19.00'), ('解忧杂货店', '39.50'), ('活着', '12.00'), ('白夜行', '29.80'), ('挪威的森林', '18.80'), ('嫌疑人X的献身', '28.00'), ('三体', '23.00'), ('不能承受的生命之轻', '23.00'), ('红楼梦', '59.70'), ('梦里花落知多少', '20.00'), ('看见', '39.80'), ('百年孤独', '39.50'), ('何以笙箫默', '15.00'), ('可试读', '19.50'), ('白夜行', '39.50'), ('三体Ⅱ', '32.00'), ('飘', '40.00'), ('送你一颗子弹', '25.00'), ('三体Ⅲ', '38.00')]

---

4. re.finditer

和 findall 类似，在字符串中找到正则表达式所匹配的所有子串，并把它们作为一个迭代器返回

    results = re.finditer('title="(\w+)".*?<p class="pl">.*?(\d{2}\.\d{2}).*?</p>', content, re.S)
    print(results)

返回一个迭代器的对象
<callable_iterator object at 0x000001D2FDA98EB8>
要用循环语句才能调用：

    for result in results:
        print(result.groups())

5. re.compile

用于编译正则表达式，生成一个正则表达式(Pattern)对象，作为参数供其他re模块函数使用

• 以findall改编一下：

    pattern = re.compile('title="(\w+)".*?<p class="pl">.*?(\d{2}\.\d{2}).*?</p>', re.S)
    results = re.finditer(pattern, content)

6. re.sub

用于替换字符串中的匹配项

• 找出连续4个数字，替换为hello welcome

    content = '2005-2018 douban.com, all rights reserved 北京豆网科技有限公司'
    result = re.sub('\d{4}', 'hello welcome', content, 1)
    print(result)

输出结果为

> hello welcome-2018 douban.com, all rights reserved 北京豆网科技有限公司

• 1表示匹配一次，所以只有2005替换了
• 参数默认为0，表示符合条件的，全部替换

• 替换括号内的内容

    result = re.sub('(\d{4})-(\d{4})', r'\2 welcome', content)
    print(result)

输出结果为:

> 2018 welcome douban.com, all rights reserved 北京豆网科技有限公司

• 按照括号顺序，可以将匹配内容调用到替换内容中, eg. r'\2 ...'

微信关注.png