1.常用符号
. 匹配任意单个字符，如 a.b 为a“任意某个字符”b acb adb
\ 转义字符
[...]为字符集，相当于在括号中任选一个

2.预定义字符集
\d 匹配任意数字，等价于 [0-9]
\D 匹配任意非数字，等价于[^0-9]
\s 匹配任意空白字符，等价于 [\t\n\r\f\v]
\S 匹配任意非空字符,等价于[^\t\n\r\f\v]
\w 匹配包括下划线的任何单词字符。等价于'[A-Za-z0-9_]'
\W 匹配任何非单词字符。等价于 '[^A-Za-z0-9_]'

3.数量词
“*” 匹配前一个字符0或无限次
“+” 1或无限次
? 0或1次
{m} m次
{m,n} m到n次
例如ab？c 则为匹配ac abc

4.边界匹配
^ 匹配字符串开头
$ 匹配字符串结尾
\A 仅匹配字符串开头
\Z 仅匹配字符串结尾

python中常用的(.?)， （） 表示括号的内容作为返回结果，返回的为列表
“.?”是非贪心算法，匹配任意的字符，例如：“xxIxxhatexxphysicsxx”
可以通过'xx(.*?)xx'匹配符合这种规则的字符串

re模块及其方法
1.compile(pattern, flags=0) compile 编译 pattern 模式 基本上不用
给定一个正则表达式 pattern，指定使用的模式 flags 默认为0 即不使用任何模式,然后会返回一个SRE_Pattern
'''
regex = re.compile(".+")
print regex
output> <_sre.SRE_Pattern object at 0x00000000026BB0B8>
'''
这个对象可以调用其他函数来完成匹配，一般来说推荐使用 compile 函数预编译出一个正则模式之后再去使用，这样在后面的代码中可以很方便的复用它，当然大部分函数也可以不用 compile 直接使用，具体见 findall 函数

2.findall(pattern, string, flags=0)

参数 pattern 为正则表达式, string 为待操作字符串, flags 为所用模式，函数作用为在待操作字符串中寻找所有匹配正则表达式的字串，返回一个列表，如果没有匹配到任何子串，返回一个空列表。
'''
s = '''first line
second line
third line'''

compile 预编译后使用 findall
regex = re.compile("\w+")
print regex.findall(s)
output> ['first', 'line', 'second', 'line', 'third', 'line']

不使用 compile 直接使用 findall
print re.findall("\w+", s)
output> ['first', 'line', 'second', 'line', 'third', 'line']
'''

3.match(pattern, string, flags=0)

使用指定正则去待操作字符串中寻找可以匹配的子串, 返回匹配上的第一个字串，并且不再继续找，需要注意的是 match 函数是从字符串开始处开始查找的，如果开始处不匹配，则不再继续寻找，返回值为 一个 SRE_Match 对象，找不到时返回 None
'''
s = '''first line
second line
third line'''

compile实例用法：
regex = re.compile("\w+")
m = regex.match(s)
print m
output> <_sre.SRE_Match object at 0x0000000002BCA8B8>
print m.group()
output> first

s 的开头是 "f", 但正则中限制了开始为 i 所以找不到
regex = re.compile("^i\w+")
print regex.match(s)
output> None
'''

4.search(pattern, string, flags=0)

函数类似于 match，不同之处在于不限制正则表达式的开始匹配位置
s = '''first line
second line
third line'''

需要从开始处匹配 所以匹配不到

print re.match('i\w+', s)
output> None

没有限制起始匹配位置(所以一般用search（）方法)

print re.search('i\w+', s)
output> <_sre.SRE_Match object at 0x0000000002C6A920>

print re.search('i\w+', s).group()
output> irst

5.sub(pattern, repl, string, count=0, flags=0)

替换函数，将正则表达式 pattern 匹配到的字符串替换为 repl 指定的字符串, 参数 count 用于指定最大替换次数

'''
s = "the sum of 7 and 9 is [7+9]."

基本用法 将目标替换为固定字符串
print re.sub('[7+9]', '16', s)
output> the sum of 7 and 9 is 16.

高级用法 1 使用前面匹配的到的内容 \1 代表 pattern 中捕获到的第一个分组的内容
print re.sub('[(7)+(9)]', r'\2\1', s)
output> the sum of 7 and 9 is 97.

高级用法 2 使用函数型 repl 参数, 处理匹配到的 SRE_Match 对象
def replacement(m):
p_str = m.group()
if p_str == '7':
return '77'
if p_str == '9':
return '99'
return ''
print re.sub('\d', replacement, s)
output> the sum of 77 and 99 is [77+99].

高级用法 3 使用函数型 repl 参数, 处理匹配到的 SRE_Match 对象 增加作用域 自动计算
scope = {}
example_string_1 = "the sum of 7 and 9 is [7+9]."
example_string_2 = "[name = 'Mr.Gumby']Hello,[name]"

def replacement(m):
code = m.group(1)
st = ''
try:
st = str(eval(code, scope))
except SyntaxError:
exec code in scope
return st

解析: code='7+9'
str(eval(code, scope))='16'
print re.sub('[(.+?)]', replacement, example_string_1)
output> the sum of 7 and 9 is 16.

两次替换
解析1: code="name = 'Mr.Gumby'"
eval(code)
raise SyntaxError
exec code in scope
在命名空间 scope 中将 "Mr.Gumby" 赋给了变量 name

解析2: code="name"
eval(name) 返回变量 name 的值 Mr.Gumby
print re.sub('[(.+?)]', replacement, example_string_2)
output> Hello,Mr.Gumby
'''

其中最常用最easy的就是findall（）用法，例如

'''
import lxml
import requests
from bs4 import BeautifulSoup
import time
import re

headers={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36'
}
url="http://bj.xiaozhu.com/"
web_data=requests.get(url,headers=headers)
prices=re.findall('<span class="result_price">¥<i>(.*?)</i></span>',web_data.text)
print(prices)
'''

找findall内容的时候在右键查看网页源代码里面找，如上图。

re模块修饰符
修饰符 描述
re.I 使匹配对大小写不敏感
re.L 做本地化识别（locale-aware）匹配
re.M 多行匹配，影响 ^ 和 $
re.S 使 . 匹配包括换行在内的所有字符
re.U 根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B.
re.X 该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解。

最常用的就是re.S，它能够实现换行匹配，例如
'''
import re

s="""<div>爬虫
</div>
"""
word=re.findall("<div>(.*?)</div>",s,re.S)
print(word)
print(word[0].strip())
'''
输出如下：

image.png