什么是正则表达式

正则表达式也叫作匹配模式（Pattern），它由一组具有特定含义的字符串组成，通常用于匹配和替换文本。
正则表达式，是一个独立的技术，很多编程语言支持正则表达式的处理。
Wiki：正则表达式（英语：Regular Expression、regex或regexp，缩写为RE），也译为正规表示法】常贵表示法，在计算机科学中，是指一个用来描述或者匹配 一系列符合某个句法规则的字符串的单个字符串。在很多文本编辑器或其他工具里，正则表达式通常被用阿里检索和替换那些符合某个模式的文本内容。许多程序设计语言都支持利用正则表达式进行字符串操作，python也不例外。
通常情况下，如果一个文本中出现了多个匹配，正则表达式返回第一个匹配，如果将 global 设置为 true，则会返回全部匹配；匹配模式是大小写敏感的，如果设置了 ignore case 为 true，则将忽略大小写区别。
有时侯正则表达式也简称为表达式、匹配模式或者模式，它们可以互换。 这里默认 global 和 ignore case 均为 true。

正则表达式的历史

正则表达式的“鼻祖”或许可一直追溯到科学家对人类神经系统工作原理的早期研究。美国新泽西州的Warren McCulloch和出生在美国底特律的Walter Pitts这两位神经生理方面的科学家，研究出了一种用数学方式来描述神经网络的新方法，他们创新地将神经系统中的神经元描述成了小而简单的自动控制元，从而作出了一项伟大的工作革新。
在1956 年,出生在被马克·吐温（Mark Twain）称为“美国最美丽的城市之一的”哈特福德市的一位名叫Stephen Kleene的数学科学家，他在Warren McCulloch和Walter Pitts早期工作的基础之上，发表了一篇题目是《神经网事件的表示法》的论文，利用称之为正则集合的数学符号来描述此模型，引入了正则表达式的概念。正则表达式被作为用来描述其称之为“正则集的代数”的一种表达式，因而采用了“正则表达式”这个术语。
之后一段时间，人们发现可以将这一工作成果应用于其他方面。Ken Thompson就把这一成果应用于计算搜索算法的一些早期研究，Ken Thompson是 Unix的主要发明人，也就是大名鼎鼎的Unix之父。Unix之父将此符号系统引入编辑器QED，然后是Unix上的编辑器ed，并最终引入grep。Jeffrey Friedl 在其著作“Mastering Regular Expressions (2nd edition)”中对此作了进一步阐述讲解，如果你希望更多了解正则表达式理论和历史，推荐你看看这本书。
自此以后，正则表达式被广泛地应用到各种UNIX或类似于UNIX的工具中，如大家熟知的Perl。Perl的正则表达式源自于Henry Spencer编写的regex，之后已演化成了pcre（Perl兼容正则表达式Perl Compatible Regular Expressions），pcre是一个由Philip Hazel开发的、为很多现代工具所使用的库。正则表达式的第一个实用应用程序即为Unix中的 qed 编辑器。
然后，正则表达式在各种计算机语言或各种应用领域得到了广大的应用和发展，演变成为目前计算机技术森林中的一只形神美丽且声音动听的百灵鸟。
以上是关于正则表达式的起源和发展的历史描述，到目前正则表达式在基于文本的编辑器和搜索工具中依然占据这一个非常重要的地位。
在最近的六十年中，正则表达式逐渐从模糊而深奥的数学概念，发展成为在计算机各类工具和软件包应用中的主要功能。不仅仅众多UNIX工具支持正则表达式，近二十年来，在WINDOW的阵营下，正则表达式的思想和应用在大部分 Windows 开发者工具包中得到支持和嵌入应用！从正则式在Microsoft Visual Basic 6 或 Microsoft VBScript到.NET Framework中的探索和发展，WINDOWS系列产品对正则表达式的支持发展到无与伦比的高度，目前几乎所有 Microsoft 开发者和所有.NET语言都可以使用正则表达式。如果你是一位接触计算机语言的工作者，那么你会在主流操作系统（*nix[Linux, Unix等]、Windws、HP、BeOS等）、目前主流的开发语言（python、PHP、C#、Java、C++、VB、Javascript、Ruby等）数以亿万计的各种应用软件中，都可以看到正则表达式优美的舞姿。

为什么要使用正则表达式

在软件开发过程中，经常会涉及到大量的关键字等各种字符串的操作，使用正则表达式能很大程度的简化开发的复杂度和开发的效率，所以在Python中正则表达式在字符串的查询匹配操作中占据很重要的地位

Python中的 re 模块

Python为了方便大家对于正则的使用，专门为大家提供了re模块供我们使用。

import re  # 导入re模块
dir(re)  # 查看re模块的方法和属性
['A', 'ASCII', 'DEBUG', 'DOTALL', 'I', 'IGNORECASE', 'L', 'LOCALE', 'M', 'MULTILINE', 'RegexFlag', '
S', 'Scanner', 'T', 'TEMPLATE', 'U', 'UNICODE', 'VERBOSE', 'X', '_MAXCACHE', '__all__', '__builtins_
_', '__cached__', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__spec__', '__ver
sion__', '_alphanum_bytes', '_alphanum_str', '_cache', '_compile', '_compile_repl', '_expand', '_loc
ale', '_pattern_type', '_pickle', '_subx', 'compile', 'copyreg', 'enum', 'error', 'escape', 'findall
', 'finditer', 'fullmatch', 'functools', 'match', 'purge', 'search', 'split', 'sre_compile', 'sre_pa
rse', 'sub', 'subn', 'template']

元字符

我们发现，虽然Python为外面提供了re模块供我们使用，但是功能太弱，远远无法满足我们的使用，所以我们需要继续学习正则的其他知识。
首先我们来看看正则的单个字符的匹配是如何完成的。

代码	说明
.	匹配除换行符以外的任意字符
\w	匹配大小写字母、数字、下划线或者汉子和其他国建的语言符号
\W	匹配非字母或数字或下划线或汉子，跟\w正好相反
\s	匹配任意的空白符
\S	匹配任意的非空白符
\d	匹配数字
\D	匹配非数字
\b	匹配单词的开始或结束
^	匹配字符串的开始
$	匹配字符串的结束
[ ]	匹配[ ] 中列举的字符

字符转义

在正则表达式中，有很多有特殊意义的是元字符，比如\n和\s等，如果要在正则中匹配正常的"\n"而不是"换行符"就需要对""进行转义，变成'\'。

在python中，无论是正则表达式，还是待匹配的内容，都是以字符串的形式出现的，在字符串中\也有特殊的含义，本身还需要转义。所以如果匹配一次"\n",字符串中要写成'\n'，那么正则里就要写成"\\n",这样就太麻烦了。这个时候我们就用到了r'\n'这个概念，此时的正则是r'\n'就可以了。

正则	待匹配字符	匹配结果	说明
\n	\n	False	因为在正则表达式中\是有特殊意义的字符，所以要匹配\n本身，用表达式\n无法匹配
\n	\n	True	转义\之后变成\，即可匹配
"\\n"	'\n'	True	如果在python中，字符串中的''也需要转义，所以每一个字符串''又需要转义一次
r'\n'	r'\n'	True	在字符串之前加r，让整个字符串不转义

重复

在字符串的匹配中，不可避免的会出现重复的字符，我们如何有好的匹配呢？

代码/语法	说明
*	重复零次或多次
+	重复一次或多次
?	重复零次或一次
{n}	重复n次
{n,}	重复n次或多次
{n,m}	重复n到m次

反义

有时候需要查找不属于某个能简单定义的字符类的字符。比如想查找除了数字意外，其他任意字符都行的情况，只是就需要用到反义。

代码/语法	说明
\W	匹配任意不是字母，数字，下划线，汉子的字符
\S	匹配任意不是空白符的字符
\D	匹配任意非数字的字符
\B	匹配不是单词开头或结束的位置
[^x]	匹配除了 x 以外的任意字符
[^aejko]	匹配除了 aejko 这几个字母意外的任意字符

分组 () 与 |

我们已经提到了怎么重复单个字符（直接在字符后面加上限定符就行了）；但如果我们想要重复一个字符串又该怎么办呢？你可以用小括号来制定子表达式（也叫作分组），然后你就可一制定这个子表达式的重复次数了，你也可以对子表达式进行其他的操作。
（以匹配身份证号码为例）

正则	待匹配字符	匹配结果	说明
^[1-9]\d{13,16}[0-9x]$	110101198001017032	1101011980010170	表示也可以匹配这串数字，但这并不是一个正确的身份证号码，它是一个16位的数字
^[1-9]\d{14}(\d{2}[0-9x])?$	1101011980010170	False	现在不会匹配错误的身份证号了()表示分组，将\d{2}[0-9x]分成一组，就可以整体约束他们出现的次数为0-1次
^([1-9]\d{16}[0-9x]|[1-9]\d{14})$	110105199812067023	110105199812067023	表示先匹配[1-9]\d{16}[0-9x]如果没有匹配上就匹配[1-9]\d{14}

分组命名，后向引用

分组是可以命名的，这是为了便利重复搜索前面某个分组匹配的文本。
我们知道分组是用()来表示的，而给分组命名的方式也是在()内部进行的：(?P<分组的名字>分组的正则)。
当然，后向引用也是在()中引用的：(?P=分组的名字)
列如：

import re

s = r'<(?P<n1>\w*)><(?P<n2>\w*)>.*</(?P=n2)></(?P=n1)>'

s1 = "<a><span>liujiang</span></a>"

res = re.findall(s,s1)

注意：?P<name> 和 ?P=name 中 的P必须大写

贪婪匹配

贪婪匹配：在满足匹配时，匹配尽可能长的字符串，默认情况下，采用贪婪匹配

正则	待匹配字符	匹配结果	说明
<.*>	<script>abcdefg<script>	<script>abcdefg<script>	默认为贪婪匹配模式，会匹配尽量长的字符串
<.*?>	<script>abcdefg<script>	结果①<script>结果②<script>	加上？为将贪婪匹配模式转为非贪婪匹配模式，会匹配尽量短的字符串

几个常用的非贪婪匹配Pattern

*? 重复任意次，但尽可能少重复
+? 重复1次或更多次，但尽可能少重复
?? 重复0次或1次，但尽可能少重复
{n,m}? 重复n到m次，但尽可能少重复
{n,}? 重复n次以上，但尽可能少重复

.*?的用法

. 是任意字符

• 是取 0 至 无限长度
  ? 是非贪婪模式。
  合在一起就是 取尽量少的任意字符，一般不会这么单独写，他大多用在：
  .*?x

就是取前面任意长度的字符，直到一个x出现

re模块下的常用方法

import re

ret = re.findall('a', 'eva egon yuan')  # 返回所有满足匹配条件的结果,放在列表里
print(ret) #结果 : ['a', 'a']

ret = re.search('a', 'eva egon yuan').group()
print(ret) #结果 : 'a'
# 函数会在字符串内查找模式匹配,只到找到第一个匹配然后返回一个包含匹配信息的对象,该对象可以
# 通过调用group()方法得到匹配的字符串,如果字符串没有匹配，则返回None。

ret = re.match('a', 'abc').group()  # 同search,不过尽在字符串开始处进行匹配
print(ret)
#结果 : 'a'

ret = re.split('[ab]', 'abcd')  # 先按'a'分割得到''和'bcd',在对''和'bcd'分别按'b'分割
print(ret)  # ['', '', 'cd']

ret = re.sub('\d', 'H', 'eva3egon4yuan4', 1)#将数字替换成'H'，参数1表示只替换1个
print(ret) #evaHegon4yuan4

ret = re.subn('\d', 'H', 'eva3egon4yuan4')#将数字替换成'H'，返回元组(替换的结果,替换了多少次)
print(ret)

obj = re.compile('\d{3}')  #将正则表达式编译成为一个 正则表达式对象，规则要匹配的是3个数字
ret = obj.search('abc123eeee') #正则表达式对象调用search，参数为待匹配的字符串
print(ret.group())  #结果 ： 123

import re
ret = re.finditer('\d', 'ds3sy4784a')   #finditer返回一个存放匹配结果的迭代器
print(ret)  # <callable_iterator object at 0x10195f940>
print(next(ret).group())  #查看第一个结果
print(next(ret).group())  #查看第二个结果
print([i.group() for i in ret])  #查看剩余的左右结果

finall 的优先级查询

import re

ret = re.findall('www.(baidu|qq).com', 'www.baidu.com')
print(ret)  # ['baidu']     这是因为findall会优先把匹配结果组里内容返回,如果想要匹配结果,取消权限即可

ret = re.findall('www.(?:baidu|qq).com', 'www.qq.com')
print(ret)  # ['www.qq.com']

split的优先级查询

ret=re.split("\d+","eva3egon4yuan")
print(ret) #结果 ： ['eva', 'egon', 'yuan']

ret=re.split("(\d+)","eva3egon4yuan")
print(ret) #结果 ： ['eva', '3', 'egon', '4', 'yuan']

#在匹配部分加上（）之后所切出的结果是不同的，
#没有（）的没有保留所匹配的项，但是有（）的却能够保留了匹配的项，
#这个在某些需要保留匹配部分的使用过程是非常重要的。