grep

http://deerchao.net/tutorials/regex/regex.htm#lookaround

概念

正则：为处理大量的字符串而定义的一套规则和方法
注意事项：

1. 各语言都有正则表达式，现在是Linux 正则表达式
2. 正则表达式和通配符特殊字符是有本质区别的
3. linux正则表达式一般以行为单位处理
4. alias grep='grep --color=auto'让匹配的内容显示颜色
5. 注意字符集：export LC_ALL=C

准备

alias grep='grep --color=auto'
alias egrep='egrep --color=auto'
export LC_ALL=C

只要是字符串就用双引号

准备文件

[root@ysai reg]# cat oldboy.log
I am oldboy teacher!
I teache linux.

I like badminton ball , billiard ball and chinese chess!
my blog is http://oldboy.blog.51cto.com
our site is http://www.etiantian.org
my qq number is 49000448.

not 4900000448.
my god , i am not oldbey, but OLDBOY!

glad 0909
gd 1212
good 456
god 21
goood 999
gooood 12121
oldboy1
[root@ysai reg]#

字符说明

^word 开头
word$ 结尾
^$ 表示空行

. 代表且只能代表任意一个字符
\ 转义字符，\.就只代表本身，让有着特殊身份意义的字符脱掉马甲，还原原型
* 重复0个或多个前面的一个字符
.* 匹配所有字符，^.*以任意多个字符开头， .*$以任意多个字符结尾

[abc] 包含a,b,c三个中的一个
[^abc] 不包含a,b,c
[0-9]
[a-z]
a\{m,n\} 重复m~n次
a\{m,\} 重复至少m次
a\{n\} 重复n次
a\{,n\} 重复至多n次

^ 表示一行的开头。如：/^#/ 以#开头的匹配。
$ 表示一行的结尾。如：/}$/ 以}结尾的匹配。
\< 表示词首。 如 \<abc 表示以 abc 为首的詞。
\> 表示词尾。 如 abc\> 表示以 abc 結尾的詞。
. 表示任何单个字符。
* 表示某个字符出现了0次或多次。
[] 字符集合。 如：[abc]表示匹配a或b或c，还有[a-zA-Z]表示匹配所有的26个字符。如果其中有^表示反，如[^a]表示非a的字符

grep -E "a{m,n}"  可以不用写反斜线了
egrep <---> grep -E

点(.)的特殊含义
1. 当前目录
2. 使得配置生效，相当于source
3. 隐藏目录
4. 任意一个字符(grep正则)

扩展的正则

grep -E
egrep

+ 表示重复1个或1个以上
? 表示重复0个或1个
| 表示同时过滤多个
() 分组过滤，后向引用

元字符

\b 单词的边界

POSIX

http://www.infoq.com/cn/news/2011/07/regular-expressions-6-POSIX

常见的正则表达式记法，其实都源于Perl，实际上，正则表达式从Perl衍生出一个显赫的流派，叫做PCRE（Perl Compatible Regular Expression），『\d』、『\w』、『\s』之类的记法，就是这个流派的特征。但是在PCRE之外，正则表达式还有其它流派，比如下面要介绍的POSIX规范的正则表达式。
POSIX的全称是Portable Operating System Interface for uniX，它由一系列规范构成，定义了UNIX操作系统应当支持的功能，所以“POSIX规范的正则表达式”其实只是“关于正则表达式的POSIX规范”，它定义了BRE（Basic Regular Expression，基本型正则表达式）和ERE（Extended Regular Express，扩展型正则表达式）两大流派。在兼容POSIX的UNIX系统上，grep和egrep之类的工具都遵循POSIX规范，一些数据库系统中的正则表达式也符合POSIX规范。

# 规范的分类
PCRE(Perl Compatible Regular Expression)
POSIX(Portable Operating System Interface for uniX)
----BRE(grep,vi,sed)
----ERE(egrep,awk)

# 表1.常用的元字符
代码  说明
.   匹配除换行符以外的任意字符
\w  匹配字母或数字或下划线或汉字
\s  匹配任意的空白符
\d  匹配数字
\b  匹配单词的开始或结束
^   匹配字符串的开始
$   匹配字符串的结束

# 表2.常用的限定符
代码/语法   说明
*   重复零次或更多次
+   重复一次或更多次
?   重复零次或一次
{n} 重复n次
{n,}    重复n次或更多次
{n,m}   重复n到m次

# 表3.常用的反义代码
代码/语法   说明
\W          匹配任意不是字母，数字，下划线，汉字的字符
\S          匹配任意不是空白符的字符
\D          匹配任意非数字的字符
\B          匹配不是单词开头或结束的位置
[^x]        匹配除了x以外的任意字符
[^aeiou]    匹配除了aeiou这几个字母以外的任意字符


# 表4.常用分组语法
分类        代码/语法        说明
捕获        (exp)            匹配exp,并捕获文本到自动命名的组里
            (?<name>exp)     匹配exp,并捕获文本到名称为name的组里，也可以写成(?'name'exp)
            (?:exp)          匹配exp,不捕获匹配的文本，也不给此分组分配组号

零宽断言     (?=exp)         匹配exp前面的位置
            (?<=exp)         匹配exp后面的位置
            (?!exp)          匹配后面跟的不是exp的位置
            (?<!exp)         匹配前面不是exp的位置
注释  (?#comment) 这种类型的分组不对正则表达式的处理产生任何影响，用于提供注释让人阅读

# 表5.懒惰限定符
代码/语法   说明
*?         重复任意次，但尽可能少重复
+?         重复1次或更多次，但尽可能少重复
??         重复0次或1次，但尽可能少重复
{n,m}?     重复n到m次，但尽可能少重复
{n,}?      重复n次以上，但尽可能少重复

#【反向引用】
?<word>\w+ 指定表达式组名
\k<name> 反向引用这个分组捕获的内容

=前面是
!后面不是
<=后面是
<!前面不是

ifconfig eth0 | grep -Po '(?<=dr:)\S+'

理解零宽断言

http://deerchao.net/tutorials/regex/regex.htm

grep_01.png grep_02.png grep_04.png

[root@ysai ~]# cat f.txt
<button>this is button</button>
<a href="baidu.com">baidu</a>
[root@ysai ~]# grep -Po '(?<=<(\w{6})>).*(?=<\/\1>)' f.txt
this is button
[root@ysai ~]#

grep -Po '(?<=<(\w+)>).*(?=<\/\1>)' f.txt
grep: lookbehind assertion is not fixed length

grep_05.png

[root@ysai ~]# cat a.txt
I'm singing while you're dancing.
[root@ysai ~]# grep -Po "\b\w+(?=ing\b)" a.txt
sing
danc
[root@ysai ~]# cat b.txt
          inet addr:192.168.0.108  Bcast:192.168.0.255  Mask:255.255.255.0
[root@ysai ~]# grep -Po '(?<=dr:)\S+' b.txt
192.168.0.108
[root@ysai ~]# cat c.txt
reading a book
[root@ysai ~]# grep -Po '(?<=\bre)\w*\b' c.txt
ading
[root@ysai ~]# cat d.txt
Iraq fighting.
[root@ysai ~]# grep -Po '\b\w*q(?!u)\w*\b' d.txt
Iraq
[root@ysai ~]# cat e.txt
123 456d 7890
[root@ysai ~]# grep -Po '\d{3}(?!\d)' e.txt
123
456
890
[root@ysai ~]#

grep_03.png

平衡组

示例

# 过滤以m开头的行
grep "^m" oldboy.log

# 过滤以m结尾的行
grep "m$" oldboy.log

# 显示空行
grep -n "^$" oldboy.log

# 排除空行
grep -v "^$" oldboy.log

# 匹配所有非空行
grep -n "." oldboy.log

# 匹配所有
grep -n ".*" oldboy.log

# 匹配oldby
grep -ni "oldb.y" oldboy.log

# 匹配以点结尾
grep -n "\.$" oldboy.log

# 只输出匹配到的内容 -o
grep -nio "oldb.y" oldboy.log

# 包含o的行
grep -ni "o*" oldboy.log

grep "[abc]" oldboy.log

grep "[^abc]" oldboy.log

grep "0\{3,4\}" oldboy.log

grep "0\{3,\}" oldboy.log

grep "0\{3\}" oldboy.log

grep "0\{,4\}" oldboy.log

# +?
egrep "go+d" oldboy.log
egrep "go?d" oldboy.log

# |
egrep "1521|3306" /etc/services

# ()
egrep "g(la|oo)d" oldboy.log

# b 
egrep "oldboy\b" oldboy.log