正则表达式
学习资料:
为什么要学习正则表达式:在进行基因序列比对的时候,需要对每个基因的特定序列进行匹配、评分,匹配规则往往比较复杂,正则表达式可以高效的实现这一需求。
入门知识点:
- \b是正则表达式规定的一个特殊代码(好吧,某些人叫它元字符,metacharacter),代表着单词的开头或结尾,也就是单词的分界处。虽然通常英文的单词是由空格,标点符号或者换行来分隔的,但是\b并不匹配这些单词分隔字符中的任何一个,它只匹配一个位置。
举例:从him,history,high,hi中查找hi这个单词,需要使用的正则表达式为:\bhi\b
假如你要找的是hi后面不远处跟着一个Lucy,你应该用\bhi\b.*\bLucy\b
*同样是元字符,不过它代表的不是字符,也不是位置,而是数量——它指定*前边的内容可以连续重复使用任意次以使整个表达式得到匹配。
0\d\d-\d\d\d\d\d\d\d\d匹配这样的字符串:以0开头,然后是两个数字,然后是一个连字号“-”,最后是8个数字(也就是中国的电话号码。当然,这个例子只能匹配区号为3位的情形)。
\d是个新的元字符,匹配一位数字(0,或1,或2,或……)。
-不是元字符,只匹配它本身
为了避免那么多烦人的重复,我们也可以这样写这个表达式:0\d{2}-\d{8}。这里\d后面的{2}({8})的意思是前面\d必须连续重复匹配2次(8次)。
元字符
代码 | 说明 |
---|---|
. | 匹配除换行符以外的任意字符 |
\w | 匹配字母或数字或下划线或汉字 |
\s | 匹配任意的空白符 |
\d | 匹配数字 |
\b | 匹配单词的开始或结束 |
^ | 匹配字符串的开始 |
$ | 匹配字符串的结束 |
表1.常用的元字符
代码 | 说明 |
---|---|
. | 匹配除换行符以外的任意字符 |
\w | 匹配字母或数字或下划线或汉字 |
\s | 匹配任意的空白符 |
\d | 匹配数字 |
\b | 匹配单词的开始或结束 |
^ | 匹配字符串的开始 |
$ | 匹配字符串的结束 |
字符转义
特殊字符字符转义符:\
主要用于解决*.等特殊字符在正则表达式中无法代表其自身的问题。
*表达方式: \*
.表达方式:\.
重复
代码/语法 | 说明 |
---|---|
* | 重复零次或更多次 |
+ | 重复一次或更多次 |
? | 重复零次或一次 |
{n} | 重复n次 |
{n,} | 重复n次或更多次 |
{n,m} | 重复n到m次 |
表2.常用的限定符
代码/语法 | 说明 |
---|---|
* | 重复零次或更多次 |
+ | 重复一次或更多次 |
? | 重复零次或一次 |
{n} | 重复n次 |
{n,} | 重复n次或更多次 |
{n,m} | 重复n到m次 |
字符类
要想查找数字,字母或数字,空白是很简单的,因为已经有了对应这些字符集合的元字符,但是如果你想匹配没有预定义元字符的字符集合(比如元音字母a,e,i,o,u)需要自己制定规则:如[aeiou]就匹配任何一个英文元音字母,[.?!]匹配标点符号(.或?或!)。
\(?0\d{2}[) -]?\d{8}
“(”和“)”也是元字符,后面的分组节里会提到,所以在这里需要使用转义。
这个表达式可以匹配几种格式的电话号码,像(010)88886666,或022-22334455,或02912345678等。我们对它进行一些分析吧:首先是一个转义字符(,它能出现0次或1次(?),然后是一个0,后面跟着2个数字(\d{2}),然后是)或-或空格中的一个,它出现1次或不出现(?),最后是8个数字(\d{8})。
分枝条件
正则表达式里的分枝条件指的是有几种规则,如果满足其中任意一种规则都应该当成匹配,具体方法是用|把不同的规则分隔开。其实就是将所有可能的正则表达式用|连接起来啦~
0\d{2}-\d{8}|0\d{3}-\d{7}这个表达式能匹配两种以连字号分隔的电话号码:一种是三位区号,8位本地号(如010-12345678),一种是4位区号,7位本地号(0376-2233445)。
注意:
使用分枝条件时,要注意各个条件的顺序。
分组
用小括号来指定子表达式(也叫做分组),然后你就可以指定这个子表达式的重复次数了,你也可以对子表达式进行其它一些操作(后面会有介绍)。
(\d{1,3}.){3}\d{1,3}是一个简单的IP地址匹配表达式。要理解这个表达式,请按下列顺序分析它:\d{1,3}匹配1到3位的数字,(\d{1,3}.){3}匹配三位数字加上一个英文句号(这个整体也就是这个分组)重复3次,最后再加上一个一到三位的数字(\d{1,3})。
反义
有时需要查找不属于某个能简单定义的字符类的字符。比如想查找除了数字以外,其它任意字符都行的情况,这时需要用到反义:
代码/语法 | 说明 |
---|---|
\W | 匹配任意不是字母,数字,下划线,汉字的字符 |
\S | 匹配任意不是空白符的字符 |
\D | 匹配任意非数字的字符 |
\B | 匹配不是单词开头或结束的位置 |
[^x] | 匹配除了x以外的任意字符 |
[^aeiou] | 匹配除了aeiou这几个字母以外的任意字符 |
表3.常用的反义代码
代码/语法 | 说明 |
---|---|
\W | 匹配任意不是字母,数字,下划线,汉字的字符 |
\S | 匹配任意不是空白符的字符 |
\D | 匹配任意非数字的字符 |
\B | 匹配不是单词开头或结束的位置 |
[^x] | 匹配除了x以外的任意字符 |
[^aeiou] | 匹配除了aeiou这几个字母以外的任意字符 |
例子:\S+匹配不包含空白符的字符串。
<a[^>]+>匹配用尖括号括起来的以a开头的字符串。
以上是一些基础类正则表达式,高级进阶还请看链接肿作者给的更详细的示例。强烈推荐看开头的链接网站,真的是30分钟入门正则表达式~
linux中可以使用grep配合正则表达式抓取符合一定特征的字符。
k-mer简介
The term k-mer typically refers to all the possible substrings of length k that are contained in a string.
k-mer主要有以下一些用途:
- 纠错:出现少的k-mer可能是测序错误
- 分类:一些特殊的k-mer可能鉴定基因组
- 伪比对:新的伪比对软件可以直接利用常见的k-mer来定位reads
k-mer计算要远远快于序列比对,因此可以加快比对效率。
序列比对
序列比对是生物信息学最为核心的概念。
在显示序列比对结果时,-代表空缺,|代表匹配,.代表错配。示例:
ATGCAAATGACAAATAC
|||| |||.||.|
ATGC---TGATAACT--
如果没有特殊说明,一般是用下面的序列和上面的序列进行比对,上面的结果说明序列有5个碱基缺失和2个碱基错配。
ATGC---TGATAACT--
|||| |||.||.|
ATGCAAATGACAAATAC
这种序列比对结果说明序列有5个插入碱基和2个错配碱基。
序列比对结果与评分规则有很大关系。
常用碱基匹配评分规则 EDNAFULL scoring matrix。
curl -O ftp://ftp.ncbi.nlm.nih.gov/blast/matrices/NUC.4.4
cat NUC.4.4
序列比对评分分为碱基(基因)匹配规则和蛋白匹配评分规则两种。
序列比对结果和匹配规则的选取有很大关系。如果要深入了解,建议阅读更多的参考资料。我也需要再深入学习一下。
网友评论