美文网首页Biostar Handbook学习小组
Biostar学习笔记(6)正则表达式和序列比对

Biostar学习笔记(6)正则表达式和序列比对

作者: 天地本宽 | 来源:发表于2017-12-02 17:54 被阅读22次

    正则表达式

    学习资料:

    Intro to Regular expressions

    30分钟入门正则表达式

    为什么要学习正则表达式:在进行基因序列比对的时候,需要对每个基因的特定序列进行匹配、评分,匹配规则往往比较复杂,正则表达式可以高效的实现这一需求。
    入门知识点:

    1. \b是正则表达式规定的一个特殊代码(好吧,某些人叫它元字符,metacharacter),代表着单词的开头或结尾,也就是单词的分界处。虽然通常英文的单词是由空格,标点符号或者换行来分隔的,但是\b并不匹配这些单词分隔字符中的任何一个,它只匹配一个位置。

    举例:从him,history,high,hi中查找hi这个单词,需要使用的正则表达式为:\bhi\b

    假如你要找的是hi后面不远处跟着一个Lucy,你应该用\bhi\b.*\bLucy\b

    *同样是元字符,不过它代表的不是字符,也不是位置,而是数量——它指定*前边的内容可以连续重复使用任意次以使整个表达式得到匹配。

    0\d\d-\d\d\d\d\d\d\d\d匹配这样的字符串:以0开头,然后是两个数字,然后是一个连字号“-”,最后是8个数字(也就是中国的电话号码。当然,这个例子只能匹配区号为3位的情形)。

    \d是个新的元字符,匹配一位数字(0,或1,或2,或……)。

    -不是元字符,只匹配它本身

    为了避免那么多烦人的重复,我们也可以这样写这个表达式:0\d{2}-\d{8}。这里\d后面的{2}({8})的意思是前面\d必须连续重复匹配2次(8次)。

    元字符

    代码 说明
    . 匹配除换行符以外的任意字符
    \w 匹配字母或数字或下划线或汉字
    \s 匹配任意的空白符
    \d 匹配数字
    \b 匹配单词的开始或结束
    ^ 匹配字符串的开始
    $ 匹配字符串的结束

    表1.常用的元字符

    代码 说明
    . 匹配除换行符以外的任意字符
    \w 匹配字母或数字或下划线或汉字
    \s 匹配任意的空白符
    \d 匹配数字
    \b 匹配单词的开始或结束
    ^ 匹配字符串的开始
    $ 匹配字符串的结束

    字符转义

    特殊字符字符转义符:\
    主要用于解决*.等特殊字符在正则表达式中无法代表其自身的问题。

    *表达方式: \*

    .表达方式:\.

    重复

    代码/语法 说明
    * 重复零次或更多次
    + 重复一次或更多次
    ? 重复零次或一次
    {n} 重复n次
    {n,} 重复n次或更多次
    {n,m} 重复n到m次

    表2.常用的限定符

    代码/语法 说明
    * 重复零次或更多次
    + 重复一次或更多次
    ? 重复零次或一次
    {n} 重复n次
    {n,} 重复n次或更多次
    {n,m} 重复n到m次

    字符类

    要想查找数字,字母或数字,空白是很简单的,因为已经有了对应这些字符集合的元字符,但是如果你想匹配没有预定义元字符的字符集合(比如元音字母a,e,i,o,u)需要自己制定规则:如[aeiou]就匹配任何一个英文元音字母,[.?!]匹配标点符号(.或?或!)。

    \(?0\d{2}[) -]?\d{8}
    “(”和“)”也是元字符,后面的分组节里会提到,所以在这里需要使用转义。
    这个表达式可以匹配几种格式的电话号码,像(010)88886666,或022-22334455,或02912345678等。我们对它进行一些分析吧:首先是一个转义字符(,它能出现0次或1次(?),然后是一个0,后面跟着2个数字(\d{2}),然后是)或-或空格中的一个,它出现1次或不出现(?),最后是8个数字(\d{8})。

    分枝条件

    正则表达式里的分枝条件指的是有几种规则,如果满足其中任意一种规则都应该当成匹配,具体方法是用|把不同的规则分隔开。其实就是将所有可能的正则表达式用|连接起来啦~

    0\d{2}-\d{8}|0\d{3}-\d{7}这个表达式能匹配两种以连字号分隔的电话号码:一种是三位区号,8位本地号(如010-12345678),一种是4位区号,7位本地号(0376-2233445)。
    注意:
    使用分枝条件时,要注意各个条件的顺序。

    分组

    用小括号来指定子表达式(也叫做分组),然后你就可以指定这个子表达式的重复次数了,你也可以对子表达式进行其它一些操作(后面会有介绍)。

    (\d{1,3}.){3}\d{1,3}是一个简单的IP地址匹配表达式。要理解这个表达式,请按下列顺序分析它:\d{1,3}匹配1到3位的数字,(\d{1,3}.){3}匹配三位数字加上一个英文句号(这个整体也就是这个分组)重复3次,最后再加上一个一到三位的数字(\d{1,3})。

    反义

    有时需要查找不属于某个能简单定义的字符类的字符。比如想查找除了数字以外,其它任意字符都行的情况,这时需要用到反义:

    代码/语法 说明
    \W 匹配任意不是字母,数字,下划线,汉字的字符
    \S 匹配任意不是空白符的字符
    \D 匹配任意非数字的字符
    \B 匹配不是单词开头或结束的位置
    [^x] 匹配除了x以外的任意字符
    [^aeiou] 匹配除了aeiou这几个字母以外的任意字符

    表3.常用的反义代码

    代码/语法 说明
    \W 匹配任意不是字母,数字,下划线,汉字的字符
    \S 匹配任意不是空白符的字符
    \D 匹配任意非数字的字符
    \B 匹配不是单词开头或结束的位置
    [^x] 匹配除了x以外的任意字符
    [^aeiou] 匹配除了aeiou这几个字母以外的任意字符

    例子:\S+匹配不包含空白符的字符串。
    <a[^>]+>匹配用尖括号括起来的以a开头的字符串。

    以上是一些基础类正则表达式,高级进阶还请看链接肿作者给的更详细的示例。强烈推荐看开头的链接网站,真的是30分钟入门正则表达式~
    linux中可以使用grep配合正则表达式抓取符合一定特征的字符。

    k-mer简介

    The term k-mer typically refers to all the possible substrings of length k that are contained in a string.
    k-mer主要有以下一些用途:

    1. 纠错:出现少的k-mer可能是测序错误
    2. 分类:一些特殊的k-mer可能鉴定基因组
    3. 伪比对:新的伪比对软件可以直接利用常见的k-mer来定位reads

    k-mer计算要远远快于序列比对,因此可以加快比对效率。

    序列比对

    序列比对是生物信息学最为核心的概念。
    在显示序列比对结果时,-代表空缺,|代表匹配,.代表错配。示例:

    ATGCAAATGACAAATAC
    |||| |||.||.|
    ATGC---TGATAACT--

    如果没有特殊说明,一般是用下面的序列和上面的序列进行比对,上面的结果说明序列有5个碱基缺失和2个碱基错配。

    ATGC---TGATAACT--
    |||| |||.||.|
    ATGCAAATGACAAATAC
    这种序列比对结果说明序列有5个插入碱基和2个错配碱基。
    序列比对结果与评分规则有很大关系。
    常用碱基匹配评分规则 EDNAFULL scoring matrix。

    curl -O  ftp://ftp.ncbi.nlm.nih.gov/blast/matrices/NUC.4.4
    cat NUC.4.4
    

    序列比对评分分为碱基(基因)匹配规则和蛋白匹配评分规则两种。
    序列比对结果和匹配规则的选取有很大关系。如果要深入了解,建议阅读更多的参考资料。我也需要再深入学习一下。

    相关文章

      网友评论

        本文标题:Biostar学习笔记(6)正则表达式和序列比对

        本文链接:https://www.haomeiwen.com/subject/naonbxtx.html