美文网首页转录组入门专题豆花转录组第一小分队生物信息学
生信星球转录组培训第一期Day3——卖萌哥

生信星球转录组培训第一期Day3——卖萌哥

作者: 卖萌哥 | 来源:发表于2019-06-07 22:51 被阅读17次

    闲言碎语

    从今天开始转录组学习进入正题啦。
    要重现的文章是

    RNA-Seq Transcriptome Profiling Identifies CRISPLD2 as a Glucocorticoid Responsive Gene that Modulates Cytokine Function in Airway Smooth Muscle Cells

    虽然不是做植物的,但是大体上都是相通的嘛。
    数据存放在NCBI的GEO数据库,现在铺天盖地的都是关于GEO数据库挖掘的教程,比如我树就有GEO的教程,其他平台就更多了,不胜枚举。但是我好像似乎很少接触这个数据库(几乎没有),NCBI用的比较多的就是SRA数据库,有的时候用Taxonomy查一查物种分类信息,年轻的时候(本科二年级)还用过EST数据库(现在都已经被NCBI的别的数据库吞并掉了。官网显示:The Nucleotide database will include EST and GSS sequences in early 2019. )。生信这一行要学的东西很多,会的越多就会发现不会的越多,没法以有限的生命去探索无限的生信的,选择自己感兴趣的方向就好了。

    下面提供一个豆豆写的介绍各种数据库的文章,写得可好了,值得推荐:
    💗点💗我💗看💗G💗E💗O💗数💗据💗库💗介💗绍💗

    你也是~

    数据下载

    皮完了开始正题。

    RNA-seq数据存放地址
    根据文章介绍,数据存放在了GEO数据库的编号是GSE52778.
    传送门:https://www.ncbi.nlm.nih.gov/geo/query/acc.cgi?acc=GSE52778

    这里讲个小技巧:观察一下上面这个链接,是不是搜的GSE52778在最后面?所以如果你想搜换一个编号,那就把最后的编号替换一下就好了。chrome有一个很好用的功能,在右上角的 设置→管理搜索引擎→其他搜索引擎,点击添加,按照下图的模式填写内容

    添加搜索引擎
    输入geo并按一下空格,就会启动使用GEO数据库搜索,这时候只要把要搜的编号打进去就好了,就能直接跳转到你输入的编号的GEO数据库位置了。
    使用GEO数据库搜索

    我们要的原始数据呢就放在这里啦:


    到SRA数据库下载原始数据

    什么嘛,原来又绕回到SRA数据库去了。


    SRA数据库里有16个数据

    野路子方法

    点进来发现有16个数据,一般多个数据的序号都是连着的,按照我以前的彪悍做法呢,就直接写个循环都下载了,不要的下完了删掉。比如这里的SRR编号是SRR1039508 ~ SRR1039523刚好16个。
    脚本如下:

    # 直接用wget下载,-c参数是断点续传,可以在网络断开之后第二次从断开的地方继续下载,否则会从头开始下载噢
    list={08..23}
    for i in $list 
    do
      wget -c ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/SRR103/SRR10395${i}/SRR10395${i}.sra
    done
    
    # 用axel下载。前提是要先安装。我知道ubuntu系统是可以安装的, 别的系统就不知道了。安装需要root权限,也许也可以源码安装?
    # sudo apt-get install axel
    
    list={08..23}
    for i in $list 
    do
      axel ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/SRR103/SRR10395${i}/SRR10395${i}.sra
    done
    

    记得用nohup把脚本挂后台下载。比如把这个脚本命名成dataDown.sh

    nohup bash dataDown.sh &
    

    你问我ftp后面这一串文件夹是怎么找到的?
    无他,唯手熟尔。你要是天天到SRA数据库捞数据并且善于观察和记忆的话你也可以驾轻就熟的。

    以上两种方法二选一。但是这毕竟是野路子,不管是工具还是过程。而且wget有下载不完全的风险,并且下载速度也不敢恭维。axel是一个多线程的下载工具,下载起来会比axel快一些,但是有很多站点是不支持axel下载的。

    那正确的方法是什么呢?

    正经方法

    查看GSE的介绍:


    四组处理

    一共四组,每组四个生物重复。这到底用啥处理的?翻译一下了解一下:

    1)没有治疗; 2)用β2-激动剂(即沙丁胺醇,1μM,18小时)处理; 3)用糖皮质激素(即地塞米松(Dex),1μM处理18小时); 4)同时用β2-激动剂和糖皮质激素治疗

    本次学习小组用对照组和Dexamethasone(第三组)进行学习。

    image.png
    点击如图的位置打开一个新的界面
    image.png

    根据描述勾选所需的数据,点击accession list按钮下载
    用notepad++打开之后是这样的:


    accession list

    创建工作目录:

    mkdir -p ~/rnaseq/{01raw,02clean,03ref,04qc,05align,06count,07script}
    

    加上编号比较方便快速cd到想要去的文件夹。

    软件安装

    接下来用conda安装所需的软件
    conda的安装教程可以参考我的这篇:
    conda的安装与使用(2019-5-16更新)
    (这篇简书已经有四万八千多的阅读量了……把我自己都吓到了)

    # 创建一个新的用于rnaseq的环境,并安装sra-tools
    conda create -n rnaseq sra-tools 
    # 创建好后激活该环境
    conda activate rnaseq
    

    根据豆豆的这篇文章:来吧,加速你的下载
    get 如何配置aspera来提高数据的下载速度

    mkdir ~/biosoft
    cd ~/biosoft
    wget -c http://download.asperasoft.com/download/sw/connect/3.7.4/aspera-connect-3.7.4.147727-linux-64.tar.gz
    tar -zxvf aspera-connect-3.7.4.147727-linux-64.tar.gz
    chmod 777 aspera-connect-3.7.4.147727-linux-64.sh
    bash chmod 777 aspera-connect-3.7.4.147727-linux-64.sh
    

    安装过程中会有提示的:

    Installing Aspera Connect

    Deploying Aspera Connect (/home/xxx/.aspera/connect) for the current user only.
    Restart firefox manually to load the Aspera Connect plug-in

    Install complete

    到家目录用ll -a查看是否存在一个.aspera的隐藏文件

    cd ~
    ls -a
    tree .aspera
    

    内容还挺丰富,tree的结果展示出了很多的文件及文件夹,就不放了。
    ~/.aspera/connect/bin/ascp加入到环境变量中,以全局调用。

    再讲一个小技巧。
    在做生信的过程中难免装很多很多的软件,如果每次都把软件的文件夹加入到$PATH中会让$PATH变得很乱。那怎么办呢?
    解决办法是设定一个特定的文件夹叫softlink,把它加入到~/.bashrc中,如果所安装的软件只有一个程序的话,在softlink中创建一个该程序的软连接即可全局调用该软件啦。

    mkdir ~/softlink
    echo 'export PATH=~/softlink:$PATH' >> ~/.bashrc
    # 或者用vim编辑
    
    cd ~/softlink
    ln -s ~/.aspera/connect/bin/ascp .
    

    这种方法只适用于单个可用程序的情况,如果安装的是一个文件包,里面有很多的脚本和程序可以用的话,还是老老实实的把整个文件夹加入到$PATH中噢。具体的方法我就不写了,可以去看豆豆的那一篇文章。

    下载数据

    因为我用的是windows平台,连接服务器用的是xshell,我可以直接将刚刚下载到本地的
    SRR_Acc_List.txt通过拖动,拖到服务器上。但是需要用安装一个叫lrzsz的程序

    apt-get install lrzsz
    

    刚刚搜了一下,可以用源码安装lrzsz的。教程在此:Linux下rz/sz安装及使用方法

    正式开始下载啦:

    cd ~/rnaseq/01raw
    # 直接把文件拖进终端
    echo 'cat SRR_Acc_List.txt | while read i ;do prefetch $i -O `pwd` ;done' > dataDown.sh
    time bash dataDown.sh
    

    下完了 看了下时间

    real  7m24.571s
    user  0m49.040s
    sys  2m22.474s
    

    真香!

    下载完成
    下好数据啦!那么今天的任务就结束啦~
    哪里看不懂的话我等我回去手把手的教你呀~ @小熊猫

    相关文章

      网友评论

        本文标题:生信星球转录组培训第一期Day3——卖萌哥

        本文链接:https://www.haomeiwen.com/subject/vvgvxctx.html