De novo组装#01 | 测序数据质控（fasqc+fast

fastqc查看数据基本情况

1#安装fastqc
课题组超算已安装的fastqc报错，在自己目录下新建一个software目录用于安装相应的软件，手动安装:

cd到software目录
$wget https://www.bioinformatics.babraham.ac.uk/projects/fastqc/fastqc_v0.12.1.zip    ##wget 我这里居然也连不上不知道为什么/笑哭， 于是我在pc下好了再传到超算上
$unzip fastqc_v0.12.1.zip
$cd FastQC/
$chmod 755 ./fastqc    ##加文件权限
$fastqc -h   ##查看帮助文档，出来了代表安装好了，我这里就不添加这个软件的全局环境变量了，后面用绝对路径使用这个软件

2#运行程序
安装完成后，回到放置需要检测的测序数据的目录中，运行程序

$/newlustre/home/jfgui/Wangtao/sofeware/fastqc \   ##绝对路径运行软件
        --outdir /newlustre/home/jfgui/Wangtao/XX_survey/fastqc.out \  #结果输出目录,可以提前新建一个: $ mkdir fastqc.out
        -t 6 \   #指定运行的线程数，如果在超算节点上跑, pbs脚本参数就已经指定节数和核心数这里就可以不用设置了
        /newlustre/home/jfgui/Wangtao/XX_survey/liver.clean.R1.fastq.gz \ #NGS双端测序数据1
        /newlustre/home/jfgui/Wangtao/XX_survey/liver.clean.R2.fastq.gz   #NGS双端测序数据2

3#查看结果
查看输出结果

$ll fastqc.out
总用量 2.9M
-rw-rw-r-- 1 jfgui jfgui 599K 7月  21 21:44 liver.clean.R1_fastqc.html
-rw-rw-r-- 1 jfgui jfgui 850K 7月  21 21:44 liver.clean.R1_fastqc.zip
-rw-rw-r-- 1 jfgui jfgui 607K 7月  21 21:43 liver.clean.R2_fastqc.html
-rw-rw-r-- 1 jfgui jfgui 864K 7月  21 21:43 liver.clean.R2_fastqc.zip

将html文件下载下来查看数据的质量，看看有没有接头，低质量的reads等以便考虑是否需要后续的过滤

fastp过滤低质量数据

1#安装fastp
同样的，我还是手动安装，有条件可以conda install ...

$wget  http://opengene.org/fastp/fastp 
$chmod a+x ./fastp  ##添加权限
$fastp -h   ##查看帮助文档

2#运行程序

/newlustre/home/jfgui/Wangtao/software/fastp \  #绝对路径运行
          --threads 8 \ #指定的线程数，注意是---threads不是-t，-t是另一个参数
          -i /newlustre/home/jfgui/Wangtao/XX_survey/liver.clean.R1.fastq.gz \ #输入的R1端raw data
          -I /newlustre/home/jfgui/Wangtao/XX_survey/liver.clean.R2.fastq.gz \ #输入的R2端raw data
          -o liver.clean.CLEAN.R1.fastq.gz \ #输出过滤后的R1端clean data,看我的数据名称其实公司已经给我过滤过了
          -O liver.clean.CLEAN.R2.fastq.gz \ #输出过滤后的R2端clean data
          -j liver.clean.fastp.json \ #json格式日志
          -h liver.clean.fastp.html \ #网页版日志
          2>liver.clean.fastp #错误重定向

3#查看结果
查看输出结果

$ll fastp.out
总用量 22G
-rw-rw-r-- 1 jfgui jfgui  11G 7月  23 15:57 liver.clean.CLEAN.R1.fastq.gz
-rw-rw-r-- 1 jfgui jfgui  12G 7月  23 15:57 liver.clean.CLEAN.R2.fastq.gz
-rw-rw-r-- 1 jfgui jfgui 482K 7月  23 15:57 liver.clean.fastp.html
-rw-rw-r-- 1 jfgui jfgui 138K 7月  23 15:57 liver.clean.fastp.json
-rw-rw-r-- 1 jfgui jfgui 1.3K 7月  23 15:57 liver.clean.fastp.log

同样的将fastp过滤后的html格式report文件下载下来查看过滤情况

4#质控结果汇总
这一步可以直接依次复制每个样品的fastp report中自己想要的信息，如过滤了前后reads数，Q20，Q30等进行手动汇总，也可以依据以下脚本进行自动汇总

#1用生成所有样品的json日志生成json.list文件用于R脚本的输入，如果样本量少的话也可以用记事本自己写一个
$ls *.fastp.json | awk -F "." '{print $1"\t"$0}' > fastp.json.list   ## *通用符，-F定义分隔符，|通道，$N被分隔符分割的第几个字符，$0整个字段，/t制表符

#2对fastp.json.list里的所有json日志进行过滤结果的汇总统计，用的genek课程提供的R脚本fastp_json2tab.R
$Rscript fastp_json2tab.R fastp.json.list fastp.statout   ## Rscript + R脚本 + 上一步的fastp.json.list + 输出结果