美文网首页SnpHub中文教程
SnpHub搭建(一) | CentOS 7下配置SnpHub所

SnpHub搭建(一) | CentOS 7下配置SnpHub所

作者: esctrionsit | 来源:发表于2020-07-20 16:09 被阅读0次

    SnpHub(主页:http://guoweilong.github.io/SnpHub/)是一款针对大规模基因组变异数据的数据库模型,提供在线的快速检索与轻量级的分析、可视化功能。目前,SnpHub已于GigaScience杂志在线发表(https://doi.org/10.1093/gigascience/giaa060)。本文将介绍SnpHub所需系统环境配置方法和一些问题的解决方案。考虑到CentOS 7系统作为一款稳定可靠且开源免费的Linux发行版系统,在服务器中十分常见。同时,一些依赖项在CentOS 7上的配置较为复杂。因此,本文将以CentOS 7为系统环境进行介绍。

    本文的方法在Docker镜像中(FROM centos:centos7)成功配置了SnpHub所需的系统环境。在实际系统中,也经过的解决方案成功完成了配置。但考虑到系统环境的复杂性,在实际安装中,还请针对错误信息选择(搜索)相应的解决方案,并做好备份

    1. 环境配置

    本节默认用户具有root权限。若非root用户,请在命令前添加sudo(如sudo yum -y update)。

    1.1 yum安装的软件

    yum -y update
    
    yum -y install epel-release
    
    yum -y update
    
    yum -y install R
    
    yum -y install libjpeg-turbo-devel
    
    yum -y install openssl-devel
    
    yum -y install libcurl-devel
    
    # 安装后包含lwgeom,GEOS会用
    yum -y install -y geos-devel
    
    # R包udunits2会用到
    yum -y install udunits2-devel
    
    # R包RPostgreSQL会用
    yum -y install postgresql-devel
    
    # Proj.6会用到
    yum -y install libsqlite3x-devel.x86_64
    
    yum -y install wget
    
    yum -y install curl
    
    yum -y install bzip2
    
    yum -y install ncurses-devel
    
    yum -y install git
    

    1.2 SAMtools工具组和seqkit

    本小节及之后,会将压缩包下载至/tmpdownloads目录。可将此目录替换为自己的临时目录/下载目录。

    # 创建临时文件夹
    # 可连同下述代码一起替换为自己的文件夹地址
    mkdir /tmpdownloads
    

    完全按照本文安装,安装完成后,/tmpdownloads目录可删除。

    # SAMtools
    cd /tmpdownloads/
    wget -c https://github.com/samtools/samtools/releases/download/1.4/samtools-1.4.tar.bz2
    tar jxvf samtools-1.4.tar.bz2
    cd /tmpdownloads/samtools-1.4
    ./configure --prefix=/tmpdownloads/samtools-1.4
    make && make install
    # 编译好的二进制程序放到/usr/local/bin/中,以供命令行下直接调用
    cp ./bin/samtools /usr/local/bin/
    echo 'export PATH="/tmpdownloads/samtools-1.4/bin:$PATH" ' >>~/.bashrc
    # 查看版本信息,正常显示证明安装完成
    samtools
    
    # BCFtools
    cd /tmpdownloads/
    wget -c https://github.com/samtools/bcftools/releases/download/1.8/bcftools-1.8.tar.bz2
    tar jxvf bcftools-1.8.tar.bz2
    cd /tmpdownloads/bcftools-1.8
    ./configure --prefix=/tmpdownloads/bcftools-1.8
    make && make install
    # 编译好的二进制程序放到/usr/local/bin/中,以供命令行下直接调用
    cp ./bcftools /usr/local/bin/
    echo 'export PATH="/tmpdownloads/samtools-1.4/bin:$PATH" ' >>~/.bashrc
    # 查看版本信息,正常显示证明安装完成
    bcftools
    
    # tabix & bgzip
    cd /tmpdownloads/
    wget -c https://github.com/samtools/htslib/releases/download/1.6/htslib-1.6.tar.bz2
    tar jxvf htslib-1.6.tar.bz2
    cd /tmpdownloads/htslib-1.6
    ./configure --prefix=/tmpdownloads/htslib-1.6
    make && make install
    # 编译好的二进制程序放到/usr/local/bin/中,以供命令行下直接调用
    cp ./bin/tabix /usr/local/bin/
    # bgzip在数据预处理中可能用到
    cp ./bin/bgzip /usr/local/bin/
    echo 'export PATH="/tmpdownloads/htslib-1.6/bin:$PATH" ' >>~/.bashrc
    # 查看版本信息,正常显示证明安装完成
    tabix
    
    # seqkit
    
    cd /tmpdownloads/
    wget -c https://github.com/shenwei356/seqkit/releases/download/v0.11.0/seqkit_linux_amd64.tar.gz
    tar -zxvf seqkit_linux_amd64.tar.gz
    # 解压完成直接就是二进制软件
    cp seqkit /usr/local/bin/
    

    1.3 PROJ6、GEOS和GDAL的安装

    # PROJ
    cd /tmpdownloads/
    wget https://download.osgeo.org/proj/proj-6.2.1.tar.gz
    tar -zxvf proj-6.2.1.tar.gz
    wget https://download.osgeo.org/proj/proj-datumgrid-1.8.zip
    # 该压缩包需要解压至proj-6.2.1/data/目录下
    unzip -o proj-datumgrid-1.8.zip -d proj-6.2.1/data/
    cd /tmpdownloads/proj-6.2.1
    ./configure && make && make install
    # 安装完成后,下述命令查看`proj.4`的`.pc`文件路径是否在`$PKG_CONFIG_PATH`中。
    echo $PKG_CONFIG_PATH
    # 如不在,手动添加。(例中,编译后`.pc`文件绝对路径为/tmpdownloads/proj-6.2.1)
    export PKG_CONFIG_PATH=/tmpdownloads/proj-6.2.1
    
    # GEOS
    cd /tmpdownloads/
    wget http://download.osgeo.org/geos/geos-3.6.2.tar.bz2
    tar -xjf geos-3.6.2.tar.bz2
    cd /tmpdownloads/geos-3.6.2
    ./configure && make && make install
    echo "/usr/local/lib" > /etc/ld.so.conf.d/libgeos-x86_64.conf
    # relink to new gdal 
    # need to relogin R
    ldconfig
    
    # GDAL
    cd /tmpdownloads/
    wget http://download.osgeo.org/gdal/3.0.2/gdal302.zip
    unzip gdal302.zip
    cd /tmpdownloads/gdal-3.0.2
    ./configure && make && make install
    echo "/usr/local/lib" > /etc/ld.so.conf.d/libgdal-x86_64.conf
    # relink to new gdal
    # need to relogin R
    ldconfig
    

    1.4 R包的安装

    R -e "install.packages('shiny', repos='https://cran.rstudio.com/')"
    
    R -e "install.packages('ggplot2', repos='https://cran.rstudio.com/')"
    
    R -e "install.packages('ggmap', repos='https://cran.rstudio.com/')"
    
    R -e "install.packages('crayon', repos='https://cran.rstudio.com/')"
    
    R -e "install.packages('rjson', repos='https://cran.rstudio.com/')"
    
    R -e "install.packages('udunits2', configure.args='--with-udunits2-include=/usr/include/udunits2/', repos='https://cran.rstudio.com/')"
    
    R -e "install.packages('RPostgreSQL', dependencies=TRUE, repos='https://cran.rstudio.com/')"
    
    R -e "install.packages('pegas', repos='https://cran.rstudio.com/')"
    
    # 在2020.07.20的安装中,CRAN下架了本软件包,但仍可以下载旧版本。解决方案见第二节
    R -e "install.packages('vcfR', repos='https://cran.rstudio.com/')"
    
    R -e "install.packages('DT', repos='https://cran.rstudio.com/')"
    
    R -e "install.packages('maps', repos='https://cran.rstudio.com/')"
    

    1.5 Shiny-Server安装

    官方安装教程:Download Shiny Server for Red Hat/CentOS 6+

    官方配置教程:Shiny Server Professional v1.5.14 Administrator's Guide

    wget https://download3.rstudio.org/centos6.3/x86_64/shiny-server-1.5.14.948-x86_64.rpm
    sudo yum install --nogpgcheck shiny-server-1.5.14.948-x86_64.rpm
    

    2. 奇怪问题的解决方案

    上文的安装方法在Docker的环境配置中成功完成,但在另一次实际环境配置中出现了一些问题。本节记录了这些问题的解决方案。

    /lib64/libstdc++.so.6: version 'GLIBCXX_3.4.20' not found (required by /usr/lib64/R/library/00LOCK-Rcpp/00new/Rcpp/libs/Rcpp.so)

    安装Rcpp时出现

    首先检查库文件中是否真的没有记录GLIBCXX_3.4.20,返回中若确实没有,则证明文件libstdc++.so.6版本过旧

    strings /usr/lib64/libstdc++.so.6 | grep GLIBCXX
    

    查找全局,寻找有无更新版本的libstdc++.so.6x

    sudo find / -name "libstdc++.so.6*"
    

    (如果没有,安装一下或许再寻找就有了)

    sudo yum install libstdc++
    

    假设找到了其他目录下的更加新的版本的文件libstdc++.so.6.0.25(可检查其中是否有GLIBCXX_3.4.20),将其复制到库目录下,并重命名(软连接)为libstdc++.so.6

    sudo cp /opt/anaconda3/lib/libstdc++.so.6.0.25 /usr/lib64/
    
    sudo mv /usr/lib64/libstdc++.so.6 /usr/lib64/libstdc++.so.6.bkp
    
    sudo ln -s /usr/lib64/libstdc++.so.6.0.25 /usr/lib64/libstdc++.so.6
    

    /usr/lib/libgdal.so.20: undefined symbol: sqlite3_column_table_name

    安装GDAL时出现

    问题出在SQLite3安装时未设置对应参数,导致编译出的SQLite3缺少对应API。

    解决方案是手动下载源码,编译安装。注意,这里下载的版本是3070500,而不是目前最新的3320300,因为3320300版本手动添加SQLITE_ENABLE_COLUMN_METADATA后会报错,疑似存在BUG。

    wget http://www.sqlite.org/sqlite-autoconf-3070500.tar.gz
    tar xvzf sqlite-autoconf-3070500.tar.gz
    cd sqlite-autoconf-3070500
    

    进入目录后,编辑sqlite3.c文件,添加#define SQLITE_ENABLE_COLUMN_METADATA,使看起来形如

    /* ...
    ** if you want a wrapper to interface SQLite with your choice of programming
    ** language. The code for the "sqlite3" command-line shell is also in a
    ** separate file. This file contains only code for the core SQLite library.
    */
    #define SQLITE_CORE 1
    #define SQLITE_AMALGAMATION 1
    #ifndef SQLITE_PRIVATE
    # define SQLITE_PRIVATE static
    #endif
    #ifndef SQLITE_API
    # define SQLITE_API
    #endif
    #define SQLITE_ENABLE_COLUMN_METADATA
    /************** Begin file sqliteInt.h ***************************************/
    /*
    ** 2001 September 15
    **
    ** The author disclaims copyright to this source code.  In place of
    ** a legal notice, here is a blessing:
    

    保存并退出。设置了SQLITE_ENABLE_COLUMN_METADATA后,SQLite3即可增加如下API。(细节见SQLite文档

    SQLITE_ENABLE_COLUMN_METADATA
    
        When this C-preprocessor macro is defined, SQLite includes some additional APIs that provide convenient access to meta-data about tables and queries. The APIs that are enabled by this option are:
    
            sqlite3_column_database_name()
            sqlite3_column_database_name16()
            sqlite3_column_table_name()
            sqlite3_column_table_name16()
            sqlite3_column_origin_name()
            sqlite3_column_origin_name16()
    
    

    继续编译安装SQLite3

    ./configure
    make
    sudo make install
    

    /usr/bin/ld: cannot find -lgfortran

    安装ape时出现

    查看库目录,确实没有名为libgfortran.so的文件,但是有以libgfortran为前缀的其他文件。

    cd /usr/lib64/
    ls
    

    (可选,不一定好用)直接重新安装编译工具集

    sudo yum install centos-release-scl-rh
    sudo yum install devtoolset-7-toolchain
    

    系统内寻找库文件

    locate  lgfortran.so
    

    如果/usr/lib64没有名为libgfortran.so的文件,而在其他目录找到了,把它复制过去。(本例在/usr/lib/gcc/x86_64-redhat-linux/4.8.2/目录下找到了libgfortran.so

    cp /usr/lib/gcc/x86_64-redhat-linux/4.8.2/libgfortran.so /usr/lib64/
    

    vcfR包默认方法安装不上,提示未找到

    原因:vcfR有问题一直没修,被CRAN下架了

    2020.07.20查看时,CRAN上的提示信息

    方法:安装旧版

    # 手动安装依赖
    install.packages('memuse', repos='https://cran.rstudio.com/')
    install.packages('pinfsc50', repos='https://cran.rstudio.com/')
    # 下载旧版安装包进行安装
    install.packages("https://cran.r-project.org/src/contrib/Archive/vcfR/vcfR_1.9.0.tar.gz", repos=NULL, type="source")
    

    相关文章

      网友评论

        本文标题:SnpHub搭建(一) | CentOS 7下配置SnpHub所

        本文链接:https://www.haomeiwen.com/subject/zhfykktx.html