实验室服务器环境搭建

作者: SomeAs小波 | 来源:发表于2016-07-11 19:35 被阅读0次

系统安装

准备工作：4G以上U盘一个，linux系统镜像iso，其中Ubuntu推荐安装长期支持版（LTS），centos推荐6.5或7这里采用的是7.

制作启动U盘：制作linux启动盘的软件很多，这里强烈推荐使用rufus这个小工具。主要这个对centos和Windows都很好的支持，像universal usb installers这个Ubuntu官网推荐的工具对centos的支持就不是很好，制作的启动盘不能直接启动，需要有些修改。

开始制作启动盘

打开rufus软件并按照下图所示进行操作等待制作完毕即可。

安装系统

U盘插入电脑，开机选择U盘启动（这里一般会出现两个，一个是UEFI,一个是legacy，选择UEFI进去画面会清晰很多），进入install选项开始安装。后面的安装都是设置一些东西比较傻瓜式，记得不要勾选安装第三方软件，要不安装速度很慢。在分区这一步骤中选择something else，后面手动分区。分区记得home目录要大一点，所有的用户主目录都在这里。还有就是 /usr/local/ /tmp swap等，最后还得给boot设置一个分区，这样以后启动项丢失了还能找的回来。具体的分区方案可以参考百度谷歌别人的建议。对于Ubuntu在选择地区这里建议拔掉网线，有时候会因为这个原因卡死

配置软件源

！！！谨记不同版本的Ubuntu或者centos软件源是有点不一样的，一定要配置对应版本号的软件源。之所以配置软件源是因为默认的软件源服务器一般在国外，访问速度较慢。

3.1.Ubuntu 14.04配置软件源

sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup
sudo gedit /etc/apt/sources.list
在sources.list中增加以下内容
#education ipv6 source
deb http://mirrors6.ustc.edu.cn/ubuntu/ trusty main multiverse restricted universe
deb http://mirrors6.ustc.edu.cn/ubuntu/ trusty-backports main multiverse restricted universe
deb http://mirrors6.ustc.edu.cn/ubuntu/ trusty-proposed main multiverse restricted universe
deb http://mirrors6.ustc.edu.cn/ubuntu/ trusty-security main multiverse restricted universe
deb http://mirrors6.ustc.edu.cn/ubuntu/ trusty-updates main multiverse restricted universe
deb-src http://mirrors6.ustc.edu.cn/ubuntu/ trusty main multiverse restricted universe
deb-src http://mirrors6.ustc.edu.cn/ubuntu/ trusty-backports main multiverse restricted universe
deb-src http://mirrors6.ustc.edu.cn/ubuntu/ trusty-proposed main multiverse restricted universe
deb-src http://mirrors6.ustc.edu.cn/ubuntu/ trusty-security main multiverse restricted universe
deb-src http://mirrors6.ustc.edu.cn/ubuntu/ trusty-updates main multiverse restricted universe
deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
-----------------------------------------------------------------------------------------------
#更新软件源
sudo apt-get update

3.2.Centos 7配置软件源

sudo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo //阿里云的镜像，资源还是比较多的
yum clean all
yum makecache//生成缓存即可
还有一些比较好用的国内源
网易163：http://mirrors.163.com/.help/centos.html
华中科技大学：http://mirrors.hust.edu.cn/help.html#centos
浙江大学：http://mirrors.lifetoy.org/
------------------------------------------------------------------------------
添加RHEL源和一些国外源
yum localinstall http://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-6.noarch.rpm -y

有时候可能出现404错误，这是因为这个有更新了，打开地址搜索epel-release找到对应的地址替换即可。

##最后生成缓存即可：
yum clean all
yum makecache

3.3.配置python的pip源

pip是一个python包安装工具，首先安装pip和python的一些库

yum install python-dev python-pip            // centos
apt-get install python-dev python-pip        //Ubuntu

默认的pip源也是速度超级慢，这里我们配置为豆瓣或者清华的源。centos和Ubuntu的配置是一样的。
首先我们切换到root用户。

su
mkdir ~/.pip
gedit ~/.pip/pip.conf  //对于centos可以用vim ~/.pip/pip.conf, 可通过sudo yum install vim 安装vim
#输入以下内容
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple    
[install]
trusted-host=pypi.tuna.tsinghua.edu.cn

上面仅仅是修改了pip install安装时候的默认源，观察发现在使用setup.py的时候依然是使用的pypi.python.org，这里需要修改distutils的配置。同上切换到root。

vim ~/.pydistutils.cfg
输入：
[easy_install]
index_url = https://pypi.tuna.tsinghua.edu.cn/simple

这样以后安装的时候都是通过清华的镜像源，速度比较快。

安装gcc, gcc-c++, cmake

yum install gcc
yum install gcc-c++
#去cmake官网下载源码包编译安装
比如我这里下载的是
cmake-3.5.2.tar.gz
tar xzvf cmake-3.5.2.tar.gz
cd cmake-3.5.2
sudo ./bootstrap
sudo gmake
sudo make install
#验证安装
cmake -version

配置ssh和添加用户

5.1.Ubuntu 安装ssh server

sudo apt-get install openssh-server
sudo ps -e |grep ssh   //查看ssh服务是否启动成功
sudo service ssh start  //启动ssh服务
# 修改配置文件，设置root用户可以登入
sudo gedit /etc/ssh/sshd_config
注释掉下面这行语句：
# PermitRootLogin without-password
并加入语句：
PermitRootLogin yes
重启ssh服务：
sudo service ssh restart
设置ssh服务开机自启动：
打开/etc/rc.local文件，在exit 0语句前加入：
/etc/init.d/ssh start

5.2.centos设置ssh server

centos默认已经安装了ssh server
开启ssh服务：
service sshd start
设置ssh开机启动：
chkconfig sshd on

5.3 添加用户

Ubuntu和centos有点差别
useradd 对于ubuntu只会创建用户不会在home目录下生成对应的用户文件。
这里采用adduser
修改用户密码
sudo passwd user

对于每一个新建的用户，在/Home下会有对应的用户文件夹，考虑到数据的安全和可移植性，这里我们希望可以将用户目录挂载到系统盘外的盘上。

6.1.利用parted对电脑其他盘进行分区和挂载到用户目录

首先需要对系统盘外的盘进行分区并格式化，利用fdisk -l查看电脑磁盘分布。这里我将5T的盘分成5个分区，对应的盘符是sdd

parted /dev/sdd 
mklabel 
输入gpt
mkpart
输入起始位置和结束位置
！！！上面的操作都是不可逆的
q退出
mkfs.ext4 /dev/xx

6.2.开始挂载分区

vim /etc/fstab
# 前面是对应的磁盘和要挂载到的地方，后面是文件系统等等。
/dev/sdd1 /home/qiudan    ext4    defaults0   0
/dev/sdd1 /home/qiudan    ext4    defaults0   0
/dev/sdd1 /home/qiudan    ext4    defaults0   0
/dev/sdd1 /home/qiudan    ext4    defaults0   0
/dev/sdd1 /home/qiudan    ext4    defaults0   0
#查看fstab配置时候正确
mount –a
df -h
如果正确的话可以看到分区被正确挂载到对应的目录，下面把目录权限给对应的用户：
sudo chown -R xx:xx xx

这个时候切换到对应的用户会发现终端没有显示用户名，这是因为我们挂载的分区缺少一些用户文件，可以通过拷贝获得，并记得授权权限。

sudo cp –R /etc/skel/. /home/xxx
sudo chown xx:xx  home/xx/.bash*

配置 ftp

sudo apt-get install vsftpd
vim /etc/vsftpd.conf
anonymous_enable=Yes
sudo mkdir /srv/files/ftp //希望的ftp文件夹位置
sudo usermod -d /srv/files/ftp ftp //修改ftp文件夹位置配置
sudo restart vsftpd//重启ftp

安装CUDA, cudNNs

没必要提前安装nvidia显卡驱动，cuda里面已经带了，可以在安装CUDA的时候勾选安装驱动选项即可

a.    禁用自带的显卡驱动：
    Vim /etc/modprobe.d/blacklist.conf
    输入以下内容：
    blacklist nouveau
    options nouveau modeset=0
    -------------------------------------------------
    更新内核启动参数：
     sudo update-initramfs -u        //Ubuntu
    sudo dracut --force                //Centos

b.    关闭图形界面
    其中Ubuntu可以参考[1](http://blog.csdn.net/a1311543690/article/details/48861237)
    centos 7图形和命令提示符界面切换：
    systemctl set-default multi-user.target //命令提示符
    systemctl set-default graphical.target  //图形界面
c.  重启开始安装cuda(这里我们选择的是.run file进行安装的)
    查看gcc时候安装
    gcc --version
    如果没安装需要手动安装之！    
    sudo ./cuda_7.5.18_linux.run  --no-opengl-libs (不要安装opengl这会覆盖cpu中集成显卡的opengl库导致装完进不了图形界面)
    首先driver是肯定要安装的，tookit也是要安装的，sample可选，建议安装下，路径的除了sample都用默认的即/usr/local/cuda

安装中按ctrl+c可以跳过长长的阅读协议部分。安装完毕，设置开启图形界面重启ok

d.  安装cudNN( 这里需要注意，最新版本的可能会不兼容caffe，本文采用cudnn4)
    下载x64位的cudnn压缩包。
    tar xvzf cudnn-7.0-linux-x64-v4.0-prod.tgz
    sudo cp cuda/include/cudnn.h /usr/local/cuda/include
    sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
    拷贝完这些文件后还需要注意，重新生成链接文件并赋予对应的权限。
    cd /usr/local/cuda/lib64
    rm -rf libcudnn.so libcudnn.so.4   //删除原来的链接
    chmod u=rwx,g=rx,o=rx libcudnn.so.4.0.7 //对目标文件放开权限
    ln -s libcudnn.so.4.0.7 libcudnn.so.4  //设置链接
    ln -s libcudnn.so.4.0.7 libcudnn.so   //同上
e.    配置cuda的环境变量：
    PATH变量:
    vim /etc/profile
    输入下面内容：
    PATH=/usr/local/cuda/bin:$PATH
    export PATH
    更新环境变量：
    source /etc/profile
    lib变量:
    cd /etc/ld.so.conf.d/
    vim cuda.conf
    输入下面内容：
    /usr/local/cuda/lib64
    更新环境变量： 
    sudo ldconfig

安装FFmpeg

----安装一些依赖库---------------
#安装汇编指令集yasm（必须）
sudo yum install yasm

#安装libass（可选）
sudo yum install libass-devel libav*

#安装H.264编码器 （可选）
从 http://www.videolan.org/developers/x264.html 下载源码包
#解压源码包
tar -xjvf /path/to/x264-snapshot-20080805-2245.tar.bz2
#开始configure并安装H.264
cd /path/to/x264-dir
./configure --enable-shared
make -j8
sudo make install

上述安装完毕后还需配置x264的lib到系统path变量，否则运行ffmpeg会出现 error while loading shared libraries: libavdevice.so.52: cannot open shared object file: No such file or directory

#配置x264
sudo vim /etc/ld.so.conf.d/custom-libs.conf
# Add this
/usr/local/lib
# update to make it work
sudo ldconfig
sudo updatedb

---开始安装FFmpeg---------- 
#下载FFmpeg源码包
git clone https://git.ffmpeg.org/ffmpeg.git ffmpeg
#configure
cd FFmpeg-master
sudo ./configure --enable-libass --enable-libx264 --enable-gpl --enable-shared --prefix=/usr/local/ffmpeg

上述命令按照需要修改，如果没安装libass和x264则不要enable否则会出错

#开始make
make -j8
sudo make install  //因为安装到的路径是 /usr/local/ 需要root权限

#配置FFmpeg的lib库
sudo vim /etc/ld.so.conf.d/ffmpeg.conf
#输入以下内容：
/usr/local/ffmpeg/lib/   // /usr/local/ 和上面configure设置的路径要一致
#保存并使之生效
sudo ldconfig
#设置ffmpeg的path变量
sudo vim /etc/profile/
export PATH=/usr/local/ffmpeg/bin/:$PATH
#添加路径到PKG_CONFIG_PATH
sudo yum install pkgconfig.x86_64  //可能未安装PKG_CONFIG_PATH
sudo vim /etc/profile/
export PKG_CONFIG_PATH=/usr/local/ffmpeg/lib/pkgconfig:$PKG_CONFIG_PATH
#保存并生效，更新db
source /etc/profile
sudo updatedb   //有时候添加到了环境变量不生效，但是又不能重启，执行该条命令很有效。

#查看ffmpeg版本
ffmpeg -version
#比如我这台电脑如下：
---------------------------------------------------------------------------
[zhengbo@mediaszu ~]$ ffmpeg -version
ffmpeg version 3.0.git Copyright (c) 2000-2016 the FFmpeg developers
built with gcc 4.8.5 (GCC) 20150623 (Red Hat 4.8.5-4)
configuration: --enable-shared --prefix=/usr/local/ffmpeg
libavutil      55. 28.100 / 55. 28.100
libavcodec     57. 48.102 / 57. 48.102
libavformat    57. 41.100 / 57. 41.100
libavdevice    57.  0.102 / 57.  0.102
libavfilter     6. 47.100 /  6. 47.100
libswscale      4.  1.100 /  4.  1.100
libswresample   2.  1.100 /  2.  1.100
-----------------------------------------------------------------------------

源码编译安装opencv 2.4.xx

在正式安装opencv之前需要安装一些依赖包，下面是官网给出的指南：

# GCC和ffmpeg还有pkg-config，python-dev前面已经安装
sudo yum install gtk2 gtk2-devel gtk2-devel-docs
sudo pip install numpy
sudo yum insatll libjpg-devel libpng-devel libtiff-devel libjasper-devel

下载opencv的源码包，比如我下载的是opencv-2.4.13.zip

#解压源码包
unzip opencv-2.4.13.zip -d ~/
#进入源码包
cd ~/opecv-2.4.13
mkdir release
cd release
#开始设置cmake
cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local ..   //注意后面有两个点
#等待片刻后可以看到生成了Makefile，下面开始make，可以开启多线程
make -j8
#开始安装
sudo make install
#因为上面的安装路径设置的是"/usr/local/",故此path和lib不需要额外配置环境变量，下面只需要注册下包的信息，配置PKG_CONFIG_PATH
sudo vim /etc/profile
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH
#保存后source，更新db
source /etc/profile
sudo updatedb
#查看opencv版本信息
pkg-config --modversion opencv
#比如我的出现下面
2.4.13

下面继续配置opencv的python接口，参考官网，由于我们opencv采用的是源码安装，所以只需要将一些文件拷贝到python包下即可。

#方法1，拷贝文件
sudo cp /usr/local/lib/python2.7/site-packages/cv2.so /usr/lib/python2.7/site-packages
#方法2，添加路径到PATH
sudo vim /etc/profile
export PYTHONPATH=$PYTHONPATH:/usr/local/lib/python2.7/site-packages
source /etc/profile
#测试接口
python
import cv2
print cv2.__version__

安装tensorflow

方法1.源码安装 //主要准对cundnn5需要源码安装，官方编译好的并不支持cudnn5

a. 安装Bazel，这里我们选择源码安装
    安装之前需要先配置JAVA的环境变量，因为系统默认安装的是openjdk并没有配置JAVA_HOME
    这里我选择先删除系统自带的openjdk，安装官方的JDK8
    #查询系统自带的jdk有哪些
     rpm -qa | grep jdk
    #开始删除
      sudo yum remove name //name是上面查出的包的名字，可以用通配符匹配删除所有的
    #安装Oracle JDK8 
    # http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
    #选择linux 64位的tar.gz包，比如这里我下载的是
        jdk-8u91-linux-x64.tar.gz
    #解压所，建议放到/usr/local
        tar tar zxvf jdk*.tar.gz -C /usr/local/
    #配置环境变量,注意文件夹名字
        sudo vim /etc/profile
        #set java environment
        export JAVA_HOME=/usr/local/jdk1.8.0_60   
        export JRE_HOME=/usr/local/jdk1.8.0_60/jre  
        export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH   
        export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH
    #更新
        source /etc/profile
    #验证
        java -version
      #下载bazel源码包
        git clone https://github.com/bazelbuild/bazel.git
        cd bazel
        ./compile.sh
    #等待几分钟后完毕，生成一个bazel的可执行文件
        sudo cp ~/bazel-master/output/bazel /usr/local/bin
b. 下载tensorflow源码包
    git clone https://github.com/tensorflow/tensorflow
    cd tensorflow-master
    ./configure

如下图：

这里我们直接回车即可，没必要像上图单独指定，采用default即可。

c. build 源码包并生成pip安装包
    bazel build -c opt --config=cuda //tensorflow/tools/pip_package:build_pip_package
    上述命令需要下载，需等待片刻
    #生成 pip安装包
    bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg
    #pip安装tensorflow
    sudo pip install /tmp/tensorflow_pkg/tensorflow-0.9.0-py2-none-any.whl

d. 测试安装
    cd tensorflow-master/models/image/mnist
    python convolutional.py
    #出现下面界面说明安装成功
    Successfully downloaded train-images-idx3-ubyte.gz 9912422 bytes.
    Successfully downloaded train-labels-idx1-ubyte.gz 28881 bytes.
    Successfully downloaded t10k-images-idx3-ubyte.gz 1648877 bytes.
    Successfully downloaded t10k-labels-idx1-ubyte.gz 4542 bytes.
    Extracting data/train-images-idx3-ubyte.gz
    Extracting data/train-labels-idx1-ubyte.gz
    Extracting data/t10k-images-idx3-ubyte.gz
    Extracting data/t10k-labels-idx1-ubyte.gz
      Initialized!
    Epoch 0.00
    Minibatch loss: 12.054, learning rate: 0.010000
    Minibatch error: 90.6%
    Validation error: 84.6%
    Epoch 0.12
    Minibatch loss: 3.285, learning rate: 0.010000
    Minibatch error: 6.2%
    Validation error: 7.0%
    .
    .
    .

方法2. 通过pip安装官方已经编译好的文件

a. 下载whl
下载官方编译好的python安装包
地址[1](https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.9.0-cp27-none-linux_x86_64.whl)
地址[2](https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.9.0-cp27-none-linux_x86_64.whl)
地址1仅仅支持cpu，这里我们选择支持GPU的地址2

b. 开始安装
pip install --upgrade tensorflow-0.9.0-cp27-none-linux_x86_64.whl
#上述命令会安装python的一些其他包
numpy, protobuf, wheel, setuptools
如果中间有安装失败的包，自己手动安装即可。

!这里需要注意的是，如果python当前采用的是Anaconda python，那么在安装setuptools的时候有可能出现
Cannot remove entries from nonexistent file....
这其实是Anaconda的一个bug，主要原因是关于setuptools的一个文件不存在。解决方法如下

c. Anaconda python 升级setuptools
去pypi官网 https://pypi.python.org/pypi/setuptools#using-setuptools-and-easyinstall
下载ez_setup.py
python ez_setup.py

等待片刻成功安装setuptools最新版，并不报错，再执行命令安装tensorflow即可！

实验室服务器环境搭建

系统安装

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读