美文网首页生物信息学
Ubuntu服务器搭建踩坑记

Ubuntu服务器搭建踩坑记

作者: Kylin824 | 来源:发表于2019-11-25 16:46 被阅读0次

    主机配置:
    CPU:AMD Ryzen 9 3900X
    主板:技嘉(GIGABYTE)X570 AORUS PRO WIFI
    内存:金士顿(Kingston) fury系列 DDR4 2400 32GB(16G×2)套装 x2
    SSD:西部数据 sn750 1TB SSD
    硬盘:西部数据 红盘 4TB SATA6Gb/s 64M
    散热:猫头鹰 NH-D15 CPU散热器
    显卡:七彩虹 iGame GeForce RTX 2080 Ti Advanced OC
    电源:美商海盗船 (USCORSAIR) 额定750W RM750x
    机箱:安钛克(Antec)P110静音 1mm钢板12.8kg大空间/ATX-MATX-ITX主板

    操作系统: ubuntu-18.04.3-desktop-amd64

    准备一个空白u盘,在win10系统下直接打开iso文件,将里面的文件全部复制到u盘中


    image.png

    【第1个坑】:
    一开始u盘格式化成NTFS格式的,启动后出现错误
    解决办法:重新将u盘格式化为FAT32格式

    启动机器,按F12进入boot选项,选择uefi启动u盘,出现安装界面,开始安装。。。
    中间省略
    直到分区设置,选择手动分区,进行分区,分区参考如下:


    image.png

    其中swap部分根据内存大小改为64GB

    【第2个坑】
    选择现在安装,出现错误:“ No EFI System Partition was found...”
    原因是缺少一个efi分区
    解决办法:新增一个efi分区,大小设为500MB


    image.png

    继续安装。。。
    安装完成,选择重启
    【第3个坑】
    出现黑屏,显示:“ please remove installation media and close the tray (if any) then press ENTER”
    拔掉u盘后按回车键毫无反应
    解决办法:重启一次,顺利进入桌面

    进入桌面后,开始配置,此时没有网络连接。

    【第4个坑】
    由于路由器不在机器附近,没有办法通过有线连接,查看wifi提示:“未发现WIFI适配器”,wifi也暂时用不了
    解决办法:自己的pc连接wifi,再通过以太网口共享网络给这台新服务器
    “设置”——“网络和Internet”——“更改适配器选项”——“WLAN”——“右键属性”——“共享”——勾选“允许其他网络用户通过此计算机的Internet连接来连接”——“以太网”


    image.png

    成功连接网络。

    更改镜像源,选择阿里云或者清华的镜像源


    image.png

    【第5个坑】
    查看附加驱动,发现网卡驱动仍然是空白。。。
    到技嘉官网查看此款主板的网卡驱动,发现只有windows系统的。。。

    image.png
    先查看自己的当前网卡:
    lspci -nnk | grep -iA2 net
    可以看到Network controller以及Ethernet controller,分别是无线网卡和有线网卡
    其中无线网卡写着“Intel Corporation Device [8086:2723] (rev 1a)”,表明无线网卡的型号
    搜索该型号,发现一个帖子说更新kernel版本可以解决
    image.png
    查看当前kernel版本:“uname -r”,显示“5.0.0-23-generic”,尝试更新kernel到最新的5.3.13版本
    参考如下博文 : 更新Ubuntu内核
    更新后重启, 发现wifi可以用了!
    但是房间内信号有点差,装上信号放大器,网速终于达到正常水平。。
    ps:实际上面那个无线网卡型号并没有什么卵用,这块主板真正的无线网卡型号是intel ax200,驱动在支持英特尔®无线适配器的 Linux *里面第二个,安装方式:更新内核并安装无线网卡驱动

    【第6个坑】
    挂载机械硬盘(4TB)
    由于超过2TB,所以不能用MBR,应该用GPT。
    解决方法:参考Ubuntu 16.04通过GPT挂载硬盘
    最后一步挂载点 在根目录下新建一个common文件夹,挂载到这里 /common,在其中为每个用户创建一个文件夹,用于放置大文件到硬盘中

    【第7个坑】

    4种方式安装显卡GTX2080Ti的驱动

    选择方式3:PPA仓库进行自动化安装
    步骤如下

    sudo add-apt-repository ppa:graphics-drivers/ppa
    sudo apt-get update
    ubuntu-drivers devices # 查看推荐的型号,这里显示推荐440
    sudo apt install nvidia-driver-440 # 或者 sudo ubuntu-drivers autoinstall
    下载过程好慢。。
    

    重启

    nvidia-smi #查看显卡信息
    

    有相应显卡提示则成功安装。

    安装CUDA

    image.png

    安装过程中选择需要安装的内容时,将驱动driver去掉,不要安装显卡驱动
    安装结束后重启

    查看cuda版本

    cat /usr/local/cuda/version.txt
    
    显示 CUDA Version 10.2.89
    

    安装CUDNN

    需要注册账号
    选择对应cuda版本的


    image.png

    下载后的文件后缀为solitairetheme8,先转为tgz


    image.png image.png

    用户管理

    给root用户设密码

    sudo passwd root
    

    切换root用户

    su - root:以root身份登录
    su root:与root建立一个连接,通过root执行命令。
    区别是su目录还是原先用户目录,su - root后目录就变为root用户的主目录。
    

    创建用户,分配账号

    sudo adduser db
    password for xx:
    两次输入db的初始密码,出现的信息如下
    passwd: password updated successfully
    Changing the user information for db
    Enter the new value, or press ENTER for the default
    Full Name []:
    Room Number []:
    Work Phone []:
    Home Phone []:
    Other []:
    Full Name []:
    
    等信息一路回车
    这个信息是否正确? [Y/n] y
    

    如果用户需要root权限,则执行命令:

    root@ubuntu:~# sudo vim /etc/sudoers
    修改文件如下:
    # User privilege specification
    root ALL=(ALL) ALL
    username ALL=(ALL) ALL
    

    保存退出,username用户就拥有了root权限。

    为每个用户建立如下文件夹


    关于文件权限、用户群组的参考

    配置远程连接:ssh方式

    1.首先设置静态ip,右上角网络连接,编辑,保存
    2.安装ssh服务端

    sudo apt install openssh-server
    
    sudo ps -e | grep ssh  查看ssh是否启动
    有 sshd 说明ssh服务已经启动。
    如果没有 执行
    sudo service ssh start
    默认端口22若需要修改,执行
    sudo gedit /etc/ssh/sshd_config       #(可视化编辑器)
    修改Port即可
    

    3.远程连接测试,找一台安装了ssh的机器
    cmder自带ssh 或者通过其他的软件 推荐 MobaXterm

    ssh 用户名@192.168.xxx.xxx
    输入pwd
    连接成功
    

    4.查看当前登录的用户:wholast username

    安装Anaconda

    ps: ubuntu18.04自带python3 不带python2
    官网下载Anaconda3:Anaconda3-2019.10-Linux-x86_64.sh
    执行 sudo bash Anaconda3-2019.10-Linux-x86_64.sh
    首先是阅读许可申明,可以一直按Enter键,然后问是否同意许可,输入yes,接着问Anaconda安装的路径
    注意:安装路径手动指定为 /usr/local/anaconda3, 这样所有用户都能够使用conda的环境

    在linux下安装第三方多用户共享使用的软件一般都安装在 /usr/local 目录下

    安装完成后,重新启动终端

    安装完后在 /etc/profile 文件中配置 环境变量(对所有用户有效),在 /etc/profile 文件末尾加入下面命令
    export PATH=/usr/local/anaconda3/bin:$PATH
    修改完这个文件执行 source /etc/profile 在不用重启系统的情况下使修改的内容生效

    用户从终端激活想要的环境:
    source activate xxx-env

    conda --version  # 显示出版本
    which python  # 显示出anaconda自带的python位置
    
    conda info -e # 查看当前环境
    
    关闭conda自动激活base环境
    conda config --set auto_activate_base false
    

    更换conda镜像源

    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
    conda config --set show_channel_urls yes
    sudo gedit .condarc 文件,删除里面的 defaults,这样能快点
    

    更改anaconda文件权限,否则无法进行conda update

    sudo chmod -R 777 anaconda3
    

    conda命令集合

    1、查看已安装的包:conda list
    2、显示所有的虚拟环境:conda info -e (或conda env list)
    3、创建新的虚拟环境:conda create -n env_name python=python_version
    4、删除虚拟环境:conda remove -n env_name --all
    5、激活虚拟环境:conda activate env_name
    6、退出虚拟环境:conda deactivate
    7、复制虚拟环境:conda create -n env_name –clone clone_env_name
    9、删除虚拟环境:conda remove -n env_name –all
    10、安装模块包:
    查找某个包 conda search package_name
    在某个虚拟环境下直接安装包:conda install package_name
    安装包到指定虚拟环境中去:conda install -n env_name package_name
    11、移除(卸载uninstall)模块包:
    在某个虚拟环境下移除该环境的包:conda remove package_name
    移除指定虚拟环境中的包:conda remove -n env_name package_name
    注意: 如果是通过pip安装的包,移除时也请使用 pip uninstall package_name 命令移除,如果使用 conda remove 可能会发生异常,导致conda不可用
    12、更新:
    conda更新:conda update conda
    anaconda更新:conda update anaconda
    更新某个包:conda update package_name
    更新所有包:conda update --all
    更新python至最新版本:conda update python
    13、conda瘦身:
    conda clean -p //删除没有用的包
    conda clean -t //tar打包,将conda保存下来的tar包

    conda 卸载

    配置Juypter

    Jupyter Notebook 是一个 Web 应用程序,可以让我们创建和共享包含实时代码,方程,可视化和说明文本的文档。 用途包括:数据清理和转换,数值模拟,统计建模,机器学习等等。
    简单来说 Jupyter Notebook 是 Ipython 的升级版,而 Ipython 可以说是一个加强版的交互式 Shell,也就是说,Jupyter 比 Ipython 在 terminal 里运行 python 会更方便,界面更友好,功能也更强大。

    conda中安装一个公用环境

    python = 3.7
    tensorflow-gpu=1.14.0
    keras = 2.2.4

    创建多个用户共享使用的 tensorflow 环境,要在 root 用户下创建环境。如果在普通用户下创建,那只有该用户可以使用环境。在root用户下输入以下命令创建python3.7环境

    conda create -n common_tf python=3.7
    

    安装 tensorflow-gpu 与 keras
    ps: conda环境使用 conda install 导包,效果同 pip install,即导入的包只在当前环境中

    conda install tensorflow-gpu=1.14.0
    conda install keras=2.2.4
    

    配置TFF环境

    image.png
    1. 创建conda环境并激活
    conda create -n tf_0.8.0 python=3.7
    conda activate tf_0.8.0
    
    1. 使用pip直接安装,注意改为国内源
      https://pypi.org/project/tf-nightly/1.15.0.dev20190805/
      https://pypi.org/project/tensorflow-federated/0.8.0/
    pip install tf-nightly==1.15.0.dev20190805 -i https://mirrors.aliyun.com/pypi/simple/
    pip install tensorflow-federated==0.8.0 -i https://mirrors.aliyun.com/pypi/simple/
    

    安装成功!
    测试

    python -c "import tensorflow_federated as tff; print(tff.federated_computation(lambda: 'Hello World')())"
    

    报错。。。ModuleNotFoundError: No module named 'tensorflow_estimator.contrib

    新建一个conda环境,尝试 安装最新版

    pip install tensorflow-federated -i https://mirrors.aliyun.com/pypi/simple/
    

    会自动将安装最新版tff-0.11.0版本以及tf-2.0.0版本
    再次测试

    python -c "import tensorflow_federated as tff; print(tff.federated_computation(lambda: 'Hello World')())"
    

    成功输出helloworld

    pycharm使用服务器conda环境远程调试

    参考来源

    image.png
    image.png
    image.png
    image.png
    image.png
    image.png
    image.png

    pycharm访问远程服务器终端

    点击“Tools”->“Start SSH session...”,选择对应服务器即可。

    从终端启动pycharm:
    cd到pycharm位置中的bin文件夹,执行 ./pycharm.sh 即可启动

    普通用户启动可以会出现代码运行读写权限不够问题,前面加sudo来启动

    自定义charm启动脚本:“Tools”->“Create Command-Line Launcher...”

    安装git

    参考git安装和使用clone方法

    大文件传送

    禁用GPU版本tensorflow

    相关文章

      网友评论

        本文标题:Ubuntu服务器搭建踩坑记

        本文链接:https://www.haomeiwen.com/subject/vvqjwctx.html