美文网首页
部署AI模型到(无网)服务器+rsync断点续传

部署AI模型到(无网)服务器+rsync断点续传

作者: 糖爰 | 来源:发表于2020-03-26 11:30 被阅读0次

    **仅为记录第一次部署过程

    一、在无网的服务器上搭建模型需要的环境

    • conda环境转移复制和pip包的转移复制(https://blog.csdn.net/sinat_28442665/article/details/86650152?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task
      )未尝试,但感觉可行
    • windows子系统Ubuntu地址C:\Users\admin\AppData\Local\Packages\CanonicalGroupLimited.Ubuntu18.04onWindows_79rhkp1fndgsc\LocalState\rootfs\home\lyzhang\miniconda3\envs
      从本地(windows子系统Ubuntu)传输minconda3/envs/chineseocr到服务器上;利用xftp(速度很慢)
    • 直接在无网服务器上搭建环境
    • 通过scp上传虚拟机下的minconda到服务器(亲测可用,而且速度稍快些)
      scp -r miniconda3 root@192.168.0.1:/opt/Miniconda/
      其中,
      1)scp是命令,-r是参数
      2)localfile.txt 是文件的路径和文件名
      3)username是服务器账号
      4)192.168.0.1是要上传的服务器ip地址
      5)/home/username/是要拷入的文件夹路径
    • 传完了之后:在服务器bashrc添加复制上去的miniconda地址,修改miniconda各文件夹下的地址。(可参考https://blog.csdn.net/lhh08hasee/article/details/87186018
      第一步:vim ~/.bashrc 中查看PATH配置,添加为最新miniconda路径

    export PATH="/home/res1/AI/miniconda3/bin:$PATH"

    (这一步一定要记得)source ~/.bashrc
    查看 vim /etc/profile下的路径是否正确(好像没有这一步)
    第二步:更改_CONDA_ROOT路径为最新路径
    vim /home/python/miniconda2/bin/activate

    image.png
    第三步:vim /home/python/miniconda2/bin/conda
    修改第1行的路径为最新路径
    image.png 第四步:更改路径为最新路径地址
    vim /home/python/miniconda2/etc/profile.d/conda.sh
    image.png 在conda环境下不可以切换python版本,除非新建一个指定python版本的虚拟环境

    二、利用rsync断点续传scp中断的文件

    linux服务器和主机之间经常需要传输文件,一般用scp(scp通过ssh协议传输)就可以,但有时文件太大,遇上传输中断情况,就非常难受。所以可以选择rsync断点续传scp中断的文件,即:我们只需要下载缺失的部分。

    1. 主机A上传文件夹到服务器B

    2. 主机A从服务器B下载文件

    rsync -Pa --checksum --inplace --no-whole-file --progress remote.server:file local.file
    实例:$ rsync -Pa --checksum --inplace --no-whole-file --progress -e 'ssh -p 22' user@www.mobibrw.com:~/backup/wordpress.20181203.tar.gz wordpress.20181203.tar.gz
    receiving incremental file list
    sent 19 bytes received 76 bytes 0.22 bytes/sec
    total size is 8379088896 speedup is 88200935.75

    -P: 是包含了 “–partial –progress”, 部分传送和显示进度
    -rsh=ssh 表示使用ssh协议传送数据
    -checksum(文件分块计算校验和,只传输校验和不一致的部分)
    -in-place(将文件原地替换,因为rsync通常会写一个临时文件,然后移动)
    -no-whole-file(告诉rsync不要复制整个文件,而是使用deltas(部分传输)
    参考:https://www.mobibrw.com/2018/14505

    相关文章

      网友评论

          本文标题:部署AI模型到(无网)服务器+rsync断点续传

          本文链接:https://www.haomeiwen.com/subject/mqqmlhtx.html