美文网首页
tmux + Anaconda + 服务器

tmux + Anaconda + 服务器

作者: oneoverzero | 来源:发表于2020-04-06 12:44 被阅读0次

    tmux

    # 创建一个新会话
    tmux new -s <name>
    
    # 杀死一个会话
    tmux kill-session -t <name>
    # 杀死所有会话
    tmux kill-server
    
    # 连接到某个会话
    tmux at -t <name>
    
    # 重命名<num>号的session
    tmux rename-session -t <num> <name>
    
    # 向前、后置换当前面板
    prefix + {
    prefix + }
    

    使用Anaconda创建虚拟环境

    # 修改anaconda下载源(通过命令操作就可以)
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
    conda config --set show_channel_urls yes
    # 通过以上这两步操作,系统会自动生成一个Anaconda的配置文件:
    ~/.condarc
    # 如果要删除旧的镜像源,可以通过以下命令来实现:
    conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
    
    # 修改pip的下载源
    # 需要修改~/.pip/pip.conf文件(如果没有,则需要创建)
    mkdir ~/.pip
    vim ~/.pip/pip.conf
    # 然后在pip.conf配置文件中添加以下内容:
    [global]
    index-url=https://pypi.tuna.tsinghua.edu.cn/simple
    [install]
    trusted-host=pypi.tuna.tsinghua.edu.cn
    disable-pip-version-check=true
    timeout=6000
    
    # Windows端创建Anaconda环境要通过Anaconda Prompt进入命令行
    
    # 检查conda是否安装以及查看当前conda的版本
    conda --version
    
    # 查看当前存在哪些虚拟环境
    conda info -e
    conda env list  # 这两个哪个都可以,效果一样
    
    # 创建一个名为name的虚拟环境并指定python版本
    # 这个虚拟环境对应的文件可以在Anaconda安装目录envs文件下找到
    conda create -n name pip python=X.X   
    
    # 查看当前环境下的python版本
    python --version
    
    # 激活创建的虚拟环境(这一操作可以将python的版本改变)
    # 针对Linux
    source activate name  # 激活后,终端将自动切换到新创建的虚拟环境下
    conda activate name   # 针对conda4(我们的conda版本是4,所以要用这一条命令)
    # 针对Windows
    activate name        
    # 激活后,可以再次使用python --version来检查python版本是否为想要的
    
    # 退出环境
    source deactivate
    conda deactivate # 针对conda4
    
    # 删除环境
    conda remove -n <name> --all
    
    # 安装第三方包
    conda install package
    pip install package
    # 卸载第三方包
    conda remove package
    pip uninstall package
    # 更新package包
    conda update package
    
    # 查看当前环境中已安装的包
    conda list
    
    # 查看cuda和cudnn版本
    nvcc --version
    
    # 导出当前环境的包信息
    conda env export > environment.yaml
    # 用配置文件创建新的虚拟环境
    conda env create -f environment.yaml
    
    # 复制某个环境
    conda create -n env2 --clone env1
    

    服务器

    # 显示某个文件的首、尾5行内容
    head -n 5 <file>
    tail -n 5 <file>
    # 联动:先取前10行,再取前10行的后3行
    head -n 10 <file> | tail -n 3
    
    # 过滤当前目录下所有后缀名为.py的文件
    ls | grep .py
    
    # makedir只能在父目录存在的情况下才能创建子目录,
    # 如果想要递归地创建目录,需要添加-p参数
    mkdir -p /dir1/dir2/dir3
    # mkdir可以同时创建多个目录
    mkdir dir1 dir2
    
    # rm可以同时删除多个文件
    rm -rf dir1 dir2
    
    # 使用cp命令复制文件
    # 注意复制文件实际上是将原文件的内容替换掉,而不是append
    cp file1 file2
    # 使用cp命令复制文件夹
    # 注意复制文件夹执行的是append,因此不会影响到文件夹中的原有内容
    # 复制文件夹时需要添加-r
    cp -r folder1 folder2
    

    其他:
    1.压缩与解压缩命令:

    (1)zipunzip

    压缩文件:

    zip target_file.zip original_file
    

    压缩整个文件夹:

    zip target_folder.zip -r original_folder
    

    解压缩(对文件和文件夹均适用):

    unzip file.zip
    

    (2)tar

    *.tar是打包文件:只是把很多小文件拼接在一起,速度快,不占用CPU。比如ImageNet数据集就是一个打包文件,解包的速度非常快。打包后的文件大小和原始文件夹的大小基本一致。

    *.tar.gz是压缩文件:先打包成一个文件,然后再压缩一遍。如果原始文件是未压缩的格式,比如文本文件,则使用这个格式可以有很高的压缩比。但如果原始文件是压缩后的格式,比如jpg和png格式的文件,只打包就行,如果对ImageNet数据集先打包再压缩,就会有很长的耗时,并且文件不会明显变小。

    打包文件夹:

    tar -cvf folder1.tar folder2
    

    解包:

    tar -xvf folder.tar
    

    注意以上这两个操作并不涉及压缩,下面这两个命令才涉及压缩及解压缩:

    压缩文件夹:

    tar -czvf folder1.tar.gz folder2
    

    解压:

    tar -xzvf folder.tar.gz
    

    其中的字母的含义:

    • c:打包
    • x:解包
    • v:输出详细信息
    • f:指定打包文件
    • z:使用gzip压缩格式

    2.权限管理

    (1)sudo:以root权限执行命令。

    (2)su:切换用户。

    将当前用户切换到szw用户:

    sudo su szw
    

    (3)chmod:修改权限。

    把train文件夹修改为任何人可以读写:

    chmod -R 777 train
    

    rwx分别对应421。

    以d开头代表是目录,-开头代表是文件。

    移除所有人的可执行权限:

    chmod a-x train
    

    (4)chown:修改所有权。

    把test文件夹的所有权修改为szw:

    sudo chown -R szw test
    

    (5)passwd:修改密码。直接执行passwd可以修改当前用户密码。

    强制修改szw用户的密码:

    sudo passwd szw
    

    3.进程管理:

    (1)ps aux:列出所有进程的详细信息。

    使用ps aux获取所有的进程信息,然后用grep python查找带有python的进程,最后使用grep -V grep过滤grep进程本身:

    ps aux | grep python | grep -V grep
    

    (2)kill:杀掉执行中的进程,常配合ps命令使用。

    根据ps命令可以得到进程号,然后可以根据进程号删除该进程。例如:

    kill 8339
    

    (3)killall:通过进程名来杀掉所有跟该进程名有关的进程。

    杀掉所有python进程:

    killall python
    

    4.磁盘管理:

    (1)df:查看磁盘空间。

    查看磁盘的容量及可用空间:

    df -h
    

    如果磁盘下有很多小文件,可以通过以下命令查看文件表是否用完了:

    df -ih
    

    (2)du:显示一个目录及该目录下的所有文件夹的大小。

    如:

    du -h train
    

    (3)mount:挂载磁盘。

    将磁盘nvme挂载到data目录下:

    sudo mount -t ext4 /dev/nvme /data
    

    5.系统管理:

    (1)apt:包管理器,用于安装和卸载软件包。

    # 安装
    sudo apt install curl
    
    # 卸载
    sudo apt purge curl
    

    (2)export:设置环境变量,一般写在.bashrc.zshrc文件中。

    export PATH=/usr/local/cuda/bin:$PATH
    

    的作用是把/usr/local/cuda/bin目录添加到PATH最前面,这样就可以直接在命令行使用/usr/local/cuda/bin目录下的nvcc命令。

    (3)source:更新环境变量。

    如szw用户更新了~/.zshrc后,可以使用如下命令更新环境变量:

    source ~/.zshrc
    

    (4)echo:输出环境变量。如:

    echo $PATH
    

    (5)service:开启或关闭服务。如:

    sudo service network-manager restart
    

    (6)reboot:重启。如:

    sudo reboot
    

    6.系统监测:

    (1)uname:显示当前的系统信息。

    显示全部的信息(如内核版本号、硬件架构、主机名称和操作系统类型等):

    uname -a
    

    (2)top:实时查看系统的运行状态(如CPU、内存、进程的信息)。

    (3)ifconfig:查看当前网卡的ip地址。如:

    ifconfig | grep inet
    

    (4)free:查看内存使用情况。如:

    free -h
    

    7.网络通信:

    (1)ping:测试主机网络的连通性。如:

    ping baidu.com
    

    (2)ssh

    • 连接远程服务器:

      ssh szw@166.111.77.32
      
    • 映射远程端口:

      ssh -L 本地端口:本地服务器:远程端口 远程服务器
      

      如:把服务器上的 Jupyter 监听的8888端口映射到本地的8888端口,然后只需要在浏览器里输入http://localhost:8888,就可以连接远程服务器的Jupyter了。

    (3)wget:从指定的URL下载文件。

    • 下载单个文件:

      wget url
      
    • 下载并修改文件名:

      wget -O filename.zip url
      

    (4)scp:远程复制文件。
    复制文件/文件夹到远程服务器:

    scp 文件 用户名@目标主机:目标主机上的路径
    
    scp -r -P 8005 <路径> root@xxx:~
    

    8..sh文件的运行方法:

    bash xxx.sh
    

    9.其他

    # 查看自己主机的IP地址
    ifconfig 或 ip addr
    # windows下查看自己的ip地址
    ipconfig
    
    # 查看自己Ubuntu系统的用户名
    whoami
    
    # 修改配置文件
    vi ~/.bash_profile 
    # 使配置文件生效:
    source ~/.bash_profile
    # 配置环境变量
    sudo gedit ~/.bashrc
    
    # 显示当前GPU使用情况
    nvidia-smi
    
    # 显示当前路径下各文件大小并排序
    du -sk * | sort -rn
    
    # 登录服务器(p要小写)
    ssh -p 8005 szw@166.111.77.32
    # 登出服务器
    Ctrl + d
    
    # 从本机向服务器传文件
    scp -P 8005 filename szw@166.111.77.32:~
    # 从本机向服务器传一个文件夹
    scp -P 8005 -r filename szw@166.111.77.32:~
    # 从服务器5向服务器1传文件夹
    scp -r filename root@192.168.233.68:~/train
    
    # 从服务器上下载文件夹(下载文件时去掉-r)
    scp -r username@servername:/home/train /home/linjunjie/remote_dir/
    
    # 查找Linux历史命令中包含<command>的命令
    history | grep <command>
    # 每个历史命令前面都对应了一个编号,使用以下命令可以执行编号对应的命令:
    !<command>
    
    # 更改shell脚本的权限
    chmod +x run.sh
    # 递归地为.vim/文件及其目录下的所有子文件增加执行权限
    chmod +x -R .vim/   # -R表示recursively
    
    # 统计一个文件的行数、字数、字节数
    wc file1 file2 file3  # 也可以同时统计多个文件的信息
    
    # 查看当前文件夹及其子文件夹下有多少个.py文件
    find . -name "*.py" | wc -l # 管道的作用相当于传递结果,wc -l可以统计行数
    
    # 查看自己的Ubuntu版本号
    cat /etc/issue
    
    # Ubuntu处理.deb文件
    sudo dpkg -i xxx.deb
    
    # 每次修改完anaconda的配置文件后,都要输入以下命令使配置文件生效
    source ~/.bashrc
    

    相关文章

      网友评论

          本文标题:tmux + Anaconda + 服务器

          本文链接:https://www.haomeiwen.com/subject/hlovphtx.html