Linux常用命令(更新ing)

一些简单的命令自己常用的，做个笔记：

1. 控制台登录服务器：

ssh  zL@110.102.161.87

2. 显示当前所在文件夹

pwd

3. 创建新的文本文件

touch test.txt

4. 创建新的文件夹

mkdir data

4. 删除文本文件

rm test.txt

5. 删除文件夹

rm -r data 
-r：表示递归地处理文件，即处理该目录及其所有子目录下符合条件的文件
-f ：强制删除(小心使用)

5. 删除非空目录

rm -rf data

6. 文件重命名

mv test.txt new.txt

8. 移动文件到另一个文件夹下面

mv  test.txt    SAT/data/

9. 将文件复制到另一个文件夹下面

cp test.txt    SAT/data/

7. 查看文件内容，不完全显示，window同样适用

more test.txt

8. 服务器挂载运行程序

nohup 命令 &

9. ssh传文件到服务器

scp d:/data/test1.py       zL@110.102.161.21:/data/private/zy

10. ssh拷文件到本机

scp  zL@110.102.161.65:/data/zk/test.txt       d:/data/

11. ssh传文件夹到服务器

scp   -r    f:\Task2\master   zL@110.102.161.21:/data/zj/SAT

12. ssh拷文件夹到本机

scp  -r  zL@123.102.161.21:/data/SAT       f:\Task2\master

14. 查看文件大小

ls -lh :显示KB,MB
ls -ll :显示字节

15. 显示进程状态，查看cpu和内存消耗

top (top 之后再按1，显示CPU每个核使用率)

17. 查看磁盘空间大小，文件系统的磁盘空间占用情况

df  -h

19.进入虚拟环境

source py3.6/bin/activate

20. 查看服务器进程

ps  -ef

21. 杀死进程

kill  -9  num
 -9 表示发送正常退出指令，让对应的num程序执行退出,num:进程号

22. export
    设置或显示环境变量。（比如我们要用一个命令，但这个命令的执行文件不在当前目录，这样我们每次用的时候必须指定执行文件的目录，很麻烦，在代码中先执行export，这个相当于告诉程序，执行某某东西时，需要的文件在这些目录里）
    以将tensorflow 预训练模型转换为 pytorch 版本为例，需要指定预训练模型文件，事先 使用 export 指定好文件路径：

export BERT_BASE_DIR=/path/to/bert/chinese_L-12_H-768_A-12

transformers-cli convert --model_type bert \
  --tf_checkpoint $BERT_BASE_DIR/bert_model.ckpt \
  --config $BERT_BASE_DIR/bert_config.json \
  --pytorch_dump_output $BERT_BASE_DIR/pytorch_model.bin

huggingface 官方：Converting Tensorflow Checkpoints — transformers 4.4.2 documentation (huggingface.co)
然后文件路径下面会生成 pytorch_model.bin 文件，此时需要把 bert_config.json 修改成 config.json 文件

23. 查看GPU 使用情况,显卡的显存利用率：

watch -n 0.01 nvidia-smi

• 查看可用GPU数量：

print(torch.cuda.device_count())

• 查看当前使用的GPU序号

torch.cuda.current_device()

• 查看指定GPU的名称：

torch.cuda.get_device_name(device)
>>'GeForce GTX 1080 Ti'

• 清空程序占用的GPU资源:

torch.cuda.empty_cache()

Anaconda :

1. 创建虚拟环境

conda create -n env_name python=X.X

进入虚拟环境

Linux: source activate your_env_name或者conda activate your_env_name
Windows: activate your_env_name

退出虚拟环境

Linux: source deactivate或者conda deactivate
Windows: deactivate

查看当前存在哪些虚拟环境

conda env list

删除虚拟环境（须退回base）

conda remove -n env_name --all

查看当前安装了哪些包

pip list
conda list

(二) linux 配置python虚拟环境

创建一个名字为 py3.6 的虚拟环境

virtualenv -p /usr/bin/python3.6  py3.6

进入虚拟环境

source py3.6/bin/activate

(三)windows 下安装tensorflow CPU 版本并测试使用

1. 新建虚拟环境

conda create -n tf python=3.5

2. 安装 tensorflow

• CPU版本 tf，指定版本号

pip install tensorflow==1.10.0

• GPU版本 tf

pip install tensorflow-gpu

3. 测试是否安装好 tf

安装的是CPU版本，忽略 cudart dlerror 报错

import tensorflow as tf
>>
2021-03-15 11:06:58.468637: W tensorflow/stream_executor/platform/default/dso_loader.cc:59] Could not load dynamic library 'cudart64_101.dll'; dlerror: cudart64_101.dll not found
2021-03-15 11:06:58.472774: I tensorflow/stream_executor/cuda/cudart_stub.cc:29] Ignore above cudart dlerror if you do not have a GPU set up on your machine.

4. 运行查看使用的是CPU还是GPU

• 导入 tf 之前运行下面的语句，使警告静音

import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
import tensorflow as tf

• 打印运行设备 device:CPU

import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
import tensorflow as tf
tf.compat.v1.disable_eager_execution()#保证sess.run()能够正常运行
hello = tf.constant('hello,tensorflow')
sess=tf.compat.v1.Session(config=tf.compat.v1.ConfigProto(log_device_placement=True))#版本2.0的函数
print(sess.run(hello))
>>
MatMul: (MatMul): /job:localhost/replica:0/task:0/device:CPU:0
2021-03-15 10:59:21.753851: I tensorflow/core/common_runtime/placer.cc:114] MatMul: (MatMul): /job:localhost/replica:0/task:0/device:CPU:0
Const: (Const): /job:localhost/replica:0/task:0/device:CPU:0
2021-03-15 10:59:21.758765: I tensorflow/core/common_runtime/placer.cc:114] Const: (Const): /job:localhost/replica:0/task:0/device:CPU:0
Const_1: (Const): /job:localhost/replica:0/task:0/device:CPU:0
2021-03-15 10:59:21.762112: I tensorflow/core/common_runtime/placer.cc:114] Const_1: (Const): /job:localhost/replica:0/task:0/device:CPU:0
a: (Const): /job:localhost/replica:0/task:0/device:CPU:0
2021-03-15 10:59:21.766595: I tensorflow/core/common_runtime/placer.cc:114] a: (Const): /job:localhost/replica:0/task:0/device:CPU:0
b: (Const): /job:localhost/replica:0/task:0/device:CPU:0
2021-03-15 10:59:21.770544: I tensorflow/core/common_runtime/placer.cc:114] b: (Const): /job:localhost/replica:0/task:0/device:CPU:0
Const_2: (Const): /job:localhost/replica:0/task:0/device:CPU:0
2021-03-15 10:59:21.776333: I tensorflow/core/common_runtime/placer.cc:114] Const_2: (Const): /job:localhost/replica:0/task:0/device:CPU:0
Const_3: (Const): /job:localhost/replica:0/task:0/device:CPU:0
2021-03-15 10:59:21.779834: I tensorflow/core/common_runtime/placer.cc:114] Const_3: (Const): /job:localhost/replica:0/task:0/device:CPU:0
b'hello,tensorflo
所以打印出来是CPU版本

5. 查看 tensorflow 版本

我安装的是 2.3.1 版本

import tensorflow as tf
print(tf.__version__)
>>
2.3.1

1. linux下安装conda

--下载
wget -c https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
or
wget -c https://repo.anaconda.com/archive/Anaconda3-2020.11-Linux-x86_64.sh
--给执行权限
 chmod 775 Anaconda3-2020.11-Linux-x86_64.sh
--执行安装过程--安装过程中要选yes 和按下enter ，常规操作 
bash Anaconda3-2020.11-Linux-x86_64.sh #运行
--安装完成后
关闭终端，然后再打开终端以使安装后的Anaconda启动。
-- 验证是否安装成功，重新打开的终端输入以下命令
conda --version

如果还是不行
可能是没有加入环境变量，手动加入：

sudo vi ~/.bashrc
export PATH=$PATH:/home/username/anaconda3/bin

2. 新环境没有 ll 命令，ll 实际上上 ls -l 的别名，比较方便，在环境变量中手动添加：

sudo vi ~/.bashrc
alias ll='ls -l'

3. 没有 wget 命令：

bash: wget: command not found
(sudo) yum -y install wget

参考：
Linux下安装conda - 辰令 - 博客园 (cnblogs.com)