越来越多的人加入了编程的大门,我们首先要做的就是熟悉linux系统的命令,这是我们最为基础的知识,这次详细总结了一下,不仅让自己温故而知新,也提供给各位道友,大家一起进步。
1.ls [选项] [目录名 | 列出相关目录下的所有目录和文件
-a 列出包括.a开头的隐藏文件的所有文件
-A 通-a,但不列出"."和".."
-l 列出文件的详细信息
-c 根据ctime排序显示
-t 根据文件修改时间排序
---color[=WHEN] 用色彩辨别文件类型 WHEN 可以是’never’、’always’或’auto’其中之一
白色:表示普通文件
蓝色:表示目录
绿色:表示可执行文件
红色:表示压缩文件
浅蓝色:链接文件
红色闪烁:表示链接的文件有问题
黄色:表示设备文件
灰色:表示其它文件
2.mv [选项] 源文件或目录 目录或多个源文件 | 移动或重命名文件
-b 覆盖前做备份
-f 如存在不询问而强制覆盖
-i 如存在则询问是否覆盖
-u 较新才覆盖
-t 将多个源文件移动到统一目录下,目录参数在前,文件参数在后
eg:
mv a /tmp/ 将文件a移动到 /tmp目录下
mv a b 将a命名为b
mv /home/zenghao test1.txt test2.txt test3.txt</pre>
3.cp [选项] 源文件或目录 目录或多个源文件 | 将源文件复制至目标文件,或将多个源文件复制至目标目录。
-r -R 递归复制该目录及其子目录内容
-p 连同档案属性一起复制过去
-f 不询问而强制复制
-s 生成快捷方式
-a 将档案的所有特性都一起复制
4.scp [参数] [原路径] [目标路径] | 在Linux服务器之间复制文件和目录
-v 详细显示输出的具体情况
-r 递归复制整个目录
(1) 复制文件:
命令格式:
scp local_file remote_username@remote_ip:remote_folder
或者
scp local_file remote_username@remote_ip:remote_file
或者
scp local_file remote_ip:remote_folder
或者
scp local_file remote_ip:remote_file
第1,2个指定了用户名,命令执行后需要输入用户密码,第1个仅指定了远程的目录,文件名字不变,第2个指定了文件名
第3,4个没有指定用户名,命令执行后需要输入用户名和密码,第3个仅指定了远程的目录,文件名字不变,第4个指定了文件名
(2) 复制目录:
命令格式:
scp -r local_folder remote_username@remote_ip:remote_folder
或者
scp -r local_folder remote_ip:remote_folder
第1个指定了用户名,命令执行后需要输入用户密码;
第2个没有指定用户名,命令执行后需要输入用户名和密码;
eg:
从 本地 复制到 远程
scp /home/daisy/full.tar.gz root@172.19.2.75:/home/root
从 远程 复制到 本地
scp root@/172.19.2.75:/home/root/full.tar.gz /home/daisy/full.tar.gz</pre>
5.rm [选项] 文件 | 删除文件
-r 删除文件夹
-f 删除不提示
-i 删除提示
-v 详细显示进行步骤
6.touch [选项] 文件 | 创建空文件或更新文件时间
-a 只修改存取时间
-m 值修改变动时间
-r eg:touch -r a b ,使b的时间和a相同
-t 指定特定的时间 eg:touch -t 201211142234.50 log.log
7.pwd 查看当前所在路径
8.cd 改变当前目录
-- :返回上层目录
.. :返回上层目录
~ :返回主目录
/ :根目录
9.mkdir [选项] 目录… | 创建新目录
-p 递归创建目录,若父目录不存在则依次创建
-m 自定义创建目录的权限 eg:mkdir -m 777 hehe
-v 显示创建目录的详细信息
10.rmdir 删除空目录
-v 显示执行过程
-p 若自父母删除后父目录为空则一并删除
11.rm [选项] 文件… | 一个或多个文件或目录
-f 忽略不存在的文件,不给出提示
-i 交互式删除
-r 将列出的目录及其子目录递归删除
-v 列出详细信息
12.echo:显示内容
-n 输出后不换行
-e 遇到转义字符特殊处理
eg:
echo "he\nhe" 显示he\nhe
ehco -e "he\nhe" 显示he(换行了)he</pre>
13.cat [选项] [文件]..| 一次显示整个文件或从键盘创建一个文件或将几个文件合并成一个文件
-n 编号文件内容再输出
-E 在结束行提示$
14.tac | 反向显示
15.more | 按页查看文章内容,从前向后读取文件,因此在启动时就加载整个文件
+n 从第n行开始显示
-n 每次查看n行数据
+/String 搜寻String字符串位置,从其前两行开始查看
-c 清屏再显示
-p 换页时清屏</pre>
16.less | 可前后移动地逐屏查看文章内容,在查看前不会加载整个文件
-m 显示类似于more命令的百分比
-N 显示行号
n 重复前一个搜索(与 / 或 ? 有关)
N 反向重复前一个搜索(与 / 或 ? 有关)
b 向后翻一页
d 向后翻半页
17.nl [选项]… [文件]… | 将输出内容自动加上行号
-b
-b a 不论是否有空行,都列出行号(类似 cat -n)
-b t 空行则不列行号(默认)
-n 有ln rn rz三个参数,分别为再最左方显示,最右方显示不加0,最右方显示加0
18.head [参数]… [文件]… | 显示档案开头,默认开头10行
-v 显示文件名
-c number 显示前number个字符,若number为负数,则显示除最后number个字符的所有内容
-number/n (+)number 显示前number行内容,
-n number 若number为负数,则显示除最后number行数据的所有内容
19.tail [必要参数] [选择参数] [文件] | 显示文件结尾内容
-v 显示详细的处理信息
-q 不显示处理信息
-num/-n (-)num 显示最后num行内容
-n +num 从第num行开始显示后面的数据
-c 显示最后c个字符
-f 循环读取
20.vi 编辑文件
:w filename 将文章以指定的文件名保存起来
:wq 保存并退出
:q! 不保存而强制退出
命令行模式功能键
1)插入模式
按「i」切换进入插入模式「insert mode」,按"i"进入插入模式后是从光标当前位置开始输入文件;
按「a」进入插入模式后,是从目前光标所在位置的下一个位置开始输入文字;
按「o」进入插入模式后,是插入新的一行,从行首开始输入文字。
2)从插入模式切换为命令行模式
按「ESC」键。
3)移动光标
vi可以直接用键盘上的光标来上下左右移动,但正规的vi是用小写英文字母「h」、「j」、「k」、「l」,分别控制光标左、下、上、右移一格。
按「ctrl」+「b」:屏幕往"后"移动一页。
按「ctrl」+「f」:屏幕往"前"移动一页。
按「ctrl」+「u」:屏幕往"后"移动半页。
按「ctrl」+「d」:屏幕往"前"移动半页。
按数字「0」:移到文章的开头。
按「G」:移动到文章的最后。
按「$」:移动到光标所在行的"行尾"。
按「^」:移动到光标所在行的"行首"
按「w」:光标跳到下个字的开头
按「e」:光标跳到下个字的字尾
按「b」:光标回到上个字的开头
按「#l」:光标移到该行的第#个位置,如:5l,56l。
4)删除文字
「x」:每按一次,删除光标所在位置的"后面"一个字符。
「#x」:例如,「6x」表示删除光标所在位置的"后面"6个字符。
「X」:大写的X,每按一次,删除光标所在位置的"前面"一个字符。
「#X」:例如,「20X」表示删除光标所在位置的"前面"20个字符。
「dd」:删除光标所在行。
「#dd」:从光标所在行开始删除#行
5)复制
「yw」:将光标所在之处到字尾的字符复制到缓冲区中。
「#yw」:复制#个字到缓冲区
「yy」:复制光标所在行到缓冲区。
「#yy」:例如,「6yy」表示拷贝从光标所在的该行"往下数"6行文字。
「p」:将缓冲区内的字符贴到光标所在位置。注意:所有与"y"有关的复制命令都必须与"p"配合才能完成复制与粘贴功能。
6)替换
「r」:替换光标所在处的字符。
「R」:替换光标所到之处的字符,直到按下「ESC」键为止。
7)回复上一次操作
「u」:如果您误执行一个命令,可以马上按下「u」,回到上一个操作。按多次"u"可以执行多次回复。
8)更改
「cw」:更改光标所在处的字到字尾处
「c#w」:例如,「c3w」表示更改3个字
9)跳至指定的行
「ctrl」+「g」列出光标所在行的行号。
「#G」:例如,「15G」,表示移动光标至文章的第15行行首。</pre>
21.which 可执行文件名称 | 查看可执行文件的位置,在PATH变量指定的路径中查看系统命令是否存在及其位置
22.whereis [-bmsu] [BMS 目录名 -f ] 文件名| 定位可执行文件、源代码文件、帮助文件在文件系统中的位置
-b 定位可执行文件。
-m 定位帮助文件。
-s 定位源代码文件。
-u 搜索默认路径下除可执行文件、源代码文件、帮助文件以外的其它文件。
-B 指定搜索可执行文件的路径。
-M 指定搜索帮助文件的路径。
-S 指定搜索源代码文件的路径。</pre>
23.locate | 通过搜寻数据库快速搜寻档案
-r 使用正规运算式做寻找的条件</pre>
24.find find [PATH] [option] [action] | 在文件树种查找文件,并作出相应的处理
选项与参数:1. 与时间有关的选项:共有 -atime, -ctime 与 -mtime 和-amin,-cmin与-mmin,以 -mtime 说明
-mtime n :n 为数字,意义为在 n 天之前的『一天之内』被更动过内容的档案;
-mtime +n :列出在 n 天之前(不含 n 天本身)被更动过内容的档案档名;
-mtime -n :列出在 n 天之内(含 n 天本身)被更动过内容的档案档名。
-newer file :file 为一个存在的档案,列出比 file 还要新的档案档名
- 与使用者或组名有关的参数:
-uid n :n 为数字,这个数字是用户的账号 ID,亦即 UID
-gid n :n 为数字,这个数字是组名的 ID,亦即 GID
-user name :name 为使用者账号名称!例如 dmtsai
-group name:name 为组名,例如 users ;
-nouser :寻找档案的拥有者不存在 /etc/passwd 的人!
-nogroup :寻找档案的拥有群组不存在于 /etc/group 的档案!- 与档案权限及名称有关的参数:
-name filename:搜寻文件名为 filename 的档案(可使用通配符)
-size [+-]SIZE:搜寻比 SIZE 还要大(+)或小(-)的档案。这个 SIZE 的规格有:
c: 代表 byte
k: 代表 1024bytes。所以,要找比 50KB还要大的档案,就是『 -size +50k 』
-type TYPE :搜寻档案的类型为 TYPE 的,类型主要有:
一般正规档案 (f)
装置档案 (b, c)
目录 (d)
连结档 (l)
socket (s)
FIFO (p)
-perm mode :搜寻档案权限『刚好等于』 mode的档案,这个mode为类似chmod的属性值,举例来说,-rwsr-xr-x 的属性为4755!
-perm -mode :搜寻档案权限『必须要全部囊括 mode 的权限』的档案,举例来说,
我们要搜寻-rwxr--r-- 亦即 0744 的档案,使用-perm -0744,当一个档案的权限为 -rwsr-xr-x ,亦即 4755 时,也会被列出来,因为 -rwsr-xr-x 的属性已经囊括了 -rwxr--r-- 的属性了。
-perm +mode :搜寻档案权限『包含任一 mode 的权限』的档案,举例来
说,我们搜寻-rwxr-xr-x ,亦即 -perm +755 时,但一个文件属性为 -rw-------也会被列出来,因为他有 -rw.... 的属性存在!- 额外可进行的动作:
-exec command :command 为其他指令,-exec 后面可再接额外的指令来处理搜寻到的结果。
-print :将结果打印到屏幕上,这个动作是预设动作!
eg:
find / -perm +7000 -exec ls -l {} ; ,额外指令以-exec开头,以;结尾{}代替前面找到的内容
| xargs
-i 默认的前面输出用{}代替
eg:
find . -name "*.log" | xargs -i mv {} test4</pre>
25.grep ‘正则表达式’ 文件名 | 用正则表达式搜索文本,并把匹配的行打印出来
-c 只输出匹配行的计数。
-I 不区分大小写(只适用于单字符)。
-l 只显示文件名
-v 显示不包含匹配文本的所有行。
-n 显示匹配行数据及其行号
25.file | 判断文件类型
26.gzip [-cdtv#] 檔名 | 压缩、解压缩,源文件都不再存在
-d 进行解压缩
-c 将压缩的数据输出到屏幕上
-v :显示原档案/压缩文件案的压缩比等信息
-# :压缩等级,-1最快,但压缩比最差,=9最慢,但压缩比最好</pre>
27.gunzip | 解压缩
28.bzip2 | 压缩、解压缩
-d :解压
-z :压缩
-k :保留源文件
-c :将压缩的过程产生的数据输出到屏幕上!
-v :可以显示出原档案/压缩文件案的压缩比等信息;
-# :与 gzip 同样的,都是在计算压缩比的参数, -9 最佳, -1 最快!</pre>
29.bzcat 读取数据而无需解压
30.tar [主选项+辅选项] 文件或者目录 | 多个目录或档案打包、压缩成一个大档案
主选项:
-c 建立打包档案,可搭配 -v 来察看过程中被打包的档名(filename)
-t 察看打包档案的内容含有哪些档名,重点在察看『档名』就是了;
-x 解打包或解压缩的功能,可以搭配 -C (大写) 在特定目录解开
辅选项:
-j 透过 bzip2 的支持进行压缩/解压缩:此时档名最好为 *.tar.bz2
-z 透过 gzip 的支持进行压缩/解压缩:此时档名最好为 .tar.gz
-v 在压缩/解压缩的过程中,将正在处理的文件名显示出来!
-f filename -f 后面要立刻接要被处理的档名!
-C 目录 这个选项用在解压缩,若要在特定目录解压缩,可以使用这个选项。
--exclude FILE:在压缩打包过程中忽略某文件 eg: tar --exclude /home/zenghao -zcvf myfile.tar.gz /home/ /etc
-p 保留备份数据的原本权限与属性,常用于备份(-c)重要的配置文件
-P(大写) 保留绝对路径,亦即允许备份数据中含有根目录存在之意;
eg:
压 缩:tar -jcvf filename.tar.bz2 要被压缩的档案或目录名称
查 询:tar -jtvf filename.tar.bz2
解压缩:tar -jxvf filename.tar.bz2 -C 欲解压缩的目录</pre>
31.exit 退出当前shell
32.logout 退出登录shell
33.shutdown -h now
34.users 显示当前登录系统地用户
35.who 登录在本机的用户与来源
-H或--heading 显示各栏位的标题信息列。
36.w 登录在本机的用户及其运行的程序
-s 使用简洁格式列表,不显示用户登入时间,终端机阶段作业和程序所耗费的CPU时间。
-h 不显示各栏位的标题信息列。
37.write 给当前联机的用户发消息
38.wall 给所有登录再本机的用户发消息
39.last 查看用户的登陆日志
40.lastlog 查看每个用户最后的登陆时间
41.finger [选项] [使用者] [用户@主机] | 查看用户信息
-s 显示用户的注册名、实际姓名、终端名称、写状态、停滞时间、登录时间等信息
-l 除了用-s选项显示的信息外,还显示用户主目录、登录shell、邮件状态等信息,以及用户主目录下的.plan、.project和.forward文件的内容。
-p 除了不显示.plan文件和.project文件以外,与-l选项相同</pre>
42.hostname 查看主机名
43.alias ii = “ls -l” | 添加别名
44.unalias ii | 清除别名
45.useradd [-u UID] [-g 初始群组] [-G 次要群组] [-c 说明栏] [-d 家目录绝对路径] [-s shell] 使用者账号名 | 新增用户
-M 不建立用户家目录!(系统账号默认值)
-m 建立用户家目录!(一般账号默认值)
-r 建立一个系统的账号,这个账号的 UID 会有限制
-e 账号失效日期,格式为『YYYY-MM-DD』
-D 查看useradd的各项默认值</pre>
46.passwd | 修改密码
-l 使密码失效
-u 与-l相对,用户解锁
-S 列出登陆用户passwd文件内的相关参数
-n 后面接天数,shadow 的第 4 字段,多久不可修改密码天数
-x 后面接天数,shadow 的第 5 字段,多久内必须要更动密码
-w 后面接天数,shadow 的第 6 字段,密码过期前的警告天数
-i 后面接『日期』,shadow 的第 7 字段,密码失效日期
使用管道刘设置密码:echo "zeng" | passwd --stdin zenghao
47.userdel 删除用户
-r 用户文件一并删除
48.chage [-ldEImMW] 账号名 | 修改用户密码的相关属性
-l 列出该账号的详细密码参数;
-d 后面接日期,修改 shadow 第三字段(最近一次更改密码的日期),格式YYYY-MM-DD
-E 后面接日期,修改 shadow 第八字段(账号失效日),格式 YYYY-MM-DD
-I 后面接天数,修改 shadow 第七字段(密码失效日期)
-m 后面接天数,修改 shadow 第四字段(密码最短保留天数)
-M 后面接天数,修改 shadow 第五字段(密码多久需要进行变更)
-W 后面接天数,修改 shadow 第六字段(密码过期前警告日期)
49.usermod [-cdegGlsuLU] username | 修改用户的相关属性
-c 后面接账号的说明,即 /etc/passwd 第五栏的说明栏,可以加入一些账号的说明。
-d 后面接账号的家目录,即修改 /etc/passwd 的第六栏;
-e 后面接日期,格式是 YYYY-MM-DD 也就是在 /etc/shadow 内的第八个字段数据啦!
-f 后面接天数为 shadow 的第七字段。
-g 后面接初始群组,修改 /etc/passwd 的第四个字段,亦即是GID的字段!
-G 后面接次要群组,修改这个使用者能够支持的群组
-l 后面接账号名称。亦即是修改账号名称, /etc/passwd 的第一栏!
-s 后面接 Shell 的实际档案,例如 /bin/bash 或 /bin/csh 等等。
-u 后面接 UID 数字啦!即 /etc/passwd 第三栏的资料;
-L 冻结密码
-U 解冻密码
50.id [username] | 查看用户相关的id信息,还可以用来判断用户是否存在
51.groups 查看登陆用户支持的群组, 第一个输出的群组为有效群组
52.newgrp 切换有效群组
53.groupadd [-g gid] 组名 | 添加组
-g 设定添加组的特定组id</pre>
54.groupmod [-g gid] [-n group_name] 群组名 | 修改组信息
-g 修改既有的 GID 数字
-n 修改既有的组名
55.groupdel [groupname] | 删除群组
56.gpasswd | 群组管理员功能
root管理员动作:
-gpasswd groupname 设定密码
-gpasswd [-A user1,...] [-M user3,...] groupname
-A 将 groupname 的主控权交由后面的使用者管理(该群组的管理员)
-M 将某些账号加入这个群组当中
-gpasswd [-r] groupname
-r 将 groupname 的密码移除
群组管理员动作:
- gpasswd [-ad] user groupname
-a 将某位使用者加入到 groupname 这个群组当中
-d 将某位使用者移除出 groupname 这个群组当中
57.chfn修改个人信息
58.mount [-t vfstype] [-o options] device dir
-ro 采用只读方式挂接设备
-rw 采用读写方式挂接设备
eg:mount /home/mydisk.iso /tmp/mnt 通过mnt访问mydisk内的内容
59.umount 取消挂载
60.cut
-b :以字节为单位进行分割。这些字节位置将忽略多字节字符边界,除非也指定了 -n 标志。
-c :以字符为单位进行分割。
-d :自定义分隔符,默认为制表符。
-f :与-d一起使用,指定显示哪个区域。
61.sort
-n 依照数值的大小排序。
-o<输出文件> 将排序后的结果存入指定的文件。
-r 以相反的顺序来排序。
-t<分隔字符> 指定排序时所用的栏位分隔字符。
-k 选择以哪个区间进行排序。
62.wc 统计指定文件中的字节数、字数、行数, 并将统计结果显示输出
-l filename 报告行数
-c filename 报告字节数
-m filename 报告字符数
-w filename 报告单词数
63.uniq 去除文件中相邻的重复行
清空/新建文件,将内容重定向输入进去
&> 正确、错误都重定向过去
后面追加</pre>
64.set 显示环境变量和普通变量
65.env 显示环境变量
66.export 把普通变量变成环境变量
67.unset 删除一个环境变量
aaa(){} 定义函数
68.read
-p 接提示字符
-t 接等待的秒数
69.declare、typeset
-i 声明为整数
-a 声明为数组
-f 声明为函数
-r 声明为只读
70.ulimit 限制使用者的某些系统资源
-f 此 shell 可以建立的最大档案容量 (一般可能设定为 2GB)单位为 Kbytes eg: ulimit -f 1024
限制使用者仅能建立 1MBytes 以下的容量的档案
71.df [选项] [文件] | 显示指定磁盘文件的可用空间,如果没有文件名被指定,则所有当前被挂载的文件系统的可用空间将被显示
-a 显示全部文件系统
-h 文件大小友好显示
-l 只显示本地文件系统
-i 显示inode信息
-T 显示文件系统类型
72.du [选项] [文件] | 显示每个文件和目录的磁盘使用空间
-h 方便阅读的方式
-s 只显示总和的大小
73.ln [参数] [源文件或目录] [目标文件或目录] | 某一个文件在另外一个位置建立一个同步的链接
-s 建立软连接
-v 显示详细的处理过程
74.diff [参数] [文件1或目录1] [文件2或目录2] | 比较单个文件或者目录内容
-b 不检查空格字符的不同。
-B 不检查空白行。
-i 不检查大小写
-q 仅显示差异而不显示详细信息
eg: diff a b > parch.log 比较两个文件的不同并产生补丁
75.date [参数]… [+格式] | 显示或设定系统的日期与时间
%H 小时(以00-23来表示)。
%M 分钟(以00-59来表示)。
%P AM或PM。
%D 日期(含年月日)
%U 该年中的周数。
date -s “2015-10-17 01:01:01″ //时间设定
date +%Y%m%d //显示前天年月日
date +%Y%m%d --date="+1 day/month/year" //显示前一天/月/年的日期
date +%Y%m%d --date="-1 day/month/year" //显示后一天/月/年的日期
date -d '2 weeks' 2周后的日期
76.cal [参数] 月份] [年份] | 查看日历
-1 显示当月的月历
-3 显示前、当、后一个月的日历
-m 显示星期一为一个星期的第一天
-s (默认)星期天为第一天
-j 显示当月是一年中的第几天的日历
-y 显示当前年份的日历
77.ps | 列出当前进程的快照
a 显示所有的进程
-a 显示同一终端下的所有程序
e 显示环境变量
f 显示进程间的关系
-H 显示树状结构
r 显示当前终端的程序
T 显示当前终端的所有程序
-au 显示更详细的信息
-aux 显示所有包含其他使用者的行程
-u 指定用户的所有进程
78.top [参数] | 显示当前系统正在执行的进程的相关信息,包括进程ID、内存占用率、CPU占用率等
79.kill [参数] [进程号] | 杀死进程
80.free [参数] | 显示Linux系统中空闲的、已用的物理内存及swap内存,及被内核使用的buffer
81.vmstat | 对操作系统的虚拟内存、进程、CPU活动进行监控
82.iostat [参数] [时间t] [次数n](每隔t时间刷新一次,最多刷新n次)| 对系统的磁盘操作活动进行监视,汇报磁盘活动统计情况,同时也会汇报出CPU使用情况
-p[磁盘] 显示磁盘和分区的情况
83.watch [参数] [命令] |重复执行某一命令以观察变化
-n 时隔多少秒刷新
-d 高亮显示动态变化
84.at [参数] [时间] | 在一个指定的时间执行一个指定任务,只能执行一次
HH:MM[am|pm] + number [minutes|hours|days|weeks] 强制在某年某月某日的某时刻进行该项任务
atq 查看系统未执行的任务
atrm n 删除编号为n的任务
at -c n 显示编号为n的任务的内容
85.crontab | 定时任务调度
file 载入crontab
-e 编辑某个用户的crontab文件内容
-l 显示某个用户的crontab文件内容
-r 删除某个用户的crontab文件
86.ifconfig [网络设备] [参数] | 查看和配置网络设备
87.route | 显示和操作IP路由表
88.ping [参数] [主机名或IP地址] | 测试与目标主机的连通性
-q 只显示最后的结果
89.netstat | 显示与IP、TCP、UDP和ICMP协议相关的统计数据
90.telnet [参数] [主机] | 用于远程登录,采用明文传送报文,安全性不好
91.rcp [参数] [源文件] [目标文件] | 远程文件拷贝
-r 递归复制
-p 保留源文件的属性
usage: rcp –r remote_hostname:remote_dir local_dir
92.wget [参数] [URL地址] | 直接从网络上下载文件
-o FILE 把记录写到FILE文件中 eg : wget -O a.txt URL
wget --limit-rate=300k URL 限速下载
93.awk
awk是行处理器: 相比较屏幕处理的优点,在处理庞大文件时不会出现内存溢出或是处理缓慢的问题,通常用来格式化文本信息
awk处理过程: 依次对每一行进行处理,然后输出
awk命令形式:
awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file
[-F|-f|-v] 大参数,-F指定分隔符,-f调用脚本,-v定义变量 var=value
' ' 引用代码块
BEGIN 初始化代码块,在对每一行进行处理之前,初始化代码,主要是引用全局变量,设置FS分隔符
// 匹配代码块,可以是字符串或正则表达式
{} 命令代码块,包含一条或多条命令
; 多条命令使用分号分隔
END 结尾代码块,在对每一行进行处理之后再执行的代码块,主要是进行最终计算或输出结尾摘要信息
特殊要点:
1 每行第一个字段
NF 字段数量变量
NR 每行的记录号,多文件记录递增
FNR 与NR类似,不过多文件记录不递增,每个文件都从1开始
\t 制表符
\n 换行符
FS BEGIN时定义分隔符
RS 输入的记录分隔符, 默认为换行符(即文本是按一行一行输入)
~ 匹配,与==相比不是精确比较
!~ 不匹配,不精确比较
== 等于,必须全部相等,精确比较
!= 不等于,精确比较
&& 逻辑与
|| 逻辑或
'+' 匹配时表示1个或1个以上
/[0-9][0-9]+/ 两个或两个以上数字
/[0-9][0-9]*/ 一个或一个以上数字
FILENAME 文件名
OFS 输出字段分隔符, 默认也是空格,可以改为制表符等
ORS 输出的记录分隔符,默认为换行符,即处理结果也是一行一行输出到屏幕
-F'[:#/]' 定义三个分隔符
**print & 0}' /etc/passwd
awk '{print " "}' /etc/passwd //不输出passwd的内容,而是输出相同个数的空行,进一步解释了awk是一行一行处理文本
awk '{print "a"}' /etc/passwd //输出相同个数的a行,一行只有一个a字母
awk -F":" '{print 1; print 1,6}' OFS="\t" /etc/passwd //输出字段1,3,6,以制表符作为分隔符
-f指定脚本文件
awk -f script.awk file
BEGIN{
FS=":"
}
{print 1}'相同,只是分隔符使用FS在代码自身中指定
awk 'BEGIN{X=0} /^5} END{print "total size is",sum}' //计算文件大小
total size is 17487
-F指定分隔符
3第三个字段, \t是制表符
一个或多个连续的空格或制表符看做一个定界符,即多个空格看做一个空格
awk -F":" '{print 1 1与1,1与1 " " 1与1 "\t\t Uid:" NF}' /etc/passwd //将每行第NF个字段的值打印出来
awk -F: 'NF==4 {print }' /etc/passwd //显示只有4个字段的行
awk -F: 'NF>2{print 0}' /etc/passwd //输出每行的行号
awk -F: '{print NR,NF,0}' /etc/passwd //依次打印行号,字段数,最后字段值,制表符,每行内容
awk -F: 'NR==5{print}' /etc/passwd //显示第5行
awk -F: 'NR==5 || NR==6{print}' /etc/passwd //显示第5行和第6行
route -n|awk 'NR!=1{print}' //不显示第一行
//匹配代码块
//纯字符匹配 !//纯字符不匹配 ****~//字段值匹配 !~//字段值不匹配 ~/a1|a2/字段值匹配a1或a2 **
awk '/mysql/' /etc/passwd
awk '/mysql/{print }' /etc/passwd
awk '/mysql/{print 0}' /etc/passwd //输出不匹配mysql的行
awk '/mysql|mail/{print}' /etc/passwd
awk '!/mysql|mail/{print}' /etc/passwd
awk -F: '/mail/,/mysql/{print}' /etc/passwd //区间匹配
awk '/[2][7][7]/{print 1~/mail/{print 1匹配指定内容才显示
awk -F: '{if(1}' /etc/passwd //与上面相同
awk -F: '1}' /etc/passwd //不匹配
awk -F: '1}' /etc/passwd
IF语句
必须用在{}中,且比较内容用()扩起来
awk -F: '{if(1}' /etc/passwd //简写
awk -F: '{if(1}}' /etc/passwd //全写
awk -F: '{if(1} else {print 1=="mysql"{print 1=="mysql") print 1!="mysql"{print 3>1000{print 3>=100{print 3<1{print 3<=1{print 1~/mail/ && 1匹配mail,并且1~/mail/ && 1~/mail/ || 1~/mail/ || 3 > 100' /etc/passwd
awk -F: '3 < 5' /etc/passwd
awk -F: '4 > 200' /etc/passwd
awk -F: '/mysql|mail/{print 3-32/1024}' /proc/meminfo //除法
awk '/MemFree/{print int(6 ~ /FIN/ || NR==1 {print NR,5,6 ~ /WAIT/ || NR==1 {print NR,5,1,3}'
printf表示格式输出
%格式化输出分隔符
-8长度为8个字符
s表示字符串类型
打印每行前三个字段,指定第一个字段输出字符串类型(长度为8),第二个字段输出字符串类型(长度为8),
第三个字段输出字符串类型(长度为10)
netstat -anp|awk '1,3}'
netstat -anp|awk '1,3}'
IF语句
awk -F: '{if(3>100) {A++; print "large"} else {B++; print "small"}} END{print A,"\t",B}' /etc/passwd //ID大于100,A加1,否则B加1
awk -F: '{if(3>100 ? "yes":"no")}' /etc/passwd
awk -F: '{print (3":\tyes":i,i++}' /etc/passwd
数组
netstat -anp|awk 'NR!=1{a[6]++} END{for (i in a) printf "%-20s %-10s %-5s \n", i,"\t",a[i]}'
94.sed 对数据行进行替换、删除、新增、选取等操作
a 新增,在新的下一行出现
c 取代,取代 n1,n2 之间的行 eg: sed '1,2c Hi' ab
d 删除
i 插入,在新的上一行出现
sed [选项] [动作]
选项与参数:
-n :使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后,则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-e :直接在命令列模式上进行 sed 的动作编辑;
-f :直接将 sed 的动作写在一个文件内, -f filename 则可以运行 filename 内的 sed 动作;
-r :sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)
-i :直接修改读取的文件内容,而不是输出到终端。
function:
a :新增行, a 的后面可以是字串,而这些字串会在新的一行出现(目前的下一行)
c :取代行, c 的后面可以接字串,这些字串可以取代 n1,n2 之间的行
d :删除行,因为是删除,所以 d 后面通常不接任何参数,直接删除地址表示的行;
i :插入行, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);
p :列印,亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行
s :替换,可以直接进行替换的工作,通常这个 s 的动作可以搭配正规表示法,例如 1,20s/old/new/g 一般是替换符合条件的字符串而不是整行
一般function的前面会有一个地址的限制,例如 [地址]function,表示我们的动作要操作的行。下面我们通过具体的例子直观的看看sed的使用方法。
删除行
//test.txt 内容如下
11 aa
22 bb
33 cc
23 dd
55 2e
sed '1,2d' test.xx
输出:
33 cc
23 dd
55 2e
其中1,2d中的d表示删除,而d前面的表示删除的行的地址,而1,2表示一个地址范围,也就是删除第1行和第2行。地址范围的表示一般是 m,n 表示对m和n行之间的所有行进行操作,也包含第m行和第n行。sed的地址寻址中可以使用 表示对m行以及其后面的所有行进行操作,包括最后一样。当然我们还可以对某一行进行操作,例如2d表示仅仅删除第2行。除了使用数字范围 m,n 表示多行区间,以及m表示单行以外,我们还可以使用正则表达式选出符合条件的行,并对这些行进行操作,同样的是上面的文件:
sed '/2/d' test.txt
输出:
11 aa
33 cc
上面的命令中 /2/ 是一个正则表达式,在sed中正则表达式是写在 /.../ 两个斜杠中间的,这个正则的意思是寻找所有包含2的行,执行相应的操作,也就是删除所有包含2的行,如果我们只想删除以2开头的行呢,只需要修改一下正则表达式就可以了:
sed '/^2/d' test.txt
输出:
11 aa
33 cc
55 2e
新增行
sed '1a hello world' test.txt
输出:
11 aa
hello world
22 bb
33 cc
23 dd
55 2e
其中a命令表示在指定行的后面附加一行,1a则是在第一行的后面添加一行,添加的内容就是a后面的内容,如果a的前面没有地址限定则在所有行的后面都会添加指定的字符串
sed '1i hello world' test.txt
输出:
hello world
11 aa
22 bb
33 cc
23 dd
55 2e
命令i表示在指定的行的前面插入一行,插入的内容为其后面的字符串
替换行
sed '1c hello world' test.txt
输出:
hello world
22 bb
33 cc
23 dd
55 2e
命令c会替换指定的行的所有内容,替换成其后面的字符串,所有的新增,删除,替换行,这些命令前面的地址修饰都可以指定地址空间,也都可以使用正则表达式,命令会应用在选出的符合地址条件的所有行上面,例如:
sed '/^2/c hello world' test.txt
输出:
11 aa
hello world
33 cc
hello world
55 2e
替换以2开头的行,其内容是c命令后面的字符串
替换部分字符串而不是整行
sed中除了上面的命令是针对整行进行操作的之外,还提供一个替换命令,该命令对某一行中的部分字符串进行操作,下面举一个简单的例子,还是同样的文本内容,执行下面的命令:
sed 's/aa/AA/' test.txt
输出:
11 AA
22 bb
33 cc
23 dd
55 2e
我们这里说的就是s命令,执行的结果是我们文件中的 aa 被替换成 AA ,我们看一下s命令后面接的是3个斜杠分隔的两串字符串,其含义是 s/待替换的字符串/新字符串/ 也就是说使用后面的 AA 替换文件中出现的前面的 aa 。实际上这里的替换仅仅替换每一行遇到的第一个aa,我们修改一下文件的内容:
//test.txt
11 aa
22 bb
33 cc
23 dd
55 2e
66 aaff ccaa
zz ggaa
sed 's/aa/AA/' test.txt
输出:
11 AA
22 bb
33 cc
23 dd
55 2e
66 AAff ccaa
zz ggAA
可以看到第6行的ccaa中的aa是没有被替换的,也就是说此时仅仅替换了每一行搜索到的第一个aa字符串进行操作,那么如果要对一行里面的所有的符合条件的字符串都做替换操作呢,我们可以使用参数g,例如修改命令如下:
sed 's/aa/AA/g' test.txt
输出:
11 AA
22 bb
33 cc
23 dd
55 2e
66 AAff ccAA
zz ggAA
在最后一个斜杠后面加上g选项之后,表示进行全局替换,也就是说一行中所有符合条件的旧字符串都会被替换成新字符串,而不仅仅是第一个。与其他针对行的操作一样,s命令也可以进行地址选择,其地址使用方法与我们之前的一样,也就是在s的前面加上地址空间限定,例如:
sed '1s/aa/AA/g' test.txt
输出:
11 AA
22 bb
33 cc
23 dd
55 2e
66 aaff ccaa
zz ggaa
可以看到仅仅对第一行进行了替换操作,其他的地址限定方法同样也是可以使用的,我们可以使用m,n的限定,例如:
sed '5, 表示行尾
^ 表示行首
[a-z0-9]表示字符范围
[^]表示除了字符集中的字符以外的字符
sed的正则中 () 和 {m,n} 需要转义
95.paste 合并文件,需确保合并的两文件行数相同
-d 指定不同于空格或tab键的域分隔符
-s 按行合并,单独一个文件为一行
96.su [参数] user | 切换登陆
-l 切换时连同环境变量、工作目录一起改变
-c command 执行command变回原来的使用者
97.sudo | 以特定用户的权限执行特定命令
-l 列出当前用户可执行的命令
-u username#uid 以指定用户执行命令
网友评论