" 用于定向输出到文件,如果文件不存在,就会创建文件;如果文件存...">

linux文本处理常用命令--初级

作者: loodeer | 来源:发表于2017-08-27 22:04 被阅读61次

今天莫名其妙会自由泳了,好开心!

1. >

">" 用于定向输出到文件,如果文件不存在,就会创建文件;如果文件存在,会源文件内容清空,再写入。

$ echo Hello World > hello.txt  # 将'Hello World'写入hello.txt
$ echo ''>hello.txt #清空hello.txt文件内容

2. >>

跟">"不同的是,">>"符并不会清空原文件内容,而是在文件结尾追加。

$ echo Hello World > hello.txt # 将'Hello World'写入hello.txt
$ echo My name is Leo >> hello.txt # 将''My name is Leo" 追加在hello.txt文件最后

3. |

"|"管道符将前面的输出信息作为输入信息交给下一个命令继续处理。

$ ls -a /etc | less # 用less命令查看 /etc目录下的文件信息
$ px -aux | grep nginx # 显示含有'nginx'的进程

4. tee

'tee'双重定向,存到文件/设备的同时也输出到屏幕,可以不打断当前操作。

$ ls | tee save_ls.txt 

5. cut

'cut'将一段信息的某一段切割出来,处理信息的单位是行。

$ cat hello.txt # 现有的文件
hello world
My name is Leo

$ cut -c 2 hello.txt # 切割出每行的第二个字符
e
y

$ cut -c 2-4 hello.txt # 切割出每行的第二到第四个字符
ell
y n

$ cut -f 2 -d ' ' hello.txt #  切割出用空格分割的每行第2段, -f 以段分割, -d 指定分割符,默认为TAB
world
name

6.paste

'paste' 跟cat命令相似,不同的是paste可以让所有行合并成一行输出。

$ cat hello.txt  # 现有的文件
hello
world
$ cat name.txt # 现有的文件
My
name
is
Leo
$ paste hello.txt # 现有的文件
hello
world
$ paste name.txt # 现有的文件
My
name
is
Leo

$ paste -s hello.txt # 合并成一行输出hello.txt的内容,默认以TAB分割
hello   world

$ paste -s -d ',' name.txt # 以逗号分割
My,name,is,Leo

$ paste -s -d ' ' hello.txt name.txt # 同时操作多个文件也可以
hello world
My name is Leo

7. head

'head' 显示文件/文本最前面的信息

$ head -n 15 /var/log/syslog # 显示前15行
$ head -c 15 /var/log/syslog # 显示前15个字符

8. tail

'tail' 显示文件/文本最后面的信息

$ tail -n 10 /var/log/syslog # 显示最后10行
$ tail -f /var/log/syslog # 持续输出最新写入的信息(非常实用)

9. expand

'expand' 将TAB转化成空格

$ expand -t 4 sample.txt > result.txt # 将文件里的每个tab用4个空格代替

10. join

'join' 将两个文件当中有相同数据的那一行加在一起。顺序要一致。

$ cat file1.txt
1 Loe
2 Hh
3 Yy
$ cat file3.txt
1 100
2 99
3 88
$ join file1.txt file3.txt
1 Loe 100
2 Hh 99
3 Yy 88

$ cat file1.txt
1 Loe
2 Hh
3 Yy
$ cat file4.txt
100 1
99 2
88 3
$ join -1 1 -2 2 file1.txt file4.txt
1 Loe 100
2 Hh 99
3 Yy 88

11. split

'split'将一个文件分隔成若干个文件。

$ ls
file1.txt
$ cat file1.txt
1 Loe
2 Hh
3 Yy

$ split -l 1 file1.txt # 已一行为单位分隔file1.txt文件
$ ls # 分隔出来的文件默认已x**命名
file1.txt  xaa  xab  xac 

$ cat xaa
1 Loe
$ cat xab
2 Hh
$ cat xac
3 Yy

11. sort

'sort'用于排序。

$ sort file1.txt
$ sort -r file1.txt # 倒序

12. uniq

'uniq' 用于去重。

$ cat name.txt
Leo
Leo
Hh
Hh
Yy
Yy
Ky
$ uniq name.txt # 去重显示,重复的显示一次
Leo
Hh
Yy
Ky
$ uniq -c name.txt # 统计每个出现的次数
      2 Leo
      2 Hh
      2 Yy
      1 Ky
$ uniq -u name.txt # 只显示不重复的
Ky
特别要注意的是:uniq命令只能去重连续的数据!
$ cat name.txt
Leo
Hh
Leo
Hh
Yy
Ky
Yy
$ uniq -c name.txt
      1 Leo
      1 Hh
      1 Leo
      1 Hh
      1 Yy
      1 Ky
      1 Yy
$ uniq name.txt
Leo
Hh
Leo
Hh
Yy
Ky
Yy
所以去重操作一般都要结合上面介绍的 '|' 和 'sort' 命令来处理。
$ sort name.txt | uniq
Hh
Ky
Leo
Yy

13. wc

'wc'(word count)用于统计文本信息。-l 行数 -w 单词数 -c字节数

$ wc /etc/passwd # 行数 单词数 字节数
  29   40 1457 /etc/passwd
$ wc -l /etc/passwd # 统计行数
29 /etc/passwd

14. grep

'grep' 文本匹配。

$ cat test # 现有的文件
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/bin/false,aaa,bbbb,cccc,aaaaaa
DADddd:x:2:2:daemon:/sbin:/bin/false
mail:x:8:12:mail:/var/spool/mail:/bin/false
ftp:x:14:11:ftp:/home/ftp:/bin/false
&nobody:$:99:99:nobody:/:/bin/false
Leo:x:1000:100:,,,:/home/Leo:/bin/bash
http:x:33:33::/srv/http:/bin/false
dbus:x:81:81:System message bus:/:/bin/false
hal:x:82:82:HAL daemon:/:/bin/false
mysql:x:89:89::/var/lib/mysql:/bin/false
aaa:x:1001:1001::/home/aaa:/bin/bash
ba:x:1002:1002::/home/Leo:/bin/bash
test:x:1003:1003::/home/test:/bin/bash
@Loe:*:1004:1004::/home/test:/bin/bash
policykit:x:102:1005:Po

$ grep root test
root:x:0:0:root:/root:/bin/bash # 匹配含有root的行

$ cat test | grep -n root # 匹配含有root的行,并输出行号
1:root:x:0:0:root:/root:/bin/bash

$ cat test  | grep '^\(root\|http\)' # 匹配以 root或http开头的行
root:x:0:0:root:/root:/bin/bash
http:x:33:33::/srv/http:/bin/false

15. tr

'tr'(translate) 从标准输入中替换、缩减和/或删除字符,并将结果写到标准输出。

$ echo Leo| tr a-z A-Z # 小写转成大写
LEO
$ echo Leo | tr 'e' 'a' # e 改成 a
Lao
$ echo Leo | tr -d 'e' # 删除 d
Lo
$ echo Leeoe | tr -s [a-zA-Z] # 删除重复的字母
Leoe

相关文章

  • linux文本处理-实用篇

    之前梳理了一篇linux文本处理常用命令--初级,本文列举的是日常中使用的文本处理命令。这些命令都是由前文介绍的命...

  • 记录日常工作中常用的一些Linux命令,以后用的可以速查

    Linux常用命令收集 文件和目录 操作命令 文件搜索 命令 文件权限 操作命令 查看文件内容 命令 文本处理 命...

  • linux文本处理常用命令--初级

    今天莫名其妙会自由泳了,好开心! 1. > ">" 用于定向输出到文件,如果文件不存在,就会创建文件;如果文件存...

  • Linux常用命令速查

    Linux常用命令: 文件和目录命令 查看文件内容 文本处理 查找 压缩和解压 yum工具 网络 其他 快捷键 引...

  • linux下使用awk xargs批量杀进程

    awk是linux下强大的文本处理工具xargs是linux下一个常用命令,用于将参数列表打散 这两个命令结合用来...

  • 其他

    Git常用命令mac常用命令Linux 常用命令汇总Linux 常用命令0Linux 常用命令1--ls命令

  • Linux 常用命令汇总

    Linux 常用命令0Linux 常用命令1--ls命令 参考 Linux 常用命令汇总

  • 3、linux安装

    一、概要 介绍 Linux的安装、常用命令、远程访问等入门级知识。学完本课程,具备初级软件工程师对Linux知识的...

  • 2019-11-29【生信技能树】P9 Linux-10-文本处

    【生信技能树】生信人应该这样学LinuxP9 linux-10-文本处理 Linux文本处理命令awk,grep,...

  • 大数据技术学习路线

    一、大数据技术基础1、linux操作基础 linux系统简介与安装linux常用命令–文件操作linux常用命令–...

网友评论

    本文标题:linux文本处理常用命令--初级

    本文链接:https://www.haomeiwen.com/subject/anhidxtx.html