声明：所有文章只作为学习笔记用，转载非原创

awk 数组经典

http://bbs.chinaunix.net/thread-2312439-1-1.html
https://www.cnblogs.com/pangbing/p/7015745.html

awk 讲解 学习网站

https://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858470.html
https://www.cnblogs.com/f-ck-need-u/p/

生信技能书 linux 练习题目

https://www.jianshu.com/p/a1bd304b6485
https://www.jianshu.com/p/6f9e10ad4256
或者简写成 awk '{print 2}'之类的

基础格式

awk (-F,) 'BEGIN{初始变量}{动作}END{输出结果}‘ 引用文件
#分隔符 介绍
http://blog.chinaunix.net/uid-29529406-id-4808894.html
#运算符号
https://blog.51cto.com/haicang/949060
#printf 
https://www.cnblogs.com/chenjianhong/p/4144293.html

#基础变量
ARGC               命令行参数个数
ARGV               命令行参数排列
ENVIRON            支持队列中系统环境变量的使用
FILENAME           awk浏览的文件名
FNR                浏览文件的记录数
FS                 设置输入域分隔符，等价于命令行 -F选项 默认是空格
NF                 浏览记录的域的个数
NR                 已读的记录数
OFS                输出域分隔符
ORS                输出记录分隔符
RS                 控制记录分隔符 默认是\n

调用方法

1.命令行方式
awk [-F  field-separator]  'commands'  input-file(s)
其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。
在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。

2.shell脚本方式
将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。
相当于shell脚本首行的：#!/bin/sh
可以换成：#!/bin/awk

3.将所有的awk命令插入一个单独文件，然后调用：
awk -f awk-script-file input-file(s)
其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。

课程

例子1. 在一段字符串中，插入e f g 
#  echo "a b c d" | awk '{$2=$2" e f g";print}'
     a b e f g c d
    
#echo "a  b      c        d" | awk '{$2=$2" e f g";print}'
    a b e f g c d 
    提示：abcd 中间有很多空格，经过awk处理后，修改$2会根据OFS重建$0，OFS=" " （默认是空格分隔）-- 修改字段或NF的值导致$0重建的联动效应

例2  
#不规则文件d， 我们想对齐内容
# cat d           
        aaaa          bbb            ccc
   bbb         aaa  ccc
ddd       fff                        eee gg hh ii

awk '{$1=$1; print}' d        #不够整齐
aaaa bbb ccc
bbb aaa ccc
ddd fff eee gg hh ii

# awk 'BEGIN{OFS="\t"}{$1=$1; print}' d  #修改OFS改为\t 制表符号后，整齐
aaaa    bbb     ccc
bbb     aaa     ccc
ddd     fff     eee     gg      hh      ii

提示： 例1、2 都和$0的重建有关

例子3 从ifconfig 命令中 ，删选ip地址的案例

#1. 法一：
ifconfig | awk '/inet / && !($2 ~ /^127/){ print $2}'

#按照段落读取：当某一行后面出现了一个或多个空行
#                           那么空行前面的一部分就是一段
#段落的概念：awk默认按行读取的，
#                       按照段落读取要修改RS
#2. 法二：
ifconfig | awk 'BEGIN{RS=""} NR==1{print}'  #输出第一段
ifconfig | awk 'BEGIN{RS=""} !/lo/ {print $6}'
#3. 法三：
ifconfig | awk 'BEGIN{RS="";FS="\n"} !/lo/ {$0=$2;FS=" ";$0=$0;print $2
}'
     提示 ：FS 字段分隔符  RS默认\n    $0=$2  #$0只剩下 

#读取配置文件中的一部分
[mysql]
xxx
xxx
xxx
getline 应用
seq 10 | awk '{getline; print $0}'  # 打印了偶数行 反过来打印奇数行
 https://www.cnblogs.com/zhangray/p/9385138.html 
那么getline究竟是实现什么功能呢？正如getline的翻译，得到行，但是注意，得到的并不是当前行，而是当前行的下一行。以上面的例子来分析，awk首先读取到了第一行，就是1，然后getline，就得到了1下面的第二行，就是2，因为getline之后，awk会改变对应的NF，NR，FNR和$0等内部变量，所以此时的$0的值就不再是1，而是2了，然后将它打印出来。以此类推，就可以得到上面的结果。同样，我们可以利用getline只打印出奇数行。

#去重复
 http://www.letuknowit.com/topics/20120401/use-awk-remove-duplicate-lines.html/ 

数组格式

arr[idx]
arr[idx] = value

awk '{print FNR,$0}' a b
1 a aaaaa
2 b bbbbb
3 c ccccc
4 d ddddd
1 e eeeee
2 f fffff
3 g ggggg

数组
https://www.cnblogs.com/xyt-cathy/p/5478788.html
https://www.lagou.com/lgeduarticle/104184.html 
#遍历数据
for(idx in arr){print arr[idx]}
awk '
    BEGIN{
        arr["one"] = 1
        arr["two"] = 2
        arr["three"] = 3
        arr["four"] = 4
        arr["five"] = 5

        for(i in arr){
            print i " -> " arr[i]
        }
    }
'
#不要随意使用for(i=0;i<length(arr);i++)来遍历数组，因为awk数组是关联数组。但如果已经明确知道数组的所有元素索引都位于某个数值范围内，则可以使用该方式进行遍历。

sed

 https://www.cnblogs.com/tureno/articles/6677942.html  #参数讲解 包含示例
 https://blog.csdn.net/kudou1994/article/details/82804790  #常用

$ sed -n ’2p’/etc/passwd 打印出第2行
$ sed -n ’1,3p’/etc/passwd 打印出第1到第3行
$ sed -n ‘$p’/etc/passwd 打印出最后一行
$ sed -n ‘/user/p’ /etc/passwd 打印出含有user的行
$ sed -n ‘/\$/p’ /etc/passwd 打印出含有$元字符的行，$意为最后一行
$ sed -n ‘$=’ ok.txt    打印总行数

#sed 's///g' 与sed 's///' 的区别
 https://blog.csdn.net/m0_37664906/article/details/78082209 
    ps：  /^ */ 匹配以空格开头的字符
              /^\s/  匹配任何空白字符,包括空格、制表符、换页符等等。等价于[ \f\n\r\t\v]
              /^[[:space:]]*/ 匹配以空格或者是\t制表符开头的字符
         
          +g :匹配每一行有行首到行尾的所有字符
    不加g:匹配每一行的行首开始匹配，匹配到第一个符合的字段，就会结束，跳到下一行


# 
 https://zhidao.baidu.com/question/401518560.html 
grep -v "^\s*#" 和 sed 's/\s*=\s*.*//g' 



#管道以及重定向
-----------------------文件描述符和文件的关系 
先解释下为什么叫重定向这三个字。每个命令/程序运行的时候，默认会打开三个描述符0、1、2，分别用来做标准输入、标准输出、错误输出，在shell下，这3个描述符默认都关联到屏幕上。而在shell中通过>、<这种符号，可以让程序的输入、输出、错误输出改变方向，比如将标准输出输出到一个文件中，而不是写入到默认关联的屏幕中。这就是重定向的解释：改变程序数据的输入、输出方向。

底层原理
 https://www.cnblogs.com/alantu2018/p/8477165.html 
 https://www.cnblogs.com/Jimmy1988/p/7479856.html 

--------------------------

而Linux中万物皆文件，这些文件都可以分配描述符，包括套接字。
程序在打开文件描述符的时候，有三种可能的行为：从描述符中读、向描述符中写、可读也可写。从lsof的FD列可以看出程序打开这个文件是为了从中读数据，还是向其中写数据，亦或是既读又写。例如，tail命令监控文件时，就是打开文件从中读数据的(3r的r是read，w是write，u是read and write)。

# REPLY是'read'命令结果保存的默认变量.

>和<的目标是文件名，表示将数据写入文件或从文件中读取，它的层次是在文件名上改变输入输出的方向。
>&3或5<&6这种，目标是文件描述符，表示改变以某个文件描述符为基准，让另一个文件描述符指向这个基准描述符对应的文件。所以操作层次是在描述符上。

[root@mariadb ~]# lsof -n | grep "/a.sh" | column -t                 
tail  13563  root  3r  REG  8,2  182  69632966  /root/a.sh

- (短横线)：表示标准输入，一般用于1个程序需要多个输入的时候。
 https://cloud.tencent.com/developer/article/1036031 
  https://www.jianshu.com/p/f68a6e7ff9b5 
  #cat <<END | diff - <(echo "1 2 3" | tr ' ' '\n')
     > 2
     > 3
     > 4
     > END
# cat命令之前也用过，输出一段文字
# diff是比较2个文件的差异的，需要2个参数
# - (短横线)表示上一个命令的输出，传递给diff
# < 表示其后的命令的输出，也重定向给diff

# 管道符的使用
# 第一个命令的输出作为第二个的输入# 前面的例子中也有使用
# tr: 是用于替换字符的，把空格替换为换行，文字就从一行变为了一列ct