日志检索快速必要性

在项目开发或上线的时候，难免会出现问题，这个时候就需要开发人员查看日志，排错，无论测试库还是正式库日志，特别是正式库日志的数据量很大(至少几百兆)，无法采用类似打开文本工具(notepad++等)的方式进行检索，特别是日志均在linux服务器上，如何快速检索和定位问题是一个开发者必备的技能。

Linux篇

查询某个时间段范围内/行范围内的日志

$ sed -n '/2021-11-03 09:20:10/,/2021-11-03 09:20:14/p' /opt/wx_prod/logs/local_wx.log
$ sed -n '5,10p' filename         # 查看文件的第5行到第10行

查看实时日志

$ tail -f -n 100 xxx.log

实时日志检索过滤特定内容

$ tail -f -n 100 | grep 'xxx'
-A: 显示匹配后和它后面的n行
-B: 显示匹配行和它前面的n行
-C: 匹配行和它前后各n行
grep: 支持正则

历史日志关键词检索

$ cat xxx.log | grep 'xxx' -A -B -C 
$ cat xxx.log | grep 'xxx' | more   # 日志太多，实现空格翻页

其他相关命令

$ more
$ less
$ history | grep 'xxx'    # 查看历史记录中包含xxx的命令

Vim篇

跳行命令

gg: 跳到首行
G : 跳到尾行
100G : 跳到第100行

跳页

Ctrl+f:  向文件尾翻一屏
Ctrl＋b: 向文件首翻一屏
Ctrl+u:  向文件首翻半屏
Ctrl+d:  向文件尾翻半屏

vim 中文乱码解决

临时解决方案:  :set encoding:utf8
长期解决方案:  ~/.vimrc 文件中 加入 'set encoding:utf8'

vim 检索

/xxx  : 在vim中检索xxx字符[支持正则]
/执行时间为\[\-\d\{5,8\}   : 在日志中查询接口用时在10s以上的接口
n:  跳到检索内容下一个出现位置
N:  跳到检索内容上一个出现位置

跟踪一个请求的全部

vim 中 '/task-22 '检索   : 请求太多，一个请求打印日志很分散，快速定位,结合n/N进行快速定位
或者
$ cat xxx.log | grep task-22

Docker篇

常用命令

$ docker container ls               # 展示所有容器列表
$ docker start/restart xxx_prod      # 重启某个容器
$ docker stop xxx_prod               # 停止某个容器
$ docker logs -f --tail 100 xxx_prod # 查看日志
$ docker logs -f --tail 100 xxx_prod | grep 'xxx'    # 也可跟 grep 管道

进入容器

$ docker exec -it xxx_prod sh        # 可执行命令或查看nacos配置

截取特定时间范围内日志

$ docker logs --since '2021-11-03T15:07:40' --until '2021-11-03T15:07:42'  xxx_prod

正则篇

^    # 表示正则开始
$    # 表示正则结束
\d   # 表示数字,等价于[0-9]
\D   # 匹配非数字字符
\w   # 表示字母或数字,等价[A-Za-z0-9_]
\W   # 匹配非字母或者数字,等价^[A-Za-z0-9_]
\s   # 匹配任意的空白符
\S   # 匹配任意的非空白符
.    # 匹配除换行符以外的任意字符
*    # 匹配多个(包含0个),如 a* 可匹配 无/a/aa/aaa/
+    # 匹配多个(至少1个),如 a+ 可匹配 a/aa/aaa/
[a|b]    # 匹配a或者b
[A-Z]    # 匹配一个大写字母
a{m}     # 匹配m个a
a{m,n}   # 匹配m至n个a
a{m,}    # 匹配至少m个a