美文网首页
日志处理工具集

日志处理工具集

作者: 运维开发_西瓜甜 | 来源:发表于2020-02-29 13:47 被阅读0次

本文链接: https://www.jianshu.com/p/6fc861ab3f40

sort 排序

可以依据不同的数据型态来排序

[root@www ~]# sort [-fbMnrtuk] [file or stdin]
选项不参数:
-f :忽略大小写
-b :忽略最前面的空格符部分;
-M :以月份的名字来排序,例如 JAN, DEC 等等的排序方法;
-n : 使用『纯数字』进行排序(默认是以文字型态来排序的);
-r :反向排序;
-u :就是 uniq ,相同的数据中,仅出现一行代表;
-t :分隔符,预设是用 [tab] 键来分隔;
-k :以那个区间 (field) 来进行排序的意思

uniq 去重

去重+统计数量

可以将重复的数据仅列出一个来显示,且可以进行统计
#uniq [-ic]
选项:
-i //忽略大小写
-c //进行统计

例如:我想要知道每个人登入服务器的总次数,可以这样:
[root@testhost ~]# last | cut -d ' ' -f1 |sort|uniq -c

cut



tr 字符转换

将冒号删除
[root@sharkyun ~]# head -n 1 /etc/passwd |tr -d ':'
rootx00root/root/bin/bash

将所有的 小写变成大写
[root@sharkyun ~]# head -n 1 /etc/passwd
root:x:0:0:root:/root:/bin/bash
[root@sharkyun ~]# head -n 1 /etc/passwd |tr '[a-z]' '[A-Z]'
ROOT:X:0:0:ROOT:/ROOT:/BIN/BASH
[root@sharkyun ~]#

xargs 参数替代

可以将标准的输出变为后面命令的参数
在与 find 命令配合是 xargs 与 -exec 的区别:

  • -exec
    在某些系统中,他对于所传递给他的参数的长度有限制,容易出现“参数太长”或“参数列溢出” 等错误信息
    并且 exec 会同时发起多个进程,这样就会耗系统资源
  • xargs: 只会发起一个进程,节省了系统的资源

xargs [-epn] command

选项

-O 把空格字符改变为一般字符
-e 后面跟字符串,当xargs分析到字符串时就停止,格式为 -e'test' 中间没有空格
-p 执行时询问
-n 后面接数字,定义command执行时,要使用几个参数


找出 /sbin 目录下的文档,并使用 ls -l 列出详细数据

#find /sbin -perm +7000 | ls -l //这样是不行的,因为 ls 命令不支持管道

#find /sbin -perm +7000 |xargs | ls -l //这样就行了

把找到的文件复制到 /test 目录下
#find /sbin -perm +7000 | cp `xargs` /test
#find /sbin -perm +7000 | cp $(xargs) /test
关于减号 - 的用途

可以作为 stdout 和 stdin

#tar -cvf - /home | tar -xvf -

相关文章

  • 日志处理工具集

    本文链接: https://www.jianshu.com/p/6fc861ab3f40 sort 排序 可以依...

  • 2019-10-29

    pytorch 数据集处理工具

  • 崩溃调试

    将crsah日志符号化需要做以下准备 .crash日志 .dSYM符号集 symbolicatecrash工具 获...

  • SpringBoot--实战开发--Logstash(六十二)

    一、Logstash简介   Logstash是一个接收,处理,转发日志的工具。支持系统日志,webserver日...

  • 多层神经网络用于猫分类

    工具包 工具包下载 数据集 数据集下载 数据集基本信息 输出: 数据集预处理 输出: 两层神经网络 测试: 输出:...

  • nginx日志按日期分割

    无需借助logrotate等日志处理工具。 配置 open_log_file_cache 每一条日志记录的写入都是...

  • 流量回放原理

    流量回放是通过日志采集再处理来获取所需要的数据 日志采集 通过logstash工具从应用容器拉取日志信息,可以根据...

  • 流量回放原理

    流量回放是通过日志采集再处理来获取所需要的数据 日志采集 通过logstash工具从应用容器拉取日志信息,可以根据...

  • 处理Tomcat日志catalina.out日志文件过大的问题

    Centos6.x 一、采用cronlolog工具对日志拆分的方式处理该问题 1、下载cronolog工具,我下载...

  • 公告 | 简书小工具集部分工具临时下线

    各位简友、简书小工具集用户: 我们刚刚收到用户反馈,在今日上线的简书小工具集 v2.4.0 版本中(更新日志文章暂...

网友评论

      本文标题:日志处理工具集

      本文链接:https://www.haomeiwen.com/subject/hijuhhtx.html