Kibana

1. 导入数据

• Filebeat安装好之后，只要配置上写了发送给Elasticsearch，那么打开es-head的时候，就会发现在es里面已经由filebeat的索引。
• 直接开Kibana，5601端口

这个反正把es的数据调出来，然后导入到kinana里面

这一页就是开始使用了，这些日期，内容，各种过滤器叠加使用之类的。

2. 数据搜索

• 指定时间范围，还能自动刷新

• 左上角的键值筛选

这个只要选中statuscode，is not，后面跟200就行了，虽然完整的值是200 OK，不过看来这个is not只要写一部分就可以匹配了。

• 点到左边的字段名上之后

可以很直观地看到这个字段下面值的直方图分布

• 搜索搜到了之后，跳到某个条目的上下文

点开这一条的详细文档，然后就能跳到上下文上去，看着一条记录上上下下，就是遵从原来分布的那些

• 柱状图看时间和数量

3. 经验之谈

（1） 把json解析那一块去掉了

input {
  beats {
    port => 5044
    }
}

filter {
  grok {
       match => { "message" => "\[%{TIMESTAMP_ISO8601:timestamp}\]\s+(GatewayMessage:\s+)(\|)%{DATA:url}(\|)%{DATA:methodvalue}(\|)%{DATA:queryParams}(\|)%{DATA:remote}(\|)%{DATA:statusCode}(\|)%{DATA:time}(\|)%{GREEDYDATA:response}" }
        remove_field => ["message"]
  }
#  json {
#       source => "response"
#       target => "jsonresponse"
#  }
  geoip {
        source => "remote"
        remove_field => ["[geoip][latitude]", "[geoip][longitude]",
        "[geoip][region_code]", "[geoip][country_name]", "[geoip][continent_code]",
        "[geoip][location]", "[geoip][country_code3]", "[geoip][ip]", "[geoip][country_code2]",
        "[geoip][timezone]"]
        }
#  mutate {
#       remove_field =>["response"]
#  }
}

output{
    elasticsearch {
        hosts=>["39.100.144.125:9200"]
        index => "logstash-%{+YYYY.MM.dd}" #对日志进行索引归档
    }

    #stdout{codec => rubydebug}
}

原来是把json解析算进去的，由于要解析的json太大了，logstash如果卡时间的话，会产生日志丢失，于是把这一块去掉了。

（2） Kibana必须用@timestamp

如果建立index pattern的时候不用这个，之后会没有办法用时间来进行筛选，就是右上角那个东西会没有掉。

（3） x-pack

Kibana里面现在的监视已经是免费的了，推荐使用MatriBeat，不过目前没这东西，点心跳的时候，点下面那个使用内部收集的也可以。
反正这个直接就能用，根本不需要什么安全设置。

（4） 日志使用思路

从Kibana的仪表盘开始看，看出统计规律之后，然后去discover那一页去搜符合这个条件的日志。