image1.找出访问排名前10的IP
2.找出访问排名前10的URL
3.找出10点到14点之间访问频次最高的IP和URL
4.找出10点到14点之间bbs网站访问最高的IP和URL
5.找出攻击者的IP,他都访问了什么页面?从什么时候来的,什么时候走的,一共访问多少次
6.找出昨天和今天同时间段访问有什么变化
7.查看各大搜索引擎今天访问了多少次,都访问了哪些页面
8.找出哪些是伪造的爬虫IP,并查封
9.5分钟内告诉我结果
Elasticsearch | java | 存储,提供数据 |
Logstash | java | 收集日志,转发到ES,过滤转换字段 |
Kibana | java | 过滤,分析,搜索,展示 |
Filebeat | GO | 收集日志,转发给ES |
image image
kibana安装
[root@elk01 /server/tools/EFLK软件包v6.6.0]# ls
ansible_elk.tar.gz
elasticsearch-6.6.0.rpm
filebeat-6.6.0-x86_64.rpm
kibana-6.6.0-x86_64.rpm
logstash-6.6.0.rpm
rpm -ivh kibana-6.6.0-x86_64.rpm
kibana配置
[root@lb01 /data/soft]# grep "^[a-z]" /etc/kibana/kibana.yml
server.port: 5601
server.host: "10.0.0.5"
elasticsearch.hosts: ["http://10.0.0.5:9200"]
kibana.index: ".kibana"
重启kibana
systemctl restart kibana.service
image.png
image image image image
filebeat
安装filebeat
rpm -ivh filebeat-6.6.0-x86_64.rpm
查看配置文件路径
[root@elk01 ~]# rpm -qc filebeat
/etc/filebeat/filebeat.yml
修改配置文件
[root@elk01 ~]# vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/nginx/access.log
output.elasticsearch:
hosts: ["10.0.0.5:9200"]
启动filebeat
[root@elk01 ~]# systemctl restart filebeat.service
查看日志
[root@elk01 ~]# tail -f /var/log/filebeat/filebeat
安装nginx
[root@elk01 ~]# yum install -y nginx
启动nginx
[root@elk01 ~]# systemctl restart nginx.service
在浏览器上刷一些访问日志
http://10.0.0.5/YouArePig
查看nginx的日志
[root@elk01 ~]# tail -f /var/log/nginx/access.log
filebeat工作原理
100条
停止filebeat
110条
启动filebeat
刷新elasticsearch-head插件
image操作kibana
image image image image image image image收集Nginx的json日志
第一步:修改nginx日志为json格式,重启nginx
> /var/log/nginx/access.log
log_format json '{ "time_local": "$time_local", '
'"remote_addr": "$remote_addr", '
'"referer": "$http_referer", '
'"request": "$request", '
'"status": $status, '
'"bytes": $body_bytes_sent, '
'"agent": "$http_user_agent", '
'"x_forwarded": "$http_x_forwarded_for", '
'"up_addr": "$upstream_addr",'
'"up_host": "$upstream_http_host",'
'"upstream_time": "$upstream_response_time",'
'"request_time": "$request_time"'
' }';
systemctl restart nginx
access_log /var/log/nginx/access.log json;
第二步:修改filebeat配置文件
[root@lb01 ~]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/nginx/access.log
json.keys_under_root: true
json.overwrite_keys: true
tags: ["access"]
- type: log
enabled: true
paths:
- /var/log/nginx/error.log
tags: ["error"]
output.elasticsearch:
hosts: ["10.0.0.5:9200"]
indices:
- index: "nginx-access-%{[beat.version]}-%{+yyyy.MM}"
when.contains:
tags: "access"
- index: "nginx-error-%{[beat.version]}-%{+yyyy.MM}"
when.contains:
tags: "error"
setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
=================================
重启filebeat
systemctl restart filebeat
第三步: 访问nginx
ab -c 10 -n 100 http://10.0.0.5/oldzhang.html
第四步: kibana添加索引
ELK日志收集系统—收集Docker日志
1. 使用filebeat modules收集json的nginx日志文件
使用filebeat modules收集普通格式的nginx日志
第零步: 下载es插件
http://192.168.0.163/elk/ingest-geoip-6.6.0.zip
http://192.168.0.163/elk/ingest-user-agent-6.6.0.zip
第一步: 修改nginx日志格式为普通格式
修改nginx.conf配置文件
第二步: 清空nginx日志
> /var/log/nginx/access.log
第三步: 重启nginx并验证日志格式是否为普通格式了
nginx -t
systemctl restart nginx
curl 127.0.0.1
cat /var/log/nginx/access.log
第四步: 修改filebeat配置文件
[root@lb01 ~]# cat /etc/filebeat/filebeat.yml
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: true
output.elasticsearch:
hosts: ["10.0.0.5:9200"]
indices:
- index: "nginx-access-%{[beat.version]}-%{+yyyy.MM}"
when.contains:
fileset.name: "access"
- index: "nginx-error-%{[beat.version]}-%{+yyyy.MM}"
when.contains:
fileset.name: "error"
setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
第五步: 激活模块并查看模块
filebeat modules enable nginx
filebeat modules list
第六步: 配置nginx模块
[root@lb01 ~]# cat /etc/filebeat/modules.d/nginx.yml
- module: nginx
access:
enabled: true
var.paths: ["/var/log/nginx/access.log"]
error:
enabled: true
var.paths: ["/var/log/nginx/error.log"]
第七步: 安装es插件
#注意!第一个插件geoip会提示你输入Y
cd /usr/share/elasticsearch/bin/
./elasticsearch-plugin install file:///root/ingest-geoip-6.6.0.zip
./elasticsearch-plugin install file:///root/ingest-user-agent-6.6.0.zip
第八步: 重启es
systemctl restart elasticsearch
第九步: 重启filebeat
systemctl restart filebeat
第十步: 访问测试nginx
curl 127.0.0.1/lalalalal
第十一步: es-head查看
查看是否生成了2个索引
nginx-access-6.6.0-2019.08
nginx-error-6.6.0-2019.08
第十二步: kibana添加查看
添加2个索引,查看是否解析成json了
image image
2. docker的安装
rm -fr /etc/yum.repos.d/local.repo
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/docker-ce.repo https://mirrors.ustc.edu.cn/docker-ce/linux/centos/docker-ce.repo
sed -i 's#download.docker.com#mirrors.tuna.tsinghua.edu.cn/docker-ce#g' /etc/yum.repos.d/docker-ce.repo
yum install docker-ce -y
systemctl start docker
cat > /etc/docker/daemon.json <<EOF
{
"registry-mirrors": ["https://registry.docker-cn.com"]
}
EOF
systemctl restart docker
docker名词
docker-ce : 软件名称
镜像 : nginx镜像
容器 : 运行一个微型的linux系统
端口映射: 宿主机对应容器内的端口
常用命令:
启动docker
systemctl start docker
查看镜像:
docker images
查看正在运行的容器:
docker ps
查看所有的容器:
docker ps -a
查看容器日志
docker logs -f xxxx
导出镜像
docker save nginx -o nginx.tar
导入镜像
docker load -i nginx.tar
运行容器:
docker run --name nginx -p 80:80 -d nginx
停止容器
docker stop nginx
拉取镜像
docker pull nginx
查看容器所有信息
docker inspect nginx
收集单个容器日志
目前的问题:
1.索引名称是默认的
2.access和error写在了一起
我们想要的结果:
1.索引名称自定义
2.access和error分开存储
目标:
1.添加标签tag或者判断条件
实现:
1.通过关键字段"stream"可以判断
"stream": "stdout"
"stream": "stderr"
filebeat配置文件:
收集多个容器日志
docker commit nginx nginx:v2
docker images
docker run --name nginx:v2 -p 8080:80 -d nginx:v2
docker ps -q
问题:
1.无法按服务区分出来容器的日志
2.所有容器的日志都打在了一起
按容器的服务类型去创建不同的索引
理想中的索引:
mysql :
docker-db-access-6.6.0-2019.08
docker-db-error-6.6.0-2019.08
nginx :
docker-nginx-access-6.6.0-2019.08
docker-nginx-error-6.6.0-2019.08
解决方案:
使用docker-compose把标签打进容器的日志里
第一步: 安装docker-compose命令
1.安装docker-compose
yum install -y python2-pip
2.这里使用pip安装,默认源为国外,可以使用国内加速,相关网站
https://mirrors.tuna.tsinghua.edu.cn/help/pypi/
pip加速操作命令
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pip -U
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
3.继续安装docker-compose
pip install docker-compose
4.检查
docker-compose version
第二步: 编写docker-compose文件
root@lb02 ~]# cat docker-compose.yml
version: '3'
services:
nginx:
image: nginx:v2
# 设置labels
labels:
service: nginx
# logging设置增加labels.service
logging:
options:
labels: "service"
ports:
- "8080:80"
db:
image: nginx:latest
# 设置labels
labels:
service: db
# logging设置增加labels.service
logging:
options:
labels: "service"
ports:
- "80:80"
第三步: 删除以前的容器
docker stop $(docker ps -q)
docker rm $(docker ps -aq)
第四步: 运行docker-compose命令
启动命令
docker-compose up -d
停止命令
docker-compose stop
第五步: 配置filebeat
[root@lb02 ~]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/lib/docker/containers/*/*-json.log
json.keys_under_root: true
json.overwrite_keys: true
output.elasticsearch:
hosts: ["10.0.0.5:9200"]
indices:
- index: "docker-nginx-access-%{[beat.version]}-%{+yyyy.MM}"
when.contains:
attrs.service: "nginx"
stream: "stdout"
- index: "docker-nginx-error-%{[beat.version]}-%{+yyyy.MM}"
when.contains:
attrs.service: "nginx"
stream: "stderr"
- index: "docker-db-access-%{[beat.version]}-%{+yyyy.MM}"
when.contains:
attrs.service: "db"
stream: "stdout"
- index: "docker-db-error-%{[beat.version]}-%{+yyyy.MM}"
when.contains:
attrs.service: "db"
stream: "stderr"
setup.template.name: "docker"
setup.template.pattern: "docker-*"
setup.template.enabled: false
setup.template.overwrite: true
第六步: 重启filebeat
systemctl restart filebeat
第七步: 检查索引是否生成
网友评论