ELK是一整套解决方案，是三个软件产品的首字母缩写，Elasticsearch，Logstash和Kibana。
Logstash：负责数据的收集，处理和储存
Elasticsearch：负责数据的检索和分析
Kibana：负责可视化
体系结构
基本流程是 logstash 负责从各种数据源里采集数据，然后再写入 Elasticsearch，Elasticsearch 对这些数据创建索引，然后由 Kibana 对其进行各种分析并以图表的形式展示。
安装过程
具体安装过程如下：
步骤1，安装JDK1.8
步骤2，安装Elasticsearch
步骤3，安装Kibana
步骤4，安装logstash
步骤5，安装logstash-input-jdbc
步骤6，验证
logstash
Mysql in elasticsearch out
input {
jdbc {
jdbc_connection_string => "jdbc:mysql://xxx.xxx.xxx.xxx:3306/database?useCursorFetch=true&defaultFetchSize=100"
jdbc_user => "user"
jdbc_password => "password"
jdbc_validate_connection => true
jdbc_driver_library => "/usr/local/logstash/lib/mysql-connector-java-5.1.13-bin.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
statement => "select * from article"
}
}
output {
elasticsearch {
index => "article"
hosts => "xxx.xxx.xxx.xxx:9200"
}
}
Kibana
配置ES的索引显示
Kibana ES Dev Tools
elasticsearchAPI基于HTTP协议，以JSON为数据交互格式的RESTful API向Elasticsearch发出的请求的组成部分与其它普通的HTTP请求是一样的：curl -X'://:/?' -d ''
VERB HTTP方法：GET, POST, PUT, HEAD, DELETE
PROTOCOL http或者https协议（只有在Elasticsearch前面有https代理的时候可用）
HOST Elasticsearch集群中的任何一个节点的主机名，如果是在本地的节点，那么就叫localhost
PORT Elasticsearch HTTP服务所在的端口，默认为9200
PATH API路径（例如_count将返回集群中文档的数量），PATH可以包含多个组件，例如_cluster/stats或者_nodes/stats/jvm
QUERY_STRING 一些可选的查询请求参数，例如?pretty参数将使请求返回更加美观易读的JSON数据
BODY 一个JSON格式的请求主体（如果请求需要的话）
举例说明，为了计算集群中的文档数量，我们可以这样做：
curl -XGET 'http://xxx.xxx.xxx.xxx:9200/_count?pretty' -d '
{
"query": {
"match_all": {}
}
}
'
索引
在Elasticsearch中，文档归属于一种类型(type),而这些类型存在于索引(index)中，我们可以画一些简单的对比图来类比传统关系型数据库：
Relational DB -> Databases -> Tables -> Rows -> Columns
Elasticsearch -> Indices -> Types -> Documents -> Fields
我们将进行如下操作：
为每个员工的文档(document)建立索引，每个文档包含了相应员工的所有信息。
每个文档的类型为employee。
employee类型归属于索引megacorp。
megacorp索引存储在Elasticsearch集群中。
实际上这些都是很容易的（尽管看起来有许多步骤）。我们能通过一个命令执行完成的操作：
PUT /megacorp/employee/1
{
"first_name" : "John",
"last_name" : "Smith",
"age" : 25,
"about" : "I love to go rock climbing",
"interests": [ "sports", "music" ]
}
我们看到path:/megacorp/employee/1包含三部分信息：
名字 说明
megacorp 索引名
employee 类型名
1 这个员工的ID
接下来，让我们在目录中加入更多员工信息：
PUT /megacorp/employee/2
{
"first_name" : "Jane",
"last_name" : "Smith",
"age" : 32,
"about" : "I like to collect rock albums",
"interests": [ "music" ]
}
PUT /megacorp/employee/3
{
"first_name" : "Douglas",
"last_name" : "Fir",
"age" : 35,
"about": "I like to build cabinets",
"interests": [ "forestry" ]
}
搜索
检索文档
我们只要执行HTTP GET请求并指出文档的“地址”——索引、类型和ID既可。根据这三部分信息，我们就可以返回原始JSON文档：
GET /megacorp/employee/1
简单搜索
搜索全部员工的请求：
GET /megacorp/employee/_search
搜索姓氏中包含“Smith”的员工
GET /megacorp/employee/_search?q=last_name:Smith
使用DSL语句查询
GET /megacorp/employee/_search
{
"query" : {
"match" : {
"last_name" : "Smith"
}
}
}
全文搜索
搜索所有喜欢“rock climbing”的员工：
GET /megacorp/employee/_search
{
"query" : {
"match" : {
"about" : "rock climbing"
}
}
}
短语搜索
匹配若干个单词或者短语(phrases)，将match查询变更为match_phrase查询即可:
GET /megacorp/employee/_search
{
"query" : {
"match_phrase" : {
"about" : "rock climbing"
}
}
}
聚合
Elasticsearch有一个功能叫做聚合(aggregations)，它允许你在数据上生成复杂的分析统计。它很像SQL中的GROUP BY但是功能更强大。
举个例子，让我们找到所有职员中最大的共同点（兴趣爱好）是什么：
GET /megacorp/employee/_search
{
"aggs": {
"all_interests": {
"terms": { "field": "interests" }
}
}
}
问题： set fielddata = true on
解决：
PUT megacorp/_mapping/employee
{
"employee": {
"properties": {
"interests": {
"type": "text",
"fielddata": true
}
}
}
}
网友评论