Elasticsearch插件jdbc之bash 文件释义

增量索引的bash文件注释如下，更多详细配置请查阅官方文档

#!/bin/sh
# 当前脚本的绝对路径
DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"
bin=${DIR}/../bin
lib=${DIR}/../lib

echo '
{
    "type" : "jdbc",
    "jdbc" : {
        # 链接 mysql 的 test 数据库
        "url" : "jdbc:mysql://localhost:3306/test",
        # mysql 用户
        "user" : "root",
        # mysql 密码
        "password" : "123456",
        # 计划任务状态文件
        "statefile" : "statefile-article.json",
        # 计划任务时间 这里是每分钟执行一次
        "schedule" : "0 0-59 0-23 ? * *",
        # 执行导入的sql 语句
        "sql" : [
            {
                "statement" : "select *, id as _id from article where update_time > ?",
                "parameter" : [ "$metrics.lastexecutionstart" ]
            }
        ],
        # 索引名称 jdbctest
        "index" : "jdbctest",
        # 类型名称 article
        "type" : "article",
        # 类型设置
        "index_settings" : {
            "analysis" : {
            "analyzer" : {
                "ik" : {
                        # 涉及到中文使用ik 分词
                    "tokenizer" : "ik"
                }
            }
        }
        },
        # 类型中的字段映射
        "type_mapping": {
            # 类型名称
            "article" : {
                "properties" : {
                    # 对应的字段
                    "id" : {
                        # 字段类型
                        "type" : "integer",
                        # 当成一个准确的值进行索引(全匹配)
                        "index" : "not_analyzed"
                    },
                    "subject" : {
                        "type" : "string",
                        "analyzer" : "ik"
                    },
                    "author" : {
                        "type" : "string",
                        "analyzer" : "ik"
                    },
                    "create_time" : {
                        "type" : "date"
                    },
                    "update_time" : {
                        "type" : "date"
                    }
                }
            }
        }
    }
}
' | java \
    -cp "${lib}/*" \
    -Dlog4j.configurationFile=${bin}/log4j2.xml \
    org.xbib.tools.Runner \
    org.xbib.tools.JDBCImporter

这里选几个属性来介绍一下 ：

• url：数据库链接串，所以把这个链接串改成其它数据源，这个脚本也可以使用（前提是那个数据源中有对应的 article 表）
• statefile ：计划任务状态文件名称。它长这样

{
  "type" : "jdbc",
  "jdbc" : {
    "index_settings" : {
      "analysis" : {
        "analyzer" : {
          "ik" : {
            "tokenizer" : "ik"
          }
        }
      }
    },
    "index" : "jdbctest",
    "schedule" : "0 0-59 0-23 ? * *",
    "sql" : [ {
      "statement" : "select *, id as _id from article where update_time > ?",
      "parameter" : [ "$metrics.lastexecutionstart" ]
    } ],
    "metrics" : {
      "lastexecutionend" : "2016-11-01T06:01:01.441Z",
      "lastexecutionstart" : "2016-11-01T06:01:01.125Z",
      "counter" : "23"
    },
    "type" : "article",
    "statefile" : "statefile-article.json",
    "user" : "root",
    "password" : "123456",
    "url" : "jdbc:mysql://localhost:3306/test",
    "type_mapping" : {
      "article" : {
        "properties" : {
          "create_time" : {
            "type" : "date"
          },
          "id" : {
            "type" : "integer",
            "index" : "not_analyzed"
          },
          "author" : {
            "type" : "string",
            "analyzer" : "ik"
          },
          "update_time" : {
            "type" : "date"
          },
          "subject" : {
            "type" : "string",
            "analyzer" : "ik"
          }
        }
      }
    }
  }
}

其实 jdbc 每次执行的就是这个文件，执行完成后就覆盖此文件，改变的只是 metrics 属性内的时间，而 lastexecutionstart 这个时间就是我们下面 sql 语句要用到的最后更新时间
schedule ： 计划任务时间表。表示多久执行一次更新。下面有几个例子
0 0-59 0-23 ? * *：每分钟执行一次
0 0/5 0-23 ? * * ：每五分钟执行一次；当分钟等于 0，5，10，15…55的时候执行
我们参考官方的字段描述：

详细注释请点击查看

sql：支持两种方式，一种是直接写sql语句，一种是有条件的sql语句。一般我们会在sql语句中使用”field as _id “这样的方式来指定这条数据在ES 中的唯一标识（field字段为唯一标识）
parameter 属性中的可选的动态参数有：

$now - the current timestamp
$state - the state, one of: BEFORE_FETCH, FETCH, AFTER_FETCH, IDLE, EXCEPTION
$metrics.counter - a counter
$lastrowcount - number of rows from last statement
$lastexceptiondate - SQL timestamp of last exception
$lastexception - full stack trace of last exception
$metrics.lastexecutionstart - SQL timestamp of the time when last execution started
$metrics.lastexecutionend - SQL timestamp of the time when last execution ended
$metrics.totalrows - total number of rows fetched
$metrics.totalbytes - total number of bytes fetched
$metrics.failed - total number of failed SQL executions
$metrics.succeeded - total number of succeeded SQL executions

在上面例子中的 sql

select *, id as _id from article where update_time > ?

表示获取更新时间（update_time）大于 最后执行时间（$metrics.lastexecutionstart）的所有数据

其它如 index、type_mapping 之类的属性就不一一介绍了，很容易理解