一.理论信息
1. 使用logstash自带命令生成插件模版
bin/logstash-plugin generate --type filter --name test --path vendor/localgems
--type 代表要生成的选项，有 filter ，input ，output
--name 代表要自定义的插件名称
--path 代表生成的插件模版的目录 ，如果不指定的默认当前目录
命令执行结果如下:
查看生成的filter目录结构，如下(使用tree命令):
2. 目录结构以及代码结构
插件的模版下，lib目录下就是你要开发的ruby代码的存放路径；.gemspec应该是一些配置信息，以及加入的一些依赖库信息。
上述图片是模版生成的test.rb 的代码结构
1.第一行 #encoding: utf-8 就是指定编码格式，ruby的普遍写法
2.模版代码里默认 require 了 "logstash/filters/base" 和 "logstash/namespace",如果需要依赖其他代码或者gems就在这里添加上就好，如 require "redis" (额外库的安装以及使用方法在下一节)
3.config_name "test" 配置的是插件名称
4.如果插件需要添加外部参数，写法如下:
config :variable_name, :validate => :variable_type, :default => "Default value", :required => boolean, :deprecated => boolean, :obsolete => string
:variable_name：参数名称
:validate：验证参数类型， 如:string,:password,:boolean,:number,:array,:hash,:path等
:required：是否必须配置
:default：默认值
:deprecated：是否废弃
:obsolete：声明该配置不再使用，通常提供升级方案
5.插件方法
logstash 插件必须实现两个方法: register 和filter
register方法如下：
register相当于初始化方法，不需要手动调用，可以在这个方法里面调用配置变量，也可以初始化自己的实例变量。
filter方法如下:
filter方法是插件的数据处理逻辑，其中event变量封装了数据流，可以通过接口访问event中的内容，最后一句调用了filter_matched，这个方法用于保证Logstash的配置add_field,
remove_field, add_tag 和remove_tag会被正确执行。
ps: 上述信息皆有官方原版，有兴趣请移步:https://www.elastic.co/guide/en/logstash/current/_how_to_write_a_logstash_filter_plugin.html
3. 额外类库添加
这里以redis为例。
1.安装类库:
方式一: 切换到logstash的根目录的 vendor/jruby/bin 目录下， 然后执行 ./gem install redis
方式二: 直接copy redis的库到 vendor/jruby/lib/ruby/gems/shared/gems 即可使用
2.配置类库
在logstash-filter-test.gemspec配置文件中添加对redis的依赖，如下:
s.add_runtime_dependency "redis"
3.使用类库
在rest.rb中require相关代码，然后使用即可
require "redis"
3. 在logstash中配置定制的插件
1.切换到logstash的根目录下，在Gemfile添加以下配置:
gem "logstash-filter-test", :path => "vendor/localgems/logstash-filter-test"
:path : 是插件所放置的位置
2.启动logstash ，配置我们定制的test插件:
./logstash -e "input { stdin { } } filter {test{}} output { stdout {} }"
2.一个具体的示例
1.插件信息
插件功能: 把message中的ip信息根据redis中的ip库转换成地域信息，并添加额外的字段到解析后的日志中
插件名称： xbsafe_ip
2.安装redis库
这里使用的是第二种方式
2. 开始开发
首先引入类库，以及增加自己需要的配置信息:
然后是register方法，这里主要是做了redis的初始化工作，并打印出配置信息的值
filter方法 就做具体的业务逻辑，这里的getcityAndPropName方法是具体的业务方法，这里就不作展示了
3.开始使用
打开插件目录下的logstash-filter-xbsafe_ip.gemspec,增加 s.add_runtime_dependency "redis"
打开logstash根目录下的Gemfile,在文件最下方增加自己定制的插件信息
然后配置logstash的pipeline：
这里的input和output都用的控制台方式，因为是为了测试插件，比较方便。
进入filter之后，会把日志信息，先进行格式的处理，拿到ip字段后使用定制的xbsafe_ip过滤器获取省份与城市，然后添加到格式化后的日志中。然后通过output就能看到最终结果。
ps:由于才刚刚接触ruby与logstash几天的时间，上述文章中不可避免会有一些错误，欢迎大家指正。另外，也希望有经验更丰富的大神给予指导，共同进步。
在此感谢以下文章作者:
https://www.elastic.co/guide/en/logstash/current/_how_to_write_a_logstash_filter_plugin.html
https://doc.yonyoucloud.com/doc/logstash-best-practice-cn/dive_into/write_your_own.html
网友评论