数仓--open-falcon配置flume监控

open-falcon配置flume监控

• 官方文档：http://book.open-falcon.org/zh_0_2/usage/flume.html
• 补充文档：https://www.cnblogs.com/tonglin0325/p/8979180.html

配置步骤：

flume配置项

• 修改 ${flume_home}/conf/flume-env.sh.template

cd  ${flume_home}/conf
cp lume-env.sh.template  lume-env.sh
# 添加语句,http的端口指定为3000
export JAVA_OPTS="$JAVA_OPTS -Dflume.monitoring.type=http -Dflume.monitoring.port=3000"

• flume启动脚本如下

#!/bin/bash
nohup bin/flume-ng agent -c conf -f conf/flume_s3_taildir.conf  -n a1 -Dflume.monitoring.type=http -Dflume.monitoring.port=3000 > logs/flume_a1.log 2>&1 &

open-falcon配置

• 1. 启动flume，确认http://localhost:3000/metric 可访问到监控参数 （此处url及端口3000需与后续open-falcon的监控脚本中保持一致）；
• 2. 进入open-falcon工作目录，修改agent/config/cfg.json中的相应内容如下：

    "plugin": {
        "enabled": true,
        "dir": "./plugin",
        "git": "https://github.com/mdh67899/openfalcon-monitor-scripts.git",
        "logs": "./logs"
    },

• 此处./plugin指的是open-falcon工作目录下的plugin目录，而不是agent目录下同样存在的plugin目录；若遵循以下步骤则git项不用修改
• cfg.json中enable需要修改为 true
• 3.（由于参考补充文档中直接访问1988端口更新配置与下载插件不成功，）手动下载open-falcon的官方flume监控脚本，并放置到上一步的dir路径下

git clone https://github.com/mdh67899/openfalcon-monitor-scripts.git
cd openfalcon-monitor-scripts 
mv flume ${open-falcon-home}/plugin/
# 为脚本添加执行权限
cd  ${open-falcon-home}/plugin/flume
chmod +x 60_flume-monitor.py

• IMPORTANT: 由于falcon-agent调度运行脚本时使用的是系统默认的python环境而不是安装open-falcon后端时安装的虚拟环境，一定要确定当前python环境package齐全（例如requests包）；

• 4. 登录到open-falcon面板，创建HostGroup，并绑定host与plugin
     创建HostGroup，自定义group名（如flume）

     
     falcon-01

• 绑定host，hostname为主机名

  
  falcon-02

• 绑定plugin，plugin dir为第二步中dir路径下的相对路径，dir路径为./plugin时，plugin dir为flume （绝对路径为${open-falcon-home}/plugin/flume）

  
  falcon-03
• 5. 重启falcon-agent

./open-falcon restart agent

• 6. 查看日志
• 工作中一定要学会查看日志；一定要学会查看日志；一定要学会查看日志；

#查看agent启动日志
tail -f ${open-falcon-home}/agent/logs/agent.log
#查看监控脚本执行日志
tail -f  ${open-falcon-home}ogs/flume/60_flume-monitor.py\(\).stderr.log

• 7. 成功启动且监控脚本无报错后，查看dashboard是否存在flume相关counters

     
     falocn-04
  • !!初始化需要时间，约1-3分钟!!

• 8.可以根据实际业务需要配置阈值报警；