美文网首页
尚硅谷大数据技术之Flume

尚硅谷大数据技术之Flume

作者: 尚硅谷教育 | 来源:发表于2018-12-06 15:03 被阅读2次

    7) 修改配置文件/etc/selinux/config

    [atguigu@hadoop102 flume]$ sudo vim /etc/selinux/config

    修改为:

    This file controls the state of SELinux on the system.

    SELINUX= can take one of these three values:

    enforcing - SELinux security policy is enforced.

    permissive - SELinux prints warnings instead of enforcing.

    disabled - No SELinux policy is loaded.

    SELINUX=disabled

    SELINUXTYPE= can take one of these two values:

    targeted - Targeted processes are protected,

    mls - Multi Level Security protection.

    SELINUXTYPE=targeted

    尖叫提示:selinux本次生效关闭必须重启,如果此时不想重启,可以临时生效之:

    [atguigu@hadoop102 flume]$ sudo setenforce 0

    5) 启动ganglia

    [atguigu@hadoop102 flume]$ sudo service httpd start

    [atguigu@hadoop102 flume]$ sudo service gmetad start

    [atguigu@hadoop102 flume]$ sudo service gmond start

    6) 打开网页浏览ganglia****页面

    http://192.168.1.102/ganglia

    尖叫提示:如果完成以上操作依然出现权限不足错误,请修改/var/lib/ganglia目录的权限:

    [atguigu@hadoop102 flume]$ sudo chmod -R 777 /var/lib/ganglia

    4.2 操作Flume测试监控

    1) 修改/opt/module/flume/conf****目录下的flume-env.sh****配置:

    JAVA_OPTS="-Dflume.monitoring.type=ganglia

    -Dflume.monitoring.hosts=192.168.1.102:8649

    -Xms100m

    -Xmx200m"

    2) 启动Flume****任务

    [atguigu@hadoop102 flume]$ bin/flume-ng agent \

    --conf conf/ \

    --name a1 \

    --conf-file job/flume-telnet-logger.conf \

    -Dflume.root.logger==INFO,console \

    -Dflume.monitoring.type=ganglia \

    -Dflume.monitoring.hosts=192.168.1.102:8649

    3) 发送数据观察ganglia****监测图

    [atguigu@hadoop102 flume]$ telnet localhost 44444

    样式如图:

    image.png

    图例说明:
    字段(图表名称) 字段含义
    EventPutAttemptCount source尝试写入channel的事件总数量
    EventPutSuccessCount 成功写入channel且提交的事件总数量
    EventTakeAttemptCount sink尝试从channel拉取事件的总数量。这不意味着每次事件都被返回,因为sink拉取的时候channel可能没有任何数据。
    EventTakeSuccessCount sink成功读取的事件的总数量
    StartTime channel启动的时间(毫秒)
    StopTime channel停止的时间(毫秒)
    ChannelSize 目前channel中事件的总数量
    ChannelFillPercentage channel占用百分比
    ChannelCapacity channel的容量

    本教程由尚硅谷教育大数据研究院出品,如需转载请注明来源,欢迎大家关注尚硅谷公众号(atguigu)了解更多。

    相关文章

      网友评论

          本文标题:尚硅谷大数据技术之Flume

          本文链接:https://www.haomeiwen.com/subject/hqjocqtx.html