美文网首页程序员大数据
大数据||日志文件数据存储、收集、预处理和分析

大数据||日志文件数据存储、收集、预处理和分析

作者: 明明德撩码 | 来源:发表于2018-02-27 18:05 被阅读94次

    项目实战之四日志文件数据存储、收集、预处理和分析

    日志文件:
    每天的文件安装【日期】存放在对应的文件夹中
    一天之内只产生一个文件,以每天零点为准

    收集数据

    &&程序
        put hdfs
    * flume
    * shell 脚本
    

    处理数据

    && 预处理
        * mr
        * hive 
    && 处理 需要对结果集,进行处理,数据格式(json,导入到RDBMS)
        * mr
            * 时间格式
                2015-09-12T17:23:45
        * hive
    

    展示数据

    报表
    Jfreechar

    相关文章

      网友评论

        本文标题:大数据||日志文件数据存储、收集、预处理和分析

        本文链接:https://www.haomeiwen.com/subject/xgvmxftx.html