项目实战之四日志文件数据存储、收集、预处理和分析
日志文件:
每天的文件安装【日期】存放在对应的文件夹中
一天之内只产生一个文件,以每天零点为准
收集数据
&&程序
put hdfs
* flume
* shell 脚本
处理数据
&& 预处理
* mr
* hive
&& 处理 需要对结果集,进行处理,数据格式(json,导入到RDBMS)
* mr
* 时间格式
2015-09-12T17:23:45
* hive
展示数据
报表
Jfreechar
网友评论