08_Flume之HDFS Sink 的参数解析及异常处理

一、配置详解

round 与 rollInterval 理解有误

round、roundValue、roundUnit是基于路径path去滚动生成文件夹的，针对文件夹而言

rollInterval、rollSize、rollCount是基于文件的条件限制滚动生成文件的，基于文件而言的

二、简单模板

agent_name.sources = source_name
agent_name.channels = channel_name
agent_name.sinks = sink_name

# source
agent_name.sources.source_name.type = avro
XXX
XXX

# channel
agent_name.channels.channel_name.type = file
XXX
XXX

# sink
agent_name.sinks.sink_name.type = hdfs
agent_name.sinks.sink_name.hdfs.path = hdfs://${HA_NameNode_Name}/flume_data/yr=%Y/mon=%m/day=%d/hr=%H
agent_name.sinks.sink_name.hdfs.writeFormat = Text
agent_name.sinks.sink_name.hdfs.fileSuffix = _${hdfsFileSuffix}.log
agent_name.sinks.sink_name.hdfs.fileType = DataStream
agent_name.sinks.sink_name.hdfs.filePrefix = %Y%m%d%H%M
agent_name.sinks.sink_name.hdfs.useLocalTimeStamp = true
agent_name.sinks.sink_name.hdfs.rollInterval = 0
agent_name.sinks.sink_name.hdfs.rollSize = 125829120
agent_name.sinks.sink_name.hdfs.rollCount = 0
agent_name.sinks.sink_name.hdfs.minBlockReplicas = 1
agent_name.sinks.sink_name.hdfs.round = true
agent_name.sinks.sink_name.hdfs.roundValue = 1
agent_name.sinks.sink_name.hdfs.roundUnit = hour
agent_name.sinks.sink_name.hdfs.idleTimeout = 600

# source | channel | sink 关联
agent_name.sources.source_name.channels = channel_name
agent_name.sinks.sink_name.channel = channel_name

三、注意事项及异常

1. idleTimeout 的设置

   • 设置为0，如果flume程序突然宕机，就会导致 hdfs上的 .tmp后缀的文件无法会更改为完成的文件，造成一种假象，以为该文件正在写入。当程序重启时，就会有两个 .tmp文件。

   • 如果idle Timeout有设置值m，当在m秒内没有数据写入，就会把tmp文件改为已完成。后面再有数据过来的时候重新生成.tmp文件。

   • 建议：最好设置一个比较大的值，防止小文件产生，若不设置，宕机的话会有tmp文件

   • 为了能快速查看到数据，可以设置该值较小，没数据进行就滚动，因为临时文件是不能被Hive查询到，但是这样会产生小文件

2. round 与 rollInterval 理解有误

   • round、roundValue、roundUnit是基于路径path去滚动生成文件夹的，针对文件夹而言

   • rollInterval、rollSize、rollCount是基于文件的条件限制滚动生成文件的，基于文件而言的

3. 异常：Error while trying to hflushOrSync
   • 问题排查：通过查看不同Flume的Agent日志发现，同名的文件被不同的Flume Agent打开，在文件第二次打开后，先前打开的Agent拥有的token就失效了，因此无法关闭它，就会不断的报错：Error while trying to hflushOrSync!
   • 查看之前的flume配置文件发现，每一个Flume-Agent配置的hdfsSink是完全一样的，每个Flume-Agent读取的source相同，有很大概率会出现多个Fume-Agent同时写同名文件，导致部分Flume-Agent无法继续。
   • 解决方案：不同Flume设置不同的文件后缀名

其它重要点：

1. Flume部署的机器上没有Hadoop环境依赖：

   为了让Flume能够正常地和HDFS进行交互，需要手动添加Hadoop相关的jar包到Flume的classpath中。常见的Hadoop相关的jar包如下：

   • hadoop-common.jar
   • hadoop-hdfs.jar
   • hadoop-auth.jar
   • hadoop-mapreduce-client-core.jar
   • commons-configuration.jar
   • commons-lang.jar
   • commons-collections.jar

   具体来说，如果你使用的是Hadoop2.x版本，那么在HADOOP_HOME目录下应该有以下目录：

   • $HADOOP_HOME/share/hadoop/common
   • $HADOOP_HOME/share/hadoop/hdfs
   • $HADOOP_HOME/share/hadoop/mapreduce

   你可以将上述目录中的对应jar包复制到Flume的lib目录下，即$FLUME_HOME/lib目录下。

   需要注意的是，这些jar包的版本要和你的Hadoop集群的版本保持一致，否则可能会出现不兼容等问题。建议在添加前先确认好版本信息。

2. Hadoop的NameNode是高可用：

• 将Hadoop集群的core-site.xml和hdfs-site.xml文件复制到Flume服务器上的某个目录（/path/to/hadoop/conf）中

  • bin/flume-ng agent --conf-file conf/flume.conf --name a1 -Dhadoop.conf.dir=/path/to/hadoop/conf
    

• 在启动Flume时，也可以使用"-conf"参数指定core-site.xml和hdfs-site.xml文件的路径，如下所示：

  • bin/flume-ng agent --conf-file conf/flume.conf --name a1 -conf /path/to/hadoop/conf/core-site.xml -conf /path/to/hadoop/conf/hdfs-site.xml
    

• 直接两个两个文件放到 Flume_HOME/conf 目录下

3. 没有权限写入HDFS目录：

• 可以在启动命令中设置"-Duser.name=kevin"参数

• 需要注意的是，kevin用户需要在HDFS上拥有写入目标目录的权限，否则会出现写入失败等问题。因此，在实际使用中，需要对该用户进行独立管理，并按照实际需求进行授权

./bin/flume-ng agent -n ${agentName} -c ${flumeClient}/conf/ -f ${jobLocation} -Duser.name=kevin