在使用flume spooling组件传输文件时,经常会出现以下问题:
1.文件只能传输一部分。
2.第二次将文件放到flume的监控目录下时,不能传输文件,监控目录中的文件也不会被删除。
3.flume重启之后,文件才能继续被传输。
原因:在Spooling传输文件的时候,出现了同时读写一个文件导致的问题。
异常:Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing.
java.nio.charset.MalformedInputException: Input length = 2。
爆出下面的异常:
解决办法:
1.将原始日志cp到安装flume的同级目录下(防止在第二步mv的时候,不是在同一个磁盘会出现上面的异常)。
2.使用mv到flume监控目录。
网友评论