美文网首页
flume传输大文件异常Input length = 2

flume传输大文件异常Input length = 2

作者: light01 | 来源:发表于2017-03-03 09:30 被阅读0次

在使用flume spooling组件传输文件时,经常会出现以下问题:

1.文件只能传输一部分。

2.第二次将文件放到flume的监控目录下时,不能传输文件,监控目录中的文件也不会被删除。

3.flume重启之后,文件才能继续被传输。

原因:在Spooling传输文件的时候,出现了同时读写一个文件导致的问题。

异常:Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing.

java.nio.charset.MalformedInputException: Input length = 2。

爆出下面的异常:

解决办法:

1.将原始日志cp到安装flume的同级目录下(防止在第二步mv的时候,不是在同一个磁盘会出现上面的异常)。

2.使用mv到flume监控目录。

相关文章

  • flume传输大文件异常Input length = 2

    在使用flume spooling组件传输文件时,经常会出现以下问题: 1.文件只能传输一部分。 2.第二次将文件...

  • 项目技术选型

    数据采集传输 FLUME,DATAHUB,RDS FLUME,KAFKA,SQOOP,DATAX 数据存储 MAX...

  • 关于Django中input标签中file类型以及开路由

    关于django中input标签中file类型 1.input提交图片实时展示 2.对于后台传输与接收 1.传输 ...

  • 大文件传输

    大文件传输 不经过网盘传输,方便快捷,解决微信无法传输大文件的问题。 1、传文件,找文叔叔 https://www...

  • tensorflow卷积的输入输出维度

    对于input为batch,input_length,input_width,channal_infilter为f...

  • Flume | Flume NG架构

    flume ng架构 event event是flume数据传输的基本单元flume以事件的形式将数据从源头传送到...

  • Flume4:Flume理论和实战

    1.概述 1.Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。2.Flume可以采集文件,...

  • flume修改创建event的方式

    我们都知道,使用flume收集数据,flume内部数据传输都是以event为基本单位进行传输的,他会把收集的数据划...

  • Flume异常kafaka-producer

    线上运行的时单行日志超7M时会导致Flume异常,导致无法正常提供服务。 在flume的conf文件夹下的log2...

  • Flume的安装与使用详解

    Flume的简单介绍Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件...

网友评论

      本文标题:flume传输大文件异常Input length = 2

      本文链接:https://www.haomeiwen.com/subject/ikslgttx.html