美文网首页
常见文件输入格式

常见文件输入格式

作者: 苏坡闷 | 来源:发表于2019-03-08 19:49 被阅读0次
1.TextInputFormat:  
    切片:和FileInputFormat切片一样,以文件为单位,默认128M为片大小切片!
    RR : LineRecordReader :   每一行作为一组key-value
         key:  行的偏移量
         value : 行的内容
2.CombineTextInputFormat :
    切片: 小文件切片,通过mapreduce.input.fileinputformat.split.maxsize控制切片!
    RR : LineRecordReader :每一行作为一组key-value
         key:  行的偏移量
         value : 行的内容
3.KeyValueTextInputFormat: 每行作为一组key-value,通过mapreduce.input.keyvaluelinerecordreader.key.value.separator
指定的分隔符(默认\t)进行分割,分隔符前为key,分隔符后为value,如果在行中没有分隔符,整行为key,value为null只将字符串的第一个字符作为分隔符!
    切片:和FileInputFormat切片一样,以文件为单位,默认128M为片大小切片!
    RR : KeyValueLineRecordReader:  
         key : Text
         value :  Text
4.NLineInputFormat : 以文件为单位,每mapreduce.input.lineinputformat.linespermap行作为1个切片!
    切片:    以文件为单位,将N行作为1个切片
    RR :LineRecordReader :   每一行作为一组key-value
         key:  行的偏移量
         value : 行的内容

相关文章

  • 常见文件输入格式

  • plink各种格式转换

    PLINK软件输入文件的常见格式类型: 1,一般格式:PED/MAP2,转置格式:TPED/TFAM3,二进制格式...

  • Annovar注释细节说明(二)

    输入文件格式转换 annovar目前支持以下格式的输入文件:(1)Samtools genotype-callin...

  • Java 扫盲(1.5)输入输出

    读取输入 格式化输出 文件输入与输出

  • 基础概念

    一、文件格式 1.视频文件格式 常见的视频文件格式:mpeg、avi、wmv、mov等,文件格式通常表现为文件在操...

  • 音视频相关的一些重要概念

    1.常见的视频文件格式 我们常见的文件格式则有:.mov、.avi、.mpg、.vob、.mkv、.rm、.rmv...

  • 文件下载

    常见的文件格式: 文件下载HTML 图片文件下载PHP

  • 异常机制

    常见的异常:写的某个模块中,用户输入不一定符合自己的要求 程序要打开某个文件,但是这个文件不存在或者说文件格式不对...

  • Common Workflow Language [四]

    十六 文件格式 问题 如何标记输入文件所需的文件格式? 如何标记输出文件的生成文件格式? 目标 学习如何明确指定F...

  • 文件打包与解压缩

    在学习Linux上的文件打包与解压缩之前,有必要学习一下常见的文件打包格式。Windows上常见的文件打包格式有z...

网友评论

      本文标题:常见文件输入格式

      本文链接:https://www.haomeiwen.com/subject/dzedpqtx.html