美文网首页
大文件切割

大文件切割

作者: 国王12 | 来源:发表于2019-12-31 11:10 被阅读0次

    需求:

    一个特别大的文件进行group,且group多次,比较浪费时间,所以 将这个大文件切割为多个小文件,可以同时group(需要多核CPU同时工作)
    

    定义:

    大文件 :text.txt
    命令:     split (一般系统都有)
    

    注意:

    此命令是按行切割,即需要提前定义需要将多少行分为一个文件
    

    做法:

    首先wc -l 查看这个大文件有多少行  比如有  一万行
    那么我现在把他分为10个文件来说
    一个文件就是一千行
    

    那么命令就是: (源文件依然存在且不少数据)

    split -l 1000 text.txt -d -a 4 ceshi_
    

    命令详解:

    -l  指定一个文件有多少行 (1000行)
    text.txt  被分割的原文件名
    -d  生成的文件以数字命名 (默认为英文,按照英文字母排序,不直观)
    -a 生成的新文件名除了自定的前缀以外,生成 几位(4位)
    ceshi_   这个自定义生成文件的前缀
    

    实际举例:

    [root@xor-vhreport android]# wc -l 1.txt 
    40 1.txt
    文件有40行
    
    split -l 10 1.txt -d -a 4 text_
    将这个文件10行分割为一个文件
    以4位数字结尾
    前缀位text_
    
    [root@xor-vhreport android]# ls
    1.txt  text_0000  text_0001  text_0002  text_0003
    
    执行完毕之后就可以看到,被分为了四个 文件 
    源文件没有被任何破坏和少数据
    

    相关文章

      网友评论

          本文标题:大文件切割

          本文链接:https://www.haomeiwen.com/subject/dnrboctx.html