美文网首页
Linux下删除大量文件效率对比

Linux下删除大量文件效率对比

作者: Java技术zhai | 来源:发表于2020-05-18 15:41 被阅读0次

    本文一把大部分源码罗列出来了,收录至我的GitHub精选文章,欢迎Star:https://github.com/Java-Ling/Java-Interview-guide

    今天我们来测试一下Linux下面删除大量文件的效率。

    首先建立50万个文件


    image.png

    (seq 1 500000);do echo text >>$i.txt;done

    1、rm删除

    $ time rm -f *
    zsh: sure you want to delete all the files in /home/hungerr/test [yn]? y
    zsh: argument list too long: rm
    rm -f * 3.63s user 0.29s system 98% cpu 3.985 total
    

    由于文件数量过多,rm不起作用。

    2、find删除

    $ time find ./ -type f -exec rm {} ;
    find ./ -type f -exec rm {} ; 49.86s user 1032.13s system 41% cpu 43:19.17 total
    

    大概43分钟,我的电脑。。。。。。边看视频边删的。

    3、find with delete

    $ time find ./ -type f -delete
    find ./ -type f -delete 0.43s user 11.21s system 2% cpu 9:13.38 total
    

    用时9分钟。

    1. rsync删除

    首先建立空文件夹blanktest

    $ time rsync -a --delete blanktest/ test/
    rsync -a --delete blanktest/ test/ 0.59s user 7.86s system 51% cpu 16.418 total
    16s,很好很强大。
    

    5、Python删除

    import os
    import timeit
    def main():
    for pathname,dirnames,filenames in os.walk('/home/username/test'):
    for filename in filenames:
    file=os.path.join(pathname,filename)
    os.remove(file)
    
    if **name**=='**main**':
    t=timeit.Timer('main()','from **main** import main')
    print t.timeit(1)  
    1
    2
    $ python test.py
    529.309022903
    

    大概用时9分钟。

    6、Perl删除

    $ time perl -e 'for(<*>){((stat)[9]<(unlink))}'
    perl -e 'for(<*>){((stat)[9]<(unlink))}' 1.28s user 7.23s system 50% cpu 16.784 total
    16s,这个应该最快了。
    

    7、结果:

    rm:文件数量太多,不可用
    find with -exec 50万文件耗时43分钟
    find with -delete 9分钟
    Perl 16s
    Python 9分钟
    rsync with -delete 16s
    

    结论:删除大量小文件rsync最快,最方便。

    相关文章

      网友评论

          本文标题:Linux下删除大量文件效率对比

          本文链接:https://www.haomeiwen.com/subject/menuohtx.html