[Python] 自动化办公 删除文件夹下重复文件

转载请注明：陈熹 chenx6542@foxmail.com （简书号：半为花间酒）
若公众号内转载请联系公众号：早起Python

本例可以学到的知识点：

1. os 模块综合应用
2. glob 模块综合应用
3. 利用 filecmp 模块比较两个文件

一、需求描述：

编写一个Python程序，检查给定文件夹下有无文件重复，若存在重复则删除

二、步骤分析和前置知识：

该程序实现的逻辑可以具化为：遍历获取给定文件夹下的所有文件，然后通过嵌套循环两两比较文件是否相同，如果相同则删除后者

实现问题的关键是：如何比较两个文件相同？

这里介绍一个 filecmp 模块，官方文档中介绍如下：

filecmp.cmp(f1, f2, shallow=True)
比较名为 f1 和 f2 的文件，如果它们似乎相等则返回 True ，否则返回 False 。
如果 shallow 为真，那么具有相同 os.stat() 签名的文件将会被认为是相等的。否则，将比较文件的内容。

filecmp.cmp(x, y)可以比较x文件和y文件，并返回一个布尔逻辑值，如果两个文件相同则返回 True，如下：

# 假设x和y两个文件是相同的
print(filecmp.cmp(x, y))

# True

三、代码实现

导入需要的库并设置目标文件夹路径

import os
import glob
import filecmp

dir_path = r'C:\\xxxx'

遍历获取所有文件的绝对路径

利用 glob 模块的通配符结合 recursive 参数即可完成，框架如下：

for file in glob.glob(path + '/**/*', recursive=True):
    pass

由于遍历获取每一个文件或者文件夹后，需要判断是否是文件，如果是文件则可能将绝对路径存放到列表中，这里需要再完成两个事情：

1. 创建一个空列表，后面用 list.append(i) 添加文件路径
2. 利用 os.path.isfile(i) 判断是否是文件，返回 True 则执行添加元素的操作

代码如下：

file_lst = []

for i in glob.glob(dir_path + '/**/*', recursive=True):
    if os.path.isfile(i):
        file_lst.append(i)

文件重复判断和删除

上一步我们获取了目标文件夹下的所有文件路径，接下来就可以嵌套遍历这个路径列表，其中 filecmp.cmp 进行文件判断，os.remove 进行文件删除

for x in file_lst:
    for y in file_lst:
        if x != y:
            if filecmp.cmp(x, y):
                os.remove(y)

这里的代码已经实现了大致逻辑，但有一个细节需要考虑到：有可能循环到文件已经被前面的判断删除了，导致 os.remove(file) 由于文件不存在而报错

因此，可以用 os.path.exists 对文件存在进行判断，如下所示：

for x in file_lst:
    for y in file_lst:
        if x != y and os.path.exists(x) and os.path.exists(y):
            if filecmp.cmp(x, y):
                os.remove(y)

这样，一个简易的文件去重小程序就完成了，完整代码如下：

import os
import glob
import filecmp

dir_path = r'C:\xxxx'

file_lst = []

for i in glob.glob(dir_path + '/**/*', recursive=True):
    if os.path.isfile(i):
        file_lst.append(i)

for x in file_lst:
    for y in file_lst:
        if x != y and os.path.exists(x) and os.path.exists(y):
            if filecmp.cmp(x, y):
                os.remove(y)