【报错】UnicodeDecodeError: 'utf-8'

今天读取文件数据时遇到了一个编解码的问题:

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe8 in position 3652: invalid continuation byte

通常情况下, 读取文件时如果不指定编码类型, 编码类型将跟随系统, 如:

with open("file") as fr:
    for line in fr:
        ...

他的编码类型跟随系统, 使用 locale 命令查看编码:

LANG=en_US.UTF-8
LC_CTYPE="en_US.UTF-8"
LC_NUMERIC="en_US.UTF-8"
LC_TIME="en_US.UTF-8"
LC_COLLATE="en_US.UTF-8"
LC_MONETARY="en_US.UTF-8"
LC_MESSAGES="en_US.UTF-8"
LC_PAPER="en_US.UTF-8"
LC_NAME="en_US.UTF-8"
LC_ADDRESS="en_US.UTF-8"
LC_TELEPHONE="en_US.UTF-8"
LC_MEASUREMENT="en_US.UTF-8"
LC_IDENTIFICATION="en_US.UTF-8"
LC_ALL=

一般linux系统的默认编码格式为 utf-8, windows系统的默认编码格式为 GBK

但是当一个文件存在两种及以上的编码格式时, 用一种编码格式读取文件就会发生上述错误
解决办法为将文件流用 io 模块的 TextIOWrapper 进行封装, 指定一种编码格式并忽略其他编码格式即可, 将上面代码改为:

import io

with open("file") as fr:
    input_stream = io.TextIOWrapper(fr.buffer, encoding='utf-8', errors='replace')
    for line in input_stream :
        ...

大功告成