美文网首页
python 去掉 <0xfeff> 字符

python 去掉 <0xfeff> 字符

作者: 姚远_HIT | 来源:发表于2021-09-24 10:31 被阅读0次

1. 问题

今天用 python 跑文本数据时,发现有些行出现了 <0xfeff> 字符,经过查找,得知某些文件,如果用 UTF-8、UTF-16 或 UTF-32 进行编码,则可能在文件的开头包含字节顺序标记(Byte Order Marker,BOM),即 <0xfeff> 是 BOM,接下来分别介绍一下 BOM,以及给出 python 去除 BOM 的方法。

某些行出现<oxfeff>.png

2. BOM

对于人类而言,很容易便可以知道字节的读取顺序,但是计算机不知道,因此需要给一些指令告诉计算机按照什么顺序读取字节,BOM便是这样的一种指令,其是一种用于标识的unicode字符,它常被用来当做标示以UTF-8、UTF-16或UTF-32为编码的文件。

3. 去除方案

比如需要去除变量 s 的 BOM,python 中只需要使用下面的代码即可。

import codecs
s.replace(codecs.BOM_UTF8, "")

参考文献

[1] 聊一聊BOM
[2] python去掉BOM头的方法

相关文章

  • python 去掉 <0xfeff> 字符

    1. 问题 今天用 python 跑文本数据时,发现有些行出现了 <0xfeff> 字符,经过查找,得知某些文件,...

  • eval

    eval() 将去掉字符串最外侧的引号,并按照Python语句方式执行去掉引号后的字符内容 eval() 函数经常...

  • difflib.SequenceMatcher解析

    python官方库difflib的类SequenceMatcher功能:比较文本的距离 去掉junk字符 __ch...

  • crontab 定时任务不执行的原因

    python 的话,去掉代码中的print语句,否则很容易出现字符编码问题。第一行加上:#!/usr/bin/py...

  • iOS 字符串过滤空白字符和换行符

    //去除掉首尾的空白字符和换行字符 // 去掉首尾的空白字符 // 去掉换行符 // originalString...

  • python函数基础

    字符串操作 删除 去掉两端字符串: strip(), rstrip(),lstrip() replace 去掉中间...

  • 函数

    stripslashes($str); 去掉反斜杠 去掉字符串中的某个字符 你原来的字符串是 "abcdefg",...

  • 去掉空格、替换字符

    去掉首尾空格 替换字符 (将空格替换为无,即为去掉字符串中所有的空格)

  • 正则表达式

    去掉字符串首位 "/" 字符:str.replace(/(^\/*)|(\/*$)/g, "")

  • iOS开发 swift 和 oc 如何去除字符串中的 空格 换行

    字符串中如何把空格去掉来整理一下oc 和 swift 的方法 1.去掉字符串中所有空格 2.去掉字符串首尾空格 3...

网友评论

      本文标题:python 去掉 <0xfeff> 字符

      本文链接:https://www.haomeiwen.com/subject/amzagltx.html