美文网首页
CSV文件数据校验清洗

CSV文件数据校验清洗

作者: 一笑乘风凉 | 来源:发表于2019-05-23 09:56 被阅读0次

场景:读取一个csv文件,对csv文件中的数据做如下处理:

(1)查询每列数据中是否存在NAN值,若存在,将NAN值所在的行列加入到字典中,并标明“NAN”;若不存在,不做任何处理;

(2)判断每列中每个数据的数据类型是否与指定的数据类型一致,若不一致,将其行列值加入到字典中,并标明“数据格式不一致”;若一致,不做任何处理。

程序实现过程:

(1)读取csv文件,得到DataFrame类型的数据data;

(2)遍历data中的列;

(3)对每列中的每个数据判断其是否为“NAN”或存在数据类型不一致,若存在,则将其添加到字典d中。

相关文章

网友评论

      本文标题:CSV文件数据校验清洗

      本文链接:https://www.haomeiwen.com/subject/witszqtx.html