美文网首页Python数据分析我爱编程
12、pandas将多个具有相同列名的文件合并成一个文件

12、pandas将多个具有相同列名的文件合并成一个文件

作者: 让数据告诉你 | 来源:发表于2017-12-26 15:29 被阅读0次

文件的合并这里要用到os库的walk和path功能。

例如我们现在有这几个文件,现在想要将它们合并(纵向合并)成一个文件要怎么处理呢?

文件名 文件的格式都是这样的

首先,我们要引入pandas和os库,并定义好文件夹的路径:

定义存放文件的路径

其次,我们要新建一个空的DataFrame,列名设置为空就会默认为原始表格的列名。

新建一个空的 DataFrame

然后利用os库的walk功能遍历文件夹里的所有文件,并读取文件名字。

os.path.join能够将文件夹的路径和文件名字合并成每个文件的完整路径,然后将每个文件读取,在与空的DataFrame合并。

遍历所有文件

这样子就可以把文件夹内所有的文件进行合并了。

合并后的文件

以上操作有几点需要注意的:

1、以上读取合并的是CSV文件,所以在文件路径中不能存在中文字符,否则会报错;

2、如果读取Excel文件的话,路径中可以存在中文字符不会受到影响;

3、在一个文件夹内只能有一种格式的文件,如果有多种格式的文件也会报错;

4、读取文件后出现乱码可以指定编码格式;

5、读取文件里如果有子文件夹,那么子文件夹的文件也会被一并的读取并合并。

以上说的是纵向合并,那么如果要进行横向合并,又要怎么操作呢?

提示:横向合并只需要将append替换成concat就可以了。

使用concat进行横向合并

相关文章

  • 12、pandas将多个具有相同列名的文件合并成一个文件

    文件的合并这里要用到os库的walk和path功能。 例如我们现在有这几个文件,现在想要将它们合并(纵向合并)成一...

  • Linux将多个文件内容合成一个

    把两个文件的内容合并成一个文件 如果想把整个文件夹的log文件合并成一个文件 将多个文件内容合成一个的应用场景 当...

  • 自定义InputFormat案例

    需求: 将多个小文件合并成一个SequenceFile文件(SequenceFile文件是Hadoop用来存储二进...

  • 多个PDF文件怎么合并?PDF合并的方法教程

    多个PDF文件怎么合并?在我们的工作中,不可避免的就是将多个PDF文件合并成一个PDF文件,对于经常使用PDF文件...

  • python自学笔记

    文件读取写出 用pandas处理 按列名 合并 字典

  • Linux常见的文件系统操作命令

    cat:可以显示文件的内容(经常和more搭配使用),或将多个文件合并成一个文件。 chgrp:用来改变文件或目录...

  • PDF文件如何分割与合并

    在日常工作中,我们越来越多地接触到PDF文件。有时候我们会有将一个PDF文件拆分成多个文件或将多个PDF文件合并成...

  • 数据文件合并与拆分

    在数据处理业务中,经常要把文件结构相同或近似相同的数据文件合并成一个文件,或者将一个比较大的数据文件拆分成小的数据...

  • day15-Linux学习 文件压缩与打包

    一、文件打包与压缩 1、什么是文件压缩? 将多个文件或目录合并成为一个特殊的文件。 2、为什么要对文件进行压缩? ...

  • 文件压缩

    一、什么是文件压缩? 将多个文件或目录合并成为一个特殊的文件 为什么要对文件进行压缩? 减小文件的体积加快资源的传...

网友评论

    本文标题:12、pandas将多个具有相同列名的文件合并成一个文件

    本文链接:https://www.haomeiwen.com/subject/vgxjgxtx.html