美文网首页大数据 爬虫Python AI SqlPython小哥哥
用Python实现磁盘IO操作全攻略,让数据流动起来!

用Python实现磁盘IO操作全攻略,让数据流动起来!

作者: 14e61d025165 | 来源:发表于2019-05-22 15:58 被阅读0次
    <tt-image data-tteditor-tag="tteditorTag" contenteditable="false" class="syl1558511863002" data-render-status="finished" data-syl-blot="image" style="box-sizing: border-box; cursor: text; color: rgb(34, 34, 34); font-family: "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", "Helvetica Neue", Arial, sans-serif; font-size: 16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: left; text-indent: 0px; text-transform: none; white-space: pre-wrap; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255); text-decoration-style: initial; text-decoration-color: initial; display: block;"> image

    <input class="pgc-img-caption-ipt" placeholder="图片描述(最多50字)" value="" style="box-sizing: border-box; outline: 0px; color: rgb(102, 102, 102); position: absolute; left: 187.5px; transform: translateX(-50%); padding: 6px 7px; max-width: 100%; width: 375px; text-align: center; cursor: text; font-size: 12px; line-height: 1.5; background-color: rgb(255, 255, 255); background-image: none; border: 0px solid rgb(217, 217, 217); border-radius: 4px; transition: all 0.2s cubic-bezier(0.645, 0.045, 0.355, 1) 0s;"></tt-image>

    Python学习交流群:1004391443,这里有资源共享,技术解答,还有小编从最基础的Python资料到项目实战的学习资料都有整理,希望能帮助你更了解python,学习python。

    01 文件读写

    1. 打开文件

    读写文件是最常见的IO操作。Python内置了读写文件的函数,方便了文件的IO操作。

    文件读写之前需要打开文件,确定文件的读写模式。open函数用来打开文件,语法如下:

    open(name[.mode[.buffering]])

    open函数使用一个文件名作为唯一的强制参数,然后返回一个文件对象。模式(mode)和缓冲区(buffering)参数都是可选的,默认模式是读模式,默认缓冲区是无。

    假设有个名为qiye.txt的文本文件,其存储路径是c:\text(或者是在Linux下的~/text),那么可以像下面这样打开文件。在交互式环境的提示符“>>>”下,输入如下内容:

    f = open(r'c:\text\qiye.txt')

    如果你在学习Python的过程当中有遇见任何问题,可以加入我的python交流学习qq群:250933691,多多交流问题,互帮互助,群里有不错的学习教程和开发工具。学习python有任何问题(学习方法,学习效率,如何就业),可以随时来咨询我

    如果文件不存在,将会看到一个类似下面的异常回溯:

    Traceback (most recent call last):

    File"<stdin>", line1,in

    IOError: [Errno2] No such fileordirectory:'C:\qiye.txt'

    2. 文件模式

    下面主要说一下open函数中的mode参数,通过改变mode参数可以实现对文件的不同操作。

    'r': 读模式

    'w': 写模式

    'a': 追加模式

    'b': 二进制模式(可添加到其他模式中使用)

    '+': 读/写模式(可添加到其他模式中使用)

    这里主要是提醒一下'b'参数的使用,一般处理文本文件时,是用不到'b'参数的,但处理一些其他类型的文件(二进制文件),比如mp3音乐或者图像,那么应该在模式参数中增加'b',这在爬虫中处理媒体文件很常用。参数'rb'可以用来读取一个二进制文件。

    3. 文件缓冲区

    open函数中第三个可选参数buffering控制着文件的缓冲。

    如果参数是0,I/O操作就是无缓冲的,直接将数据写到硬盘上;如果参数是1,I/O操作就是有缓冲的,数据先写到内存里,只有使用flush函数或者close函数才会将数据更新到硬盘;如果参数为大于1的数字则代表缓冲区的大小(单位是字节),-1(或者是任何负数)代表使用默认缓冲区的大小。

    4. 文件读取

    文件读取主要是分为按字节读取和按行进行读取,经常用到的方法有read()、readlines()、close()。

    在“>>>”输入f = open(r'c:\text\qiye.txt')后,如果成功打开文本文件,接下来调用read()方法则可以一次性将文件内容全部读到内存中,最后返回的是str类型的对象:

    f.read()

    "qiye"

    最后一步调用close(),可以关闭对文件的引用。文件使用完毕后必须关闭,因为文件对象会占用操作系统资源,影响系统的IO操作。

    f.close()

    由于文件操作可能会出现IO异常,一旦出现IO异常,后面的close()方法就不会调用。所以为了保证程序的健壮性,我们需要使用try ... finally来实现。

    try:

    f = open(r'c:\text\qiye.txt','r')

    printf.read()

    finally:

    iff:

    f.close()

    上面的代码略长,Python提供了一种简单的写法,使用with语句来替代try ... finally代码块和close()方法,如下所示:

    withopen(r'c:\text\qiye.txt','r')asfileReader:

    printfileReader.read()

    调用read()一次将文件内容读到内存,但是如果文件过大,将会出现内存不足的问题。一般对于大文件,可以反复调用read(size)方法,一次最多读取size个字节。如果文件是文本文件,Python提供了更加合理的做法,调用readline()可以每次读取一行内容,调用readlines()一次读取所有内容并按行返回列表。

    大家可以根据自己的具体需求采取不同的读取方式,例如小文件可以直接采取read()方法读到内存,大文件更加安全的方式是连续调用read(size),而对于配置文件等文本文件,使用readline()方法更加合理。

    将上面的代码进行修改,采用readline()的方式实现如下所示:

    withopen(r'c:\text\qiye.txt','r')asfileReader:

    forlineinfileReader.readlines():

    printline.strip()

    5. 文件写入

    写文件和读文件是一样的,唯一的区别是在调用open方法时,传入标识符'w'或者'wb'表示写入文本文件或者写入二进制文件,示例如下:

    f = open(r'c:\text\qiye.txt','w')

    f.write('qiye')

    f.close()

    我们可以反复调用write()方法写入文件,最后必须使用close()方法来关闭文件。使用write()方法的时候,操作系统不是立即将数据写入文件中的,而是先写入内存中缓存起来,等到空闲时候再写入文件中,最后使用close()方法就将数据完整地写入文件中了。

    当然也可以使用f.flush()方法,不断将数据立即写入文件中,最后使用close()方法来关闭文件。和读文件同样道理,文件操作中可能会出现IO异常,所以还是推荐使用with语句:

    withopen(r'c:\text\qiye.txt','w')asfileWriter:

    fileWriter.write('qiye')

    02 操作文件和目录

    在Python中对文件和目录的操作经常用到os模块和shutil模块。接下来主要介绍一些操作文件和目录的常用方法:

    获得当前Python脚本工作的目录路径:

    os.getcwd()。

    返回指定目录下的所有文件和目录名:

    os.listdir()。例如返回C盘下的文件:os.listdir("C:\")

    删除一个文件:

    os.remove(filepath)。

    删除多个空目录:

    os.removedirs(r"d:\python")。

    检验给出的路径是否是一个文件:

    os.path.isfile(filepath)。

    检验给出的路径是否是一个目录:

    os.path.isdir(filepath)。

    判断是否是绝对路径:

    os.path.isabs()。

    检验路径是否真的存在:

    os.path.exists()。例如检测D盘下是否有Python文件夹:os.path.exists(r"d:\python")

    分离一个路径的目录名和文件名:

    os.path.split()。例如:os.path.split(r"/home/qiye/qiye.txt"),返回结果是一个元组:('/home/qiye', 'qiye.txt')。

    分离扩展名:

    os.path.splitext()。例如os.path.splitext(r"/home/qiye/qiye.txt"),返回结果是一个元组:('/home/qiye/qiye', '.txt')。

    获取路径名:

    os.path.dirname(filetpah)。

    获取文件名:

    os.path.basename(filepath)。

    读取和设置环境变量:

    os.getenv()与os.putenv()。

    给出当前平台使用的行终止符:

    os.linesep。Windows使用'\r\n',Linux使用'\n'而Mac使用'\r'。

    指示你正在使用的平台:

    os.name。对于Windows,它是'nt',而对于Linux/Unix用户,它是'posix'。

    重命名文件或者目录:

    os.rename(old,new)。

    创建多级目录:

    os.makedirs(r"c:\python\test")。

    创建单个目录:

    os.mkdir("test")。

    获取文件属性:

    os.stat(file)。

    修改文件权限与时间戳:

    os.chmod(file)。

    获取文件大小:

    os.path.getsize(filename)。

    复制文件夹:

    shutil.copytree("olddir","newdir")。olddir和newdir都只能是目录,且newdir必须不存在。

    复制文件:

    shutil.copyfile("oldfile","newfile"),oldfile和newfile都只能是文件;shutil. copy("oldfile","newfile"),oldfile只能是文件,newfile可以是文件,也可以是目标目录。

    移动文件(目录):

    shutil.move("oldpos","newpos")。

    删除目录:

    os.rmdir("dir"),只能删除空目录;shutil.rmtree("dir"),空目录、有内容的目录都可以删。

    <tt-image data-tteditor-tag="tteditorTag" contenteditable="false" class="syl1558511863016" data-render-status="finished" data-syl-blot="image" style="box-sizing: border-box; cursor: text; color: rgb(34, 34, 34); font-family: "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", "Helvetica Neue", Arial, sans-serif; font-size: 16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: left; text-indent: 0px; text-transform: none; white-space: pre-wrap; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255); text-decoration-style: initial; text-decoration-color: initial; display: block;"> image

    <input class="pgc-img-caption-ipt" placeholder="图片描述(最多50字)" value="" style="box-sizing: border-box; outline: 0px; color: rgb(102, 102, 102); position: absolute; left: 187.5px; transform: translateX(-50%); padding: 6px 7px; max-width: 100%; width: 375px; text-align: center; cursor: text; font-size: 12px; line-height: 1.5; background-color: rgb(255, 255, 255); background-image: none; border: 0px solid rgb(217, 217, 217); border-radius: 4px; transition: all 0.2s cubic-bezier(0.645, 0.045, 0.355, 1) 0s;"></tt-image>

    03 序列化操作

    对象的序列化在很多高级编程语言中都有相应的实现,Python也不例外。程序运行时,所有的变量都是在内存中的,例如在程序中声明一个dict对象,里面存储着爬取的页面的链接、页面的标题、页面的摘要等信息:

    d = dict(url='index.html',title='首页',content='首页')

    在程序运行的过程中爬取的页面的链接会不断变化,比如把url改成了second.html,但是程序一结束或意外中断,程序中的内存变量都会被操作系统进行回收。

    如果没有把修改过的url存储起来,下次运行程序的时候,url被初始化为index.html,又是从首页开始,这是我们不愿意看到的。所以把内存中的变量变成可存储或可传输的过程,就是序列化。

    将内存中的变量序列化之后,可以把序列化后的内容写入磁盘,或者通过网络传输到别的机器上,实现程序状态的保存和共享。反过来,把变量内容从序列化的对象重新读取到内存,称为反序列化。

    在Python中提供了两个模块:cPickle和pickle来实现序列化,前者是由C语言编写的,效率比后者高很多,但是两个模块的功能是一样的。一般编写程序的时候,采取的方案是先导入cPickle模块,如果此模块不存在,再导入pickle模块。示例如下:

    try:

    importcPickleaspickle

    exceptImportError:

    importpickle

    pickle实现序列化主要使用的是dumps方法或dump方法。dumps方法可以将任意对象序列化成一个str,然后可以将这个str写入文件进行保存。在Python Shell中示例如下:

    importcPickleaspickle

    d = dict(url='index.html',title='首页',content='首页')

    pickle.dumps(d)

    "(dp1\nS'content'\np2\nS'\xca\xd7\xd2\xb3'\np3\nsS'url'\np4\nS'index.html'\np5\nsS'title'\np6\ng3\ns."

    如果使用dump方法,可以将序列化后的对象直接写入文件中:

    f=open(r'D:\dump.txt','wb')

    pickle.dump(d,f)

    f.close()

    pickle实现反序列化使用的是loads方法或load方法。把序列化后的文件从磁盘上读取为一个str,然后使用loads方法将这个str反序列化为对象,或者直接使用load方法将文件直接反序列化为对象,如下所示:

    f=open(r'D:\dump.txt','rb')

    d=pickle.load(f)

    f.close()

    d

    {'content':'\xca\xd7\xd2\xb3','url':'index.html','title':'\xca\xd7\xd2\xb3'}

    通过反序列化,存储为文件的dict对象,又重新恢复出来,但是这个变量和原变量没有什么关系,只是内容一样。以上就是序列化操作的整个过程。

    假如我们想在不同的编程语言之间传递对象,把对象序列化为标准格式是关键,例如XML,但是现在更加流行的是序列化为JSON格式,既可以被所有的编程语言读取解析,也可以方便地存储到磁盘或者通过网络传输。如果你在学习Python的过程当中有遇见任何问题,可以加入我的python交流学习qq群:250933691,多多交流问题,互帮互助,群里有不错的学习教程和开发工具。学习python有任何问题(学习方法,学习效率,如何就业),可以随时来咨询我

    相关文章

      网友评论

        本文标题:用Python实现磁盘IO操作全攻略,让数据流动起来!

        本文链接:https://www.haomeiwen.com/subject/aasuzqtx.html