Python 学习笔记9 - IO编程

文件读写

读写文件就是请求操作系统打开一个文件对象（通常称为文件描述符），然后，通过操作系统提供的接口从这个文件对象中读取数据（读文件），或者把数据写入这个文件对象（写文件）

读文件

open() 函数用于打开一个文件对象

f = open('/Users/michael/test.txt', 'r')

标示符'r'表示读

如果文件不存在，open() 函数就会抛出一个 IOError 的错误

如果文件打开成功，调用 read()方法可以一次读取文件的全部内容，Python 把内容读到内存，用一个 str 对象表示

str1 = f.read()

最后一步是调用close()方法关闭文件

f.close()

为了确保文件能正确被关闭，可用 try ... finally ：

try:
    f = open('/path/to/file', 'r')
    print(f.read())
finally:
    if f:
        f.close()

with 语句来自动帮我们调用 close() 方法：

with open('/path/to/file', 'r') as f:
    print(f.read())

• read() 会一次性读取文件的全部内容
• read(size) 每次最多读取size个字节的内容
• readline() 每次读取一行内容
• readlines() 一次读取所有内容并按行返回list

file-like Object

像 open() 函数返回的这种有个read() 方法的对象，在 Python 中统称为 file-like Object 。除了file外，还可以是内存的字节流，网络流，自定义流等等

file-like Object不要求从特定类继承，只要写个read()方法就行

字符编码

指定读取文件的编码（默认 utf-8）：

f = open('/Users/michael/gbk.txt', 'r', encoding='gbk')

遇到有些编码不规范的文件，你可能会遇到 UnicodeDecodeError ，因为在文本文件中可能夹杂了一些非法编码的字符

open() 函数还接收一个 errors 参数，表示如果遇到编码错误后如何处理

最简单的方式是直接忽略：

f = open('/Users/michael/gbk.txt', 'r', encoding='gbk', errors='ignore')

二进制文件

要读取二进制文件，用 'rb' 模式打开文件即可：

f = open('/Users/michael/test.jpg', 'rb')
f.read()

写文件

写文件调用 open() 函数时，传入标识符 'w' 或者 'wb' 表示写文本文件或写二进制文件：

f = open('/Users/michael/test.txt', 'w')
f.write('Hello, world!')
f.close()

with open('/Users/michael/test.txt', 'w') as f:
    f.write('Hello, world!')

当我们写文件时，操作系统往往不会立刻把数据写入磁盘，而是放到内存缓存起来，空闲的时候再慢慢写入。只有调用close()方法时，操作系统才保证把没有写入的数据全部写入磁盘

StringIO 和 BytesIO

StringIO

把str写入StringIO：

from io import StringIO

# 创建一个StringIO
f = StringIO()

# 返回字符数
f.write('hello')

# 获得写入后的str
print(f.getvalue())

像读文件一样读取StringIO：

from io import StringIO

f = StringIO('Hello!\nHi!\nGoodbye!')

while True:
    s = f.readline()
    if s == '':
        break
    print(s.strip())

BytesIO

from io import BytesIO

f = BytesIO()

# 返回字节数
f.write('中文'.encode('utf-8'))

print(f.getvalue())

from io import BytesIO

f = BytesIO(b'\xe4\xb8\xad\xe6\x96\x87')

f.read()

操作文件和目录

Python 内置的 os 模块也可以直接调用操作系统提供的接口函数

import os

# 操作系统类型，如果是 posix，说明系统是Linux、Unix或Mac OS X，如果是nt，就是Windows系统
os.name

# 获取详细的系统信息，在Windows上不提供
os.uname()

# 获取在操作系统中定义的环境变量
os.environ

# 获取某个环境变量的值
os.environ.get('PATH')
os.environ.get('x', 'default')

操作文件和目录

操作文件和目录的函数一部分放在 os 模块中，一部分放在 os.path 模块中

# 查看当前目录的绝对路径
os.path.abspath('.') ==> 'C:\\Users\\lianwx'

# 列出当前路径下的所有文件和子目录
os.listdir('.')

# 判断路径下是否目录
os.path.isdir('path')

# 判断路径下是否文件
os.path.isfile('path')

# 合并、拆分路径的函数并不要求目录和文件要真实存在，它们只对字符串进行操作
# 在某个目录下创建一个新目录，首先把新目录的完整路径表示出来
os.path.join('C:\\Users\\lianwx', 'testdir')

# 拆分路径
os.path.split('/Users/michael/testdir/file.txt') ==> ('/Users/michael/testdir', 'file.txt')

# 得到文件扩展名
os.path.splitext('/path/to/file.txt') ==> ('/path/to/file', '.txt')

# 创建一个目录
os.mkdir('/Users/michael/testdir')

# 删掉一个目录
os.rmdir('/Users/michael/testdir')

# 对文件重命名
os.rename('test.txt', 'test.py')

# 删掉文件
os.remove('test.py')

# 复制文件
# 读写文件可以完成文件复制
# 使用 `shutil` 模块的 `copyfile()` 函数

利用Python的特性来过滤文件

# 列出当前目录下的所有目录
[x for x in os.listdir('.') if os.path.isdir(x)]

# 列出所有的.py文件
[x for x in os.listdir('.') if os.path.isfile(x) and os.path.splitext(x)[1]=='.py']

序列化

Python提供了 pickle 模块来实现序列化

pickle.dumps() 方法把任意对象序列化成一个 bytes

pickle.dump() 直接把对象序列化后写入一个 file-like Object

把一个 dict 序列化并写入文件：

import pickle

d = dict(name='Bob', age=20, score=88)

# 得到一个bytes，然后，就可以把这个bytes写入文件
pickle.dumps(d)


f = open('dump.txt', 'wb')

# 直接把对象序列化后写入一个file-like Object
pickle.dump(d, f)

f.close()

反序列化：

pickle.loads() 方法把 bytes 反序列化出对象

pickle.load() 方法从一个file-like Object中直接反序列化出对象

f = open('dump.txt', 'rb')

d = pickle.load(f)

f.close()

JSON

Python 内置的 json 模块提供了非常完善的 Python 对象到 JSON 格式的转换

json.dumps() 方法返回一个 str ，内容就是标准的 JSON

json.dump() 方法可以直接把 JSON 写入一个 file-like Object

import json

d = dict(name='Bob', age=20, score=88)

json.dumps(d)

json.loads() 方法把JSON的字符串反序列化

json.load() 方法从file-like Object中读取字符串并反序列化

json_str = '{"age": 20, "score": 88, "name": "Bob"}'

json.loads(json_str)

JSON进阶

序列化一个 class

默认情况下，dumps() 方法不知道如何将一个实例变为一个 JSON 的 {} 对象

dumps() 方法还提供了一大堆的可选参数 ，其中参数 default 接受一个函数，函数可传入一个对象，返回一个 dict，作为转换函数

通常class的实例都有一个 __dict__ 属性，它就是一个 dict ，用来存储实例变量。也有少数例外，比如定义了slots的class。

import json

class Student(object):
    def __init__(self, name, age, score):
        self.name = name
        self.age = age
        self.score = score

s = Student('Bob', 20, 88)

print(json.dumps(s, default=lambda obj: obj.__dict__))

把JSON反序列化为一个 Student 对象实例，loads() 方法首先转换出一个 dict 对象，然后，我们传入的 object_hook 函数负责把 dict 转换为 Student 实例:

def dict2student(d):
    return Student(d['name'], d['age'], d['score'])
    
json_str = '{"age": 20, "score": 88, "name": "Bob"}'

print(json.loads(json_str, object_hook=dict2student))