Python | collections、counter、文件I

collections

collections是Python内建的一个集合模块，提供了许多有用的集合类。
nametuple、deque之类的
但我今天只用到了counter

counter

Counter是一个简单的计数器，例如，统计字符出现的个数：

>>> from collections import Counter
>>> c = Counter()
>>> for ch in 'programming':
...     c[ch] = c[ch] + 1
...
>>> c
Counter({'g': 2, 'm': 2, 'r': 2, 'a': 1, 'i': 1, 'o': 1, 'n': 1, 'p': 1})

Counter实际上也是dict的一个子类，上面的结果可以看出，字符'g'、'm'、'r'各出现了两次，其他字符各出现了一次。

counter统计词频

#写得烂烂的代码
def count_frequency():
    with open("tokens_1.txt",'r') as f:
        text = f.read()
        frequency = collections.Counter(text.split("|")
        while True:
            word = input("please input a word:")
            print(frequency[word])

dictionary

概述 dictionary是一种可变容器模型，可储存任意类型对象
代码格式

d = {key1 : value1, key2 : value2 }

split()

描述
Python split() 通过指定分隔符对字符串进行切片，如果参数 num 有指定值，则仅分隔 num 个子字符串
语法

str.split("str", num).

• str为分隔符，默认为所有空字符，包括空格，\n,\t等
• num为分割次数
  返回值
  返回分割后的字符串列表

re.split()

稍微高级一点。需要先import re
下次和正则表达式一起讲

replace()

需要同时替换多个字符串时，可以使用链式replce()

'''
强行把句子末尾变换行符
这种切法很粗暴了而且也不甚准确
但我只是想尽量切成多行，而且标点符号最终也是要被去掉的
所以——
'''
line = line.replace(u"。", "\n").replace(u"」", "\n")

你值得背下来的——Python文件IO

file 对象使用 open 函数来创建，下面列出了 file 对象常用的函数： |

• file.close()
  关闭文件。关闭后文件不能再进行读写操作。
• file.flush()
  刷新文件内部缓冲，直接把内部缓冲区的数据立刻写入文件, 而不是被动的等待输出缓冲区写入。
• file.next()
  返回文件下一行。
• file.read([size])
  从文件读取指定的字节数，如果未给定或为负则读取所有。
• file.readline([size])
  读取整行，包括 "\n" 字符。
• file.readlines([sizeint])
  读取所有行并返回列表，若给定sizeint>0，返回总和大约为sizeint字节的行, 实际读取值可能比 sizeint 较大, 因为需要填充缓冲区。
• file.seek(offset[, whence])
  设置文件当前位置
• file.tell()
  返回文件当前位置。
• file.truncate([size])
  从文件的首行首字符开始截断，截断文件为 size 个字符，无 size 表示从当前位置截断；截断之后 V 后面的所有字符被删除，其中 Widnows 系统下的换行代表2个字符大小。
• file.write(str)
  将字符串写入文件，没有返回值。
• file.writelines(sequence)
  向文件写入一个序列字符串列表，如果需要换行则要自己加入每行的换行符。

open()

open() 将会返回一个 file 对象，基本语法格式如下:
open(filename, mode)

• filename：filename 变量是一个包含了你要访问的文件名称的字符串值。
• mode：mode决定了打开文件的模式：只读，写入，追加等。所有可取值见如下的完全列表。这个参数是非强制的，默认文件访问模式为只读(r)。
  不同模式打开文件的完全列表：

r 以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。
rb 以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。这是默认模式。
r+ 打开一个文件用于读写。文件指针将会放在文件的开头。
rb+ 以二进制格式打开一个文件用于读写。文件指针将会放在文件的开头。
w 打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。
wb 以二进制格式打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。
w+ 打开一个文件用于读写。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。
wb+ 以二进制格式打开一个文件用于读写。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。
a 打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，创建新文件进行写入。
ab 以二进制格式打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，创建新文件进行写入。
a+ 打开一个文件用于读写。如果该文件已存在，文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在，创建新文件用于读写。
ab+ 以二进制格式打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。如果该文件不存在，创建新文件用于读写。

文件操作的好习惯

with open(filename) as file:一般来说你打开了文件，对它进行一番操作，完事儿了就得f.close()顺手关上，才会保存，而且不会占着内存。
但是忘记关上也是常有的事情。
但是呢，如果是这样打开的

with open(file,mode) as f:
    #一番操作

它就会在操作完自己关上
所以这是一个好习惯，你要用！
而且这样才能体现我们python人的风格！
不然写出来的代码一股C的或者别的什么味道就不好了。

用 f.readlines() 而不是 f.read()
因为f.read()是把整个文件读到一个字符串里，如果你的文件很鬼死大，搞不好就崩溃了啥的。
而f.readlines()是一行一行进行操作的，比较安全。它返回一个列表哦，如果想访问字符串，用for line in f.readlines()遍历就好。

解决乱七八糟的编码问题

哎真是后悔为什么之前没有看到呢…
害我浪费美好青春…
其实如果文件里有杂七杂八的编码
害你老是出bug
比如说这种

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xfe in position 0: 

就真的很想打人的
不妨试试加上errors参数，值可以是'ignore'或'replace'
比如说这样子：

with open(filename, "r", encoding='utf-8', errors='ignore') as f:

突然就没bug了呢！开心吗！