在对外汉语课堂上，由于一些特殊的教学需求，不少学校都选择自编教材。然而在编写过程中，如何统计每篇课文的生词是个问题。主要困难点在于
- 需要把课文分成一个一个的中文词
- 需要把第一次出现的词（即生词）提取出来
前者可以利用编程语言Python来实现。后者可以用Excel的去重功能来实现。
利用Python分词
安装Python
请看百度经验
在windows下的安装稍微复杂一些，在mac下超级方便。
安装插件-jieba
jieba是最好的中文分词工具（官网上这么说的）。打开windows的cmd或者mac上的终端，输入以下命令安装：
pip install jieba #这是python2环境下的安装代码
pip3 install jieba #这是python3环境下的安装代码
文本处理
软件方面的准备都做完了，接下来需要把文本都准备好。因为我们的课文都是不同的文档，所以我们要用python完成的步骤如下：
- 把课文的文档按照一定规律命名，比如Lesson1, Lesson2…（用windows的重命名功能就能实现）
- 读取课文1的文档
- 利用插件jieba给课文1分词
- 把分词的结果输出到一个新的文档，保存
- 读取课文2的文档，依次循环
执行代码
代码如下，#后的文字是解释代码的意思，看不懂可以跳过：
#设置一个循环，如果有10篇课文，就是1~11(python不读最后一个数字)
for num in range(1,11):
#设定课文文档的路径,用%代表数字，读取文档
url = "/users/Arthur/desktop/Text/Lesson%s.txt" %num
file_read = open(url,'r')
try:
all_the_text = file_read.read()
finally:
file_read.close()
#导入一个正则表达式，把课文里的符号都去除，否则会影响分词
import re
punctuation = '/！:。，._？,：、《》（）……~“”'
def remove_punctuation(text):
new_text = re.sub(r'[{}]+'.format(punctuation),'',text)
return new_text
no_punctuation = remove_punctuation(all_the_text)
#导入jieba插件，把分词的结果保存到一个数组里
import jieba
seg_list = jieba.cut(no_punctuation)
new_seg_list = []
for i in seg_list:
if i not in new_seg_list:
new_seg_list.append(i)
#把分词的结果变成一行一个，方便以后的统计
word_list = '\n'.join(new_seg_list)
#把分词结果输出到一个新建的txt文件中，保存
file_write= open("/users/Arthur/desktop/WordList/Lesson%s-wordlist.txt" %num,'w')
file_write.write(word_list)
file_write.close()
print(url)
num = num + 1
把这段代码复制到txt文档里，修改以下的部分就能自己使用啦：
- 把循环的数字换掉，比如自己的课文一共是20篇，那么就换成（1,21)
- 把读取和保存的路径换掉，换成自己电脑的路径
- 把文件的后缀名改成.py，就能运行啦
如果一切顺利，分词之后的结果是这样的：
我
的
朋友
说
这家
饭店
菜
很
好吃
当然，jieba分词也不是十全十美的，因为中文课堂上的生词往往是最小颗粒度的。所以还需要人肉排查一下，把分错了的词给修复。比如“这家”，就需要拆分成“这”和“家”。全部课文都扫一遍之后就能利用Excel处理生词啦。
利用Excel提取第一次出现的生词
用Excel处理生词的思路如下：
- 把每一课的分词结果汇总，放在一张表里
- 把同一课里重复出现的生词去除
- 统计每一个词在前面所有课文里出现的次数（如果次数为0，那么就说明是生词啦）
- 把剩下的次数不为0的词，全部删除
- 统计每一课生词的个数
分词汇总
把每一课的分词结果汇总到Excel表里，ctrl + c和 ctrl + v，这个都不会的请放弃吧……这篇教程并不适合你。
表格看起来应该是这样的，旁边空着的一列有用处，后面会讲到：
生词汇总
去除同一篇课文里的重复词
由于jieba分词不能去除同一篇课文里的重复词，所以我们用Excel的这个功能来把重复值挑出来：
选中一列==>条件格式==>突出显示单元格规则==>重复值
现在每篇课文的重复值就出现了，手工删之。
重复值
统计生词的出现次数
现在我们有了一张包括所有课文的、同一篇课文里没有重复的生词表。接下来我们要统计某个生词在之前的所有课文里的出现次数，如果是0，那就说明是生词，如果不是0，那说明在之前的课文里出现过，删掉就好。还记得刚才空着的一列么，就是用来统计次数用的，用以下命令：
=COUNTIF($A:B,C2)
COUNTIF是个命令的名称，用来统计个数。A:B表示从A列到B列的所有单元格，$A表示A列固定不动，C2表示C2单元格，整个公式的意思是：统计C2这个单元格在A列到B列里一共出现了几次
如果顺利的话，应该会出现如下的样式：
统计出现次数
为什么第一课是空的？因为第一课不需要统计……
好啦，然后用排序功能，把数字不是0的排到前面，然后手工删除就可以了。剩下的就都是生词啦。
接下来就是格式调整，不多说了。
这样一份生词表就出炉了~有兴趣的话可以试试，遇到了问题也欢迎留言沟通。
下一期会介绍一下如何统计整本教材的词汇量、句子长度的趋势。
不会写代码的中文老师不是好产品经理。
网友评论