本文作者傅源，作为语智云帆科技有限公司资讯类产品经理，今天下场为各位老师讲解建立语料库的过程当中，首当其冲就会面临得问题：我需要建立一个什么样的语料库来助力我的研究？
根据《语料库应用教程》，语料库主要的类型有10类，但这10类语料库并不是完全相互独立，不是完全没有交叉重叠的分类。对语料库进行分类是有多种维度。老师们比较熟悉和常作为项目建立的语料库种类 -- 学习者语料库就是区别于本族语者语料库，从语言变体维度出发分类的。若按语言属性，又可分为单语、平行/双语、多语语料库。
1.通用语料库
力求最好地代表一种语言的全貌而建成的语料库。该类语料库在最初就要设定好各语言变体在整个语料库中所占比例，已达到客观描述语言全貌的目的。该类语料库可以在科研项目中用来作为参照语料库，体现出某些专门语料库的特点。此外，通用语料库容量庞大，往往可以过滤出特定属性的文本，形成多个专门用途的子语料库。比如，科技学术语料库，新闻语料库等等。
英语通用语料库的典范--英语国家语料库， 网址如下：
2.专用语料库
专用语料库相对于通用语料库，是处于特定的研究目的，由某领域语料集结而成。该语料库可以集中反映出该领域的语言特点，并且对于提取专业领域术语、编制专门领域工具书等进一步科教研举措，有很重要的支持作用。而利用专用语料库进行的翻译或语言学研究，可以通过对比通用语料库，分析特定领域语言特点的特点。
汉语国际教育技术研发中心的HSK动态作文语料库就是一个专用语料库的例子，一个可能的研究方向：通过分析HSK汉语考试中考生作文的用词，可以了解到外国学生掌握较好的中文词汇，对比中文通用语料库，就可以得出其掌握熟度较低的词汇。
网址如下：
http://202.112.195.192:8060/hsk/login.asp
3.共时语料库
由同一时代的语言使用样本构成的语料库称为共时语料库。共时语料库是相对历时语料库而言的。基于不同时代的语料所建成的多个共时语料库可以构成一个历时语料库。
古汉语语料库：http://www.sinica.edu.tw/ftms-bin/ftmsw
古汉语语料库包含以下五个语料库，其中上古汉语、中古汉语(含大藏经)、近代汉语这三个语料库即可看做是三个共时语料库。而古汉语语料库本身就可看做是一个历时语料库。
4.历时语料库
收集不同时代的语言使用样本构成的语料库称为历时语料库。历时语料库是观察和研究语言变化时常用的工具。
赫尔辛基英语文本语料库（Helsinki Corpus of English Texts）是一个典型的英语历时语料库，其语料横跨 850-1720年，共计1600万词。
5.口语语料库
口语语料库尝尝包括由口语转写而来的文本，又是也包括语音文件。口语语料库的构建比笔语语料库多了转写的步骤，并且在这一步骤中的很多设定带来很多讨论。比如是否对于口语中无意义的停顿词做转写，如果出现停顿是否也需要转写，转写的话长度是否也需要标明。这些设定都需要在建库之前针对研究课题类型做好定义。
暨南大学华文学院口语语料库，语料为留学生的中文口语样本：
https://huayu.jnu.edu.cn/corpus5/Default.aspx
6.笔语语料库
笔语语料库取材于书面语，通常包括书籍、报刊、书信、学术论文等常见笔语形式。相对于口语，笔语语料更容易搜集，笔语语料库相对容量会更大。
7.本族语者语料库
该类语料库中的样本为本族语者的语言使用。用来对照非本族语者或者学习者语言，可以得出学习者语言使用特点。
英式英语本族语语料库 British National Corpus (BNC)：
https://www.english-corpora.org/bnc/
还有一篇论文《基于语料库的中国英语学习者和英语本族语者 介词from的搭配差异研究》，作者姜珊、杨忠，就体现了很明确的一个对学习者用词特点的研究。
https://wenku.baidu.com/view/8e568f6d0640be1e650e52ea551810a6f524c896.html
8.学习者语料库
由非本族语学习者语言使用样本构成的语料库。其中较大的两个分类为口语语料库和笔语语料库，用于分别体现学习者在口语和笔语上的特点。学习者语料库中对于文本的标注，除了常用词性标注、语义标注还可以有错误标注，当中又可以划分为拼写错误、语法错误、时态错误等。
中国英语学习者语料库 CLEC：
https://corpus4u.org/forums/74/
9.单语语料库
单语语料库中的语料来自于同一种语言，如英语语料库、汉语语料库等。
10.平行/双语语料库和多语语料库
平行/双语语料库中的语料来自于两种语言，而且相互对应，即一种语言是另一种语言的译文。构建双于语料库中的重要环节试两种语言间的对齐，通常为句对齐或段对齐。双语语料库对于翻译研究与机器翻译研究有重要意义。多语语料库中的语言使用样本取自于多种语言。如Europarl Parallel Corpus （European Parliament Proceedings Parallel Corpus）收集了欧洲议会的多语言文集，将11种语言进行对齐处理。该语料库可以从网上免费下载，https://www.statmt.org/europarl/
网友评论