1.词法分析歧义
- 自然语言处理中的歧义
分词歧义,作为自然语言处理的第一个步骤。
词性标注
语法分析歧义
语义分析歧义
语用歧义
2.两类不同的语言处理模型
2.1能力模型
基于语言学规则的模型
- 建模步骤:
- 语言学知识的形式化
- 形式化规则算法化
- 算法实现
2.2应用模型
根据不同的语言处理应用而建立的特定的语言模型,通常是基于统计的门票性。又称为“经验主义的” 语言模型
- 建模步骤:
- 通过大规模的真是语料库,获取语言各级语言单位上的统计信息
- 一句较低级语言单位上的统计信息,运用相关的统计推理新技术计算较高级语言单位上的统计信息
统计与规则相结合的方法,取长补短
3.评测技术
- 著名的国际评测:
Sigham
Conll
TREC
网友评论