
关键点:
自然语言处理-NLK
文本处理和清洗
停用词移除:无用或者意思变词语处理
词形还原:词语的变形和上线文意思分析
标识化处理:有意义词语处理结果
词干处理:词根相同处理
词性标注
WHAT:对词语性质,形式的定位
HOW:如何使用
1.顺序标注器
1.1.正则标注器
1.2 N-gram标注器
2.Brill标注器
3.机器学习标注器
3.1 最大熵分类器
3.2 隐形马尔克夫模型
3.3 条件随机场
4.NER 标注器
文本结构解析
WHAT:
HOW
1.浅解析
2. 深度解析
3.解析器
3.1 递归解析器
3.2 移位解析器
3.3 图标解析器
3.4 正则表达式解析器
网友评论