自然语言处理基本流程与应用

自然语言处理是人工智能皇冠上的明珠

自然语言处理的基本流程：

• 分词（Segment）
• 命名实体识别（NER）
• 词性标注（Pos Tagging）
• 句法分析（短语结构分析、句子依存分析）
• 语义分析（包括：语义消歧，主要针对多义词在文中的意思；语义角色标注，主要是标注出一个句子中主谓宾状语等。语义角色标注过于依赖句法分析的准确性，不过目前句法分析的准确性并不是特别高，因此语义角色标注的效果一般。）
• 篇章分析（在一篇文章中段落的顺序、句子的顺序都是很重要的，按照正确的表达序列排序才能构成完整的篇章。在篇章分析中可以划分的结构有篇章-段落-句子-词、篇章-句子-词、篇章-词等。）
  以上的六个基本流程是自然语言处理中无法绕开的步骤，也是做好自然语言处理中最重要的环节。

自然语言处理的应用：

• 文本分类与情感分析（如：新闻自动分类、商品评价情感分析）
• 信息抽取与自动文摘（如：非结构化数据中抽取实体信息）
• 问答系统（如：IBM的Watson系统）
• 信息检索（如：搜索引擎）
• 人机对话系统Chatbot（如：微软小冰）
• 机器翻译（如：谷歌翻译）

参考 自然语言处理简述