先前都任务只要现在努力学习，就可以顺利“逆袭”。但在人工智能时代，“人工智能时代存在一个人类价值体现方式变革的问题”。换句话说，如果我们依旧指望课本里的那些知识求生存，不求创新，不求探索，那么对知识掌握得再好，也只是拾人牙慧，只能湮没于滚滚的历史车轮之下。
这始终激励自己出了掌握基础知识，需要对多种知识进行组合和运用。而我们一直感觉比较玄乎的人机回话，离不开语音、文本的翻译。但众多知识离不开如下的基础知识，而正是因为有了这些基础知识，再加上各位不断创新，给大家带来一波又一波的AI应用。
image.png
1、输入数据
自然语言处理系统的输入源一共有3个，即语音、图像与文本。1，语音和图像虽然正引起越来越大的关注，但受制于存储容量和传输速度，它们的信息总量还是没有文本多。一旦转化为文本，就可以进行后续的NLP任务。
2、词法分析
对中文而言，词法分析常常是后续高级任务的基础。词法分析的主要任务是将文本分隔为有意义的词语（中文分词)，确定每个词语的类别和浅层的歧义消除（词性标注)，并且识别出一些较长的专有名词（命名实体识别)。
3、句法分析
词法分析只能得到零散的词汇信息，计算机不知道词语之间的关系。在一些问答系统中，需要得到句子的主谓宾结构。不仅是问答系统或搜索引擎，句法分析还经常应用于基于短语的机器翻译，给译文的词语重新排序。
4、语义分析
相较于句法分析，语义分析侧重语义而非语法。它包括词义消歧、语义角色标注、语义依存分析。
5 、信息抽取
词法分析之后，文本已经呈现出部分结构化的趋势。至少，计算机看到的不再是一个超长的字符串，而是有意义的单词列表，并且每个单词还附有自己的词性以及其他标签。根据这些单词与标签，我们可以抽取出一部分有用的信息，从简单的高频词到高级算法提取出的关键词，从公司名称到专业术语，其中词语级别的信息已经可以抽取不少。
6、文本分类与文本聚类
将文本拆分为一系列词语之后，我们还可以在文章级别做一系列分析：文本分类。文本聚类。
7、其他高级任务
- 除了上述“工具类”的任务外，还有许多综合性的任务，与终端应用级产品联系更紧密。比如：乙 自动问答，根据知识库或文本中的信息直接回答一个问题，比如微软的Cortana和苹果的Siri；
- 自动摘要，为一篇长文档生成简短的摘要；
- “机器翻译，将一句话从一种语言翻译到另一种语言。
网友评论