1. 正则表达式在NLP中的应用
正则表达式在NLP中的应用.png2. 中文分词
在英语中,单词本身就是“词”的表达,一篇英文文章就是“单词”加分隔符(空格)来表示的,而在汉语中,虽然词以字为基本单位,但是文章的语义表达却是以词来划分的。因此处理中文文本时,需要进行分词处理,将句子转化为词的表示。这个切词的过程就是中文分词
在英语中,单词本身就是“词”的表达,一篇英文文章就是“单词”加分隔符(空格)来表示的,而在汉语中,虽然词以字为基本单位,但是文章的语义表达却是以词来划分的。因此处理中文文本时,需要进行分词处理,将句子转化为词的表示。这个切词的过程就是中文分词
本文标题:NLP基本术语与基本概念-下
本文链接:https://www.haomeiwen.com/subject/lyrvwqtx.html
网友评论