一、中文分词
1.含义
中文分词：指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个形式上的分界符。
2.分词技术
既然涉及到了分词，那就不得不涉及到分词技术。现在是互联网时代，信息膨胀，海量的信息混杂在一起，仅凭我们人类自己来进行整理基本上可以说是天方夜谭了。面对中文信息，不采用分词技术的话很容易导致资源混淆，比如说“制造业和服务业”、“她穿的和服好好看”这两个语句中均存在着“和服”二字，但是很明显，两个句子中只有第二句表达的是我们所理解的“和服”的意思，而第一个就是我们所谓的混淆。所以我们需要分词技术，来使得信息整理更加准确合理。
现有的分词技术有三种：字符串匹配、语义分词、统计分词。这些百度百科上说的很详细，我就不赘述了。
3.中文分词工具
同样也是百度一大堆，而且很多都讲的很详细，我也不一一列举了。
参考链接：中文分词（认真看完就可以大致了解以上说的两点了）
二、分词工具分析比较（本人比较懒，最不喜欢下载东西，然后还要进行一步一步的配置什么的，我都是使用的在线分词工具，虽然很多在线分词工具都没有分词系统专业，但是做简单的分析比较供学习还是足够了的）
1.站长工具在线分词
1.PNG
2.PNG
5.PNG
针对以上的使用过程，我发现这个在线分词工具就是把每一句中随语意应该拆分的词给拆分开来，大部分的具有固定意义的词组它并没有拆分开，比如说“多少”一词，本来可以拆分为单个的“多”、“少”这两个字，但是它并没有进行拆分，而且句子中的重复的关键词它都省去了，并没有重复列举出来。我觉得这是比较符合我们现阶段的中文分词的要求的，至少在我看来我是能够接受这种分词的。但是也有被它拆开的，比如说“单方面的”一词，本来应该拆分为“单方面”“的”，但是它拆分成了“单方”、“面的”，但这种情况是少数。他还有一个功能是拆分了关键词之后还可以对关键词的词性进行分析，我觉得这也是比较好的一个功能。
3.PNG
4.PNG
6.PNG
针对以上的使用过程，我一开始看到的感觉就是：这是什么鬼东西，乱七八糟的。句子短，还勉强能看的过去，但是从第一个截图我们就能看出，它是把所有能拆分的词语都给拆分了，而完全不考虑这个词是不是应该拆分，说实话，这样的拆分根本没有任何意义（个人觉得），像后面截图可以看到的，比较长的段落，它的拆分已经是惨不忍睹了，反正我是完全没有想要把它拆分后的结果看完的念头。但是我觉得他做的比较好的就是有统计词组的总数量等，以满足个别使用分词的用户的其他的需求。另外我觉得他的整个网页的界面（我没有截图，感兴趣的可以自己去体验一下。。。）做的很有意思，我觉得我可以玩一天，当然这就涉及到了其他用户体验方面的问题了，比如说这种设计就分散了用户的注意力blabla。。。有可能会导致用户忘记原本的目的什么的。。。
3.总结
在使用了以上两种在线中文分词工具之后，我觉得我自己更倾向于使用前者，因为不管是从分析后的词组展现方面来说，还是从分词的效果来说，我都更喜欢前者，后者呢，提供了词组总数量的统计这方面的功能，但是说实话，最基本的功能都没有实现，这些功能又有什么作用。
中文分词是一个技术难点，现在有形形色色的分析工具，但是我觉得他们都没有一个统一的标准，但是要做到有统一的标准又是一大难题，我目前能想到的也就是能够有一套专用的统一的词典，特别是对于新词的录入等。还有就是算法，算法有很多，根据不同的需求使用不同的分词算法是关键。当然，中文分词也不是我以上说的那么简单就能解决的问题，任重而道远啊！！！
以上内容纯属个人非专业分析，勿喷~~~
网友评论