美文网首页
优化跟打器词语标记动态显示并解决二字叠词冲突

优化跟打器词语标记动态显示并解决二字叠词冲突

作者: 鸡龙 | 来源:发表于2019-10-31 16:06 被阅读0次

    在看文章前可以先看原词语提示算法。

    原跟打词语提示算法思想

    在这个算法中,因为回塑退避的规则,导致在打某些长词中嵌有短词的时候,在将第一个字拆单后也不再显示短词,例:“不知道”是被标记的,当你将“不”字打出后,虽然“知道”也是词,但却不会动态标记,这次优化动态词语提示就是使得你在拆单长词时,其中内嵌的短词也能得到显示。

    在前文章最后提到的算法缺陷。因为是根据同样的长度的词语放在一个list中,并规避已组词的位置,由于只考虑到词条长度而没有考虑编码长度组成的原因,会导致由“上身”与“身体”组成的叠词“上身体”,虽然提示“上”“身体”会更短,但却也是按照顺序来标记词语。这就是这次所要解决的问题“二字叠词冲突”。

    动态词提

    思路:

    1、使用不同类型的词,我建立6种类型词(全码,二简,三简及其次选词)。各自建一个HashMap<Integer,Integer>,用于放词在文章的始位下标和末位下标。使用一个list放入词语占位下标(即该下标在之前的遍历中已检测到有词覆盖到)。

    2、遍历文章时,因为是词条长度长的先加入键值,所以判断嵌入情况,来决定是否put,改变规避的规则。

    当短词始位不在已有词下标而末位在已有词下标时,就会进行规避处理。

    当短词完全嵌入长词,不规避,执行put。

    3、显示词语提示时,使用变量i递增来遍历文章,每个下标提取6个HashMap<Integer,Integer>的值,若6个都为null,则为单字不显色,若其他5个值为null,则显示不为null对应的颜色,若多个不为null,则选择取出值最大的对应颜色来显示。然后将下标跳到取出的值(最大值)。

    动态词提只是将原回塑规避所有已覆盖词语下标,改变成完全嵌入不覆盖,再将始位重复词条进行对比长度,最长的显示,然后将遍历下标跳到取出值,规避嵌入词。

    二字叠词冲突

    当组成短句中任意二相邻字能组词时,就会出现叠词冲突。在实际应用中,只需要解决二字词冲突即可。(能力有限)

    看下图二短句,按原算法,会根据顺序来标词“上身”,“体”和“我有”,“很多”,“糖”。

    可以发现,只有符合“任意二相邻字能组词”与“组成短语字数为奇”才有必要进行处理冲突。

    而当组成短语字数为奇时,必会拆单一个字。而例子中只会出现如下拆单情况。

    很显示,当长度为5的短语中,拆单字只会存在偶数下标对应的字。(0,2,4)

    所以,只要找到这个拆单字。让算法在遍历到拆单字的下标时,就不进行任何put执行直接contiune。就可以实现避免冲突。

    在文章遍历中加入规则:

    1、当该汉字能与下一汉字组词时,临时跳到下一个汉字下标再判断该汉字是否再能与下一个汉字组词。

    2、当往下遍历无法组词时,将所有覆盖下标的单字编码与组词编码加入临时编码HashMap。

    3、根据覆盖下标的个数,进行所有偶数拆单情况编码长度相加,得出最短编码时拆单字所在的下标。(该下标必定大于外部遍历下标)记录该下标。

    4、因为记录下标必定大于已遍历下标,当往下遍历时,如果下标小于这个记录下标,不需要再进行判断叠词冲突。而当遍历到该下标时执行contiune。不进行任何处理。

    5、循环该规则。

    相关文章

      网友评论

          本文标题:优化跟打器词语标记动态显示并解决二字叠词冲突

          本文链接:https://www.haomeiwen.com/subject/zietbctx.html