美文网首页
使用结巴分词和word2vec对文本处理

使用结巴分词和word2vec对文本处理

作者: 七彩色工作室 | 来源:发表于2017-12-29 10:28 被阅读0次

    由于项目需要,采集了一些助勃药品或喷剂的商品评论,总的数据量大概是在57W条左右,评论内容大概是这样子的:

    性价比很高的,质量很是值得信赖,宝贝非常棒,现在用了这个之后差不多能坚持三十分钟,特别的历害,是正品,有保障,效果真是棒棒达
    龙水延时喷剂产品不错,简直666的飞起来了,喷了两就可以干个二三十分钟,硬了很多好多,真的很厉害
    延时效果相当的好,每次使用了之后都能做30分钟以上,做的太舒服了,老婆都说用了这个好幸福的
    有延时效果极好,每次使用这个延时喷剂,都有40分钟以上,感觉真的超棒的,也是非常的舒服啊!
    效果相当好,原来10来分钟,昨天收到货,晚上下班回去,试了下,延时30分钟不是问题
    试了下,延时效果不错,物流速度也是好评哈,性价比挺好的
    好评!效果很好!持久不麻木
    用的非常好,非常感谢店家!
    

    一行数据就是一条评论,使用python结巴分词:

    ' '.join(jieba.cut(txt))
    

    得到以下结果:

    性价比 很 高 的 , 质量 很 是 值得 信赖 , 宝贝 非常 棒 , 现在 用 了 这个 之后 差不多 能 坚持 三十分钟 , 特别 的 历害 , 是 正品 , 有 保障 , 效果 真是 棒棒 达
    龙 水 延时 喷剂 产品 不错 , 简直 666 的 飞 起来 了 , 喷 了 两 就 可以 干个 二三十 分钟 , 硬 了 很多 好多 , 真的 很 厉害
    延时 效果 相当 的 好 , 每次 使用 了 之后 都 能 做 30 分钟 以上 , 做 的 太 舒服 了 , 老婆 都 说 用 了 这个 好 幸福 的
    有 延时 效果 极好 , 每次 使用 这个 延时 喷剂 , 都 有 40 分钟 以上 , 感觉 真的 超棒 的 , 也 是 非常 的 舒服 啊 !
    效果 相当 好 , 原来 10 来 分钟 , 昨天 收到 货 , 晚上 下班 回去 , 试 了 下 , 延时 30 分钟 不是 问题
    试 了 下 , 延时 效果 不错 , 物流 速度 也 是 好评 哈 , 性价比 挺 好 的
    好评 ! 效果 很 好 ! 持久 不 麻木
    用 的 非常 好 , 非常感谢 店家 !
    

    把分词结果保存为utf8格式的文本文件,然后使用word2vec来训练模型:

    from gensim.models import word2vec
    s=word2vec.Text8Corpus('result.txt')
    model=word2vec.Word2Vec(s)#这里使用默认的参数训练
    

    训练完之后主要是用来查看相似的词,如下:

    model.most_similar(u'灼热感',topn=20)
    #相似词结果列表
    #'热感',0.6933082342147827
    #'麻麻',0.6547691822052002
    #'火辣',0.651293158531189
    #'辣辣的',0.651107668876648
    #'灼烧',0.6483184099197388
    #'刺痛',0.6444294452667236
    #'烧',0.643839418888092
    #'刺激性',0.6332861185073853
    #'火辣辣',0.631696343421936
    #'微微',0.6278106570243835
    #'麻木感',0.6217052936553955
    #'灼热',0.6207054853439331
    #'辣感',0.6127525568008423
    #'发热',0.6119084358215332
    #'起色',0.600088357925415
    #'凉爽',0.5898377895355225
    #'辣',0.589654803276062
    #'点点',0.5883890390396118
    #'烧灼感',0.583778977394104
    #'热',0.5823389291763306
    

    然后我们再可以根据这些词语做一个词频统计:

    灼热感,113
    麻麻,730
    火辣,69
    辣辣的,159
    灼烧,73
    刺痛,180
    刺激性,412
    麻木感,2867
    灼热,39
    辣感,10
    发热,518
    起色,40
    凉爽,73
    
    

    做出图表可以看出是这样子的:


    男性助勃用品使用感受(部分)

    从图表上我们可以直观的看出,超过一半以上的评论描述使用后jj表现为麻木感、发热和刺痛。。。
    当然,这里的数据和图表仅是部分展示,还并没有做更多的词语挖掘和整理,仅做参考。。。

    相关文章

      网友评论

          本文标题:使用结巴分词和word2vec对文本处理

          本文链接:https://www.haomeiwen.com/subject/xmtigxtx.html