小bug记

作者: 杨小邪yxr | 来源:发表于2018-01-29 15:47 被阅读26次

jieba分词

jieba分词,很好的中文分词库。前一段时间我用它来检测网页的敏感词。
遇到几个问题,记一下。

辣妈比美

我的敏感词库里面,‘妈比’是个敏感词。将敏感词库(TXT)导入结巴的辞典,分词结果为辣妈,妈比,比美,很尴尬

不要用json

我先用scrapy将网页内容抓取下来存入HBASE,然后从HBASE中取出网页内容,BeautifulSoup提取文本并进行分词。后来因为一些编码问题,我在scrapy的pipeline中将网页的html转换成json格式并入库,导致分词失败。
json格式分出来的词是这样的,比如中文字\u4f60\u597d,会被分成\,u,4,f,6,0,\,u,5,9,7,d

flag=ad

我在程序中把广告词的flag(词性)记为ad,结果造成很多误判,查询jieba的dict.txt我发现原来ad这个flag已经被用过了,例如仔细 2997 ad

Scrapy爬虫编码

用Python2最蛋疼的就是编码,爬中文网页最蛋疼的就是编码,最最蛋疼的就是用Python2代码统一爬各种编码的中文站。Scrapy的Python2版本有时抓取gb2312这类编码的网站会爆UnicodeDecodeError
比较彻底的解决办法使用Python3的Scrapy。

Python3!Python3!

最近在把代码向Python3迁移。整体感觉Python3对各种数据格式的转换更加规范,不规范的直接报错,而不是给你来个默认的转换规则。最近看的O'Relly的书,讲Python的,已经没有用Python2做示例代码的了。
也许多年后的某天,我会回想起坐在ThinkPad前的那个下午,那时候讲Python,还有两个版本呢。

相关文章

  • 小bug记

    jieba分词 jieba分词,很好的中文分词库。前一段时间我用它来检测网页的敏感词。遇到几个问题,记一下。 辣妈...

  • 05 常见bug处理 (必会知识点)

    html:全栈记03【html小结】 - 简书 css:全栈记04【css小结】 - 简书 常见bug处理: 小知...

  • 难以复现的bug怎么处理

    1、首先出现难以复现的bug一定要截图提交bug2、首先评估bug的重要程度以及对整个项目的影响,如果影响小,就记...

  • 05. getWriter()has already been

    记一次bug fixed: getWriter()has already been called for this...

  • ThinkPHP 接入 SeasLog 日志组件

    【背景】 为实现开发前期联调bug 定位、线上bug快速定位、快速响应,遂暂为斐讯路由后台 Api 模块添加日志记...

  • 异步组件懒加载 获取不到ref

    关键字:获取不到ref,异步组件,$refs记一次异步组件导致的bug 目前这个bug只在打包环境出现,本地环境不...

  • 常见小bug

    一.操作sql语句时报错. Lock wait timeout exceeded; try restarting ...

  • 小程序bug

    菜单隐藏消失的动画效果(主要用了animation、transformX控制left的值),在设置wx-chart...

  • 抽奖小bug

    在首页的右上角,点一下可以领加成卡,看广告还能够翻倍。然后就进入了抽奖页面,在有抽奖次数的情况下,点抽奖就能抽到加...

  • Day24 - 2018-04-27

    做了会儿p2,写了一堆bug,没啥可记的,按个章~

网友评论

    本文标题:小bug记

    本文链接:https://www.haomeiwen.com/subject/apnxzxtx.html