摘要：本文记录了我尝试开发logstash插件的愉（艰）快（辛）过程
背景
有很多大V的微博很有营养，比如agenzh的微博有很多关于技术方面的和程序员邹欣有很多关于软件工程的，值得反复玩味。但是微博是按timeline形式排列的，非常不方便非线性查看。agentzh的code2ebook给我启发，可不可以把感兴趣大V的微博做成电子书？
规划
首先想到的是写爬虫，然后模拟翻页操作，抓取全部微博。这种方式当然行得通，我也很熟练。刚好最近在看ELK，按照邹欣老师Build To Learn的原则，用ELK来收集分析也挺不错的，顺便练练手。logstash定期获取更新的微博，写入elasticsearch，除了可以导出生成电子书外，还可以在kibana做可视化分析。例如分析下大V们发微博的时间分布来分析下其作息习惯。根据词频来对大V进行分类，agenzh的openresty词频肯定很高。
logstash input plugin
logstash自带了很多input plugin，比如抓取twitter。但是没有微博的，想想自己能贡献一个微博的plugin还是挺激动的。于是开始学习怎么写input plugin。第一反应是模仿twitter这个插件写，首先使用下面的命令生成一份plugin模板。
bin/logstash-plugin generate --type input --name weibo --path ~/elastic/plugins
得到如下图的目录结构
plugin目录结构
可以看到weibo.rb是需要我们自己修改的。
weibo.rb
其中重点在run这个method中：
1.创建一个event对象
2.修饰event对象
3.加入queue
logstash的Excution Model解释说，input plugin跑在单独线程中，我们只需要往queue里插入event中就行了，至于如何发送到elasticsearch就不用管了。
然而logstash-input-twitter的结构有点不一样。
twitter.rb
猜测有两个原因：
第一，这是个streaming api，跟restful api不一样
第二，这个plugin写得比较早，新版本推荐写法不一样。
流程其实不复杂，所以也就不用参照了，直接自己写就是了。
1.发送request抓取更新的微博
2.根据抓取结果创建event对象
3.插入queue
到目前为止还是比较愉快的，接下来就有点闹心了。
Weibo API
抓取更新的微博有两种方法，第一就是爬虫，第二是通过微博官方的API。总是野路子不太好，所以决定尝试下通过官方的API抓取。然后我的噩梦就开始了，查看api文档，找到了以下api。
weibo api
恶心的地方就在需要登录授权，充分体现了微博是面向企业收费的网站，对个人开发者极其不友好，不提供（或者是我没找到）个人访问的token。看看github这个同性交友网站是多么的人性化，直接提供了个人访问的token。
github personal token
于是为了获得我自己的token。我还需要像开发第三方应用一样，使用另一个获取token的API。还好微博提供了SDK，可以直接拿来用。
OAuth4Code
本以为直接这样就能用了，结果还需要一个申请一个应用，填写AppKey和重定向url。
Oauth2 API
没开发过微博第三方应用，完全搞不懂这个重定向url是干什么的。于是我随手填了www.baidu.com，顺便申请了应用。
微博应用
认证出错界面
反复确认了几次之后，意识到可能是应用未审核的问题。到这个时候我真想放弃了，直接爬得了。可是沉没成本以及投入那么多了，还是继续吧。
审核界面
然后这个审核界面死活提交不了证件图片，我尝试了用Chrome，Firefox，IE都没成功。这时候我的内心是万马奔腾的。idea产生就在一瞬间，框架规划也没花多长时间，最后在这个微博API的使用上耗了一下午，还没搞定。虽然不太可能，还是呼吁下微博开放个人访问token。
未完待续......
网友评论