概览图
好久没玩过新浪微博，突然来心情想分析下，于是有了这个单线程且慢吞吞的小爬虫。看这图还是很震撼的，提供个我的在线预览版本 传送门 点击拖动，滚轮缩放，在无缩放的时候可以拖节点移动。
本来是想着详细点说一下的，然后发现其实也不难，懒得讲了，无非分两步。1.获取数据。2.制作力导向图。
爬微博很特么烦，我又没那么多ip，只通过切换UA来爬取数据了。我需要的数据大致分为两类：用户数据，关系数据。我用了两张表来存储数据，一张表用来保存队列。
用户表
[id][uid][name][gender][avatar][lv]
关系表
[id][uid][fid]
存储记录的队列表
[id][json]
为了方便，我搞了两个事务：
添加关系的
添加用户数据的
整个爬虫采用队列存取task，首先入队自己的数据，然后从自己的数据开始爬。
瞎写了点流程
数据爬取完成后自己点击停止，然后等他把队列的的数据保存起来，下次直接恢复爬取。实际上，一般停止都是因为4xx错误了，会自动停止并保存的。这时候一般有4K数据了，你再爬的话，可能渲染不出了，网页会贼卡的。
停止爬虫后，看代码中的out两个类，输出两个js文件。js结构如下：别问为什么
这是关系表
这是数据表，我都懒得打码了，不要去骚扰他们哦
反正结构是这么个结构，有节点，有连线就可以连了，然后就交给d3.js了。网上的教程很多用的v3版本的，我这是用的v4版，svg性能毕竟捉急，虽然canvas也不咋地，但是好歹比svg强。
然后把两个文件拷到v4.html目录下，就行了。然后就打开html等啊等。
源码我放在github上，这里。代码不难，不想看只想装逼的参看这个流程：
在mainThread里面把初始数据改成你的，uid可以在微博手机网页版，点粉丝，然后看网址：http://m.weibo.cn/p/second?containerid=1005053268063401_-_FOLLOWERS 这个3268063401就是uid了。
然后运行main，点击开始，然后等他自己停了，或者你自己点个停止，等他保存完。然后打开out包下的两个类，运行以后输出到c盘，拷贝到v4.html下。
需要注意的是数据库我用的mysql，库为sina，表为trealition，tuser，tqueue。自建数据库然后添加我那两个事务。记得添加gson和mysql的jar包，拒绝小白问题。
ps：有需要初级android开发的么，6月才毕业呢，现在在做车联网设备的公司实习，技能加成：android串口编程，RFID的操作，驾培TCP协议。
网友评论