美文网首页
Spark项目之简书百万用户动态分析与查询展示

Spark项目之简书百万用户动态分析与查询展示

作者: 数据萌新 | 来源:发表于2018-11-05 17:22 被阅读0次

    先看下数据分析的结果大概长什么样!

    这个项目主要是对简书所有用户的动态做分析。

    0.分析什么

    说是对动态做分析,啥是动态?就像你微信朋友圈的发表、点赞、评论、被评论一样。你在简书的操作也被记录下来啦,像这样:

    简叔CEO简叔的动态

    在简书的可见动态分为八种类型:发表评论,喜欢文章,赞赏文章,发表文章,关注用户,关注专题,点赞评论,关注文集 。

    1.数据从哪里来

    当然还是用jsoup写爬虫代码来简书抓了,一个个复制粘贴是不可能的,要又要不到,只能写爬虫来抓啊,这样子才能维持数据来源……

    看,蛮快的!数据嗖嗖的就来了,还不是美滋滋~

    爬数据保存到Mysql数据库

    2.分析过程

    采用Spark Sql定期对数据库中的最新数据进行分析,将分析结果再次保存回数据库(存放在一些新的表中)。

    3.分析结果

    使用SSM框架搭建一个搜索页面,用户输入任意一个简书用户的ID,可以查询出该用户的各类动态分析结果(结果采用ECharts展示)。

    ======

    先以简叔为例吧,记得刚注册简书,就收到一个私信,我还以为哪妹子看上我了!
    嗯,扯远了。咱还是来认(hu)真(luan)分析一下数据吧。

    3.1基本信息

    截止至2017-08-20 18:32:11,也就是我现在码这段字的前几秒。简叔关注了2346个用户(说好的上限1000呢~)。粉丝87137个,粉丝排行榜前几名啦。
    发表文章122篇,收获喜欢30137,喜欢文章11292,嗯?点了那么多喜欢?
    发表评论8454次,打赏文章2128次。

    3.2 第一次


    随着动态越来越多,因为动态按时间倒排,你可能翻了跟多页还是不知道你在简书第一个关注的用户,喜欢的文章,发表的评论。没关系,我记得(能快速找出来……)!

    咱们看看简叔的第一次!

    2012-09-05 11:26:57
    注册,加入简书。

    (我以为是第一个注册用户,去抓下来的用户中查了下,larryzhao是2012-09-05 11:08:37注册的,早十几分钟。看了介绍,这个也是简书联合创始人。应该没有比这早了的吧)

    2012-12-20 15:31:53
    第一次发表文章:价值主张的工作表

    2012-12-13 17:19:31
    第一次喜欢文章:简书发表的献给写作者的 Markdown 新手指南

    2013-05-23 05:36:28
    第一次关注用户:赵云波

    2013-12-08 11:40:56
    第一次对文章 为什么你应该每天写作 评论:
    “我觉得哪怕真是有兴趣,要坚持每天写作也是非常困难的事情。一周写上一篇,或者一个月写上一篇,这种才是休闲活动。「每天写作」这个行为绝不可能成为一项「休闲活动」。可以做到「每天写作」的人,要么他是一个真正从事文字工作的人,要么他对「每天写作」这件事情有一种强迫症。”

    嗯,同意简叔3.6年前的观点。天天喊着「每天写作」大都是文字工作者。上班族们,不要一听别人的鼓动就给自己立个誓,到时候打脸的可是自己啊!一天记流水账似的一篇,干嘛,感动自己啊?

    2014-03-27 12:37:08
    第一次关注文集:社区的艺术

    文集这个概念在别的用户浏览的时候好像不是那么重要,所以一般关注文集较少或没有。

    2014-07-30 06:13:35
    第一次关注专题:毒眼寻珠

    2015-03-30 11:47:11
    第一次打赏文章 :刘淼 发表的20150318村上问答之「我的生活正发生怪事」

    2015-07-27 17:01:30
    第一次赞了评论: 我的比较波折,第一次发被快递的临时工搞丢了,简书服务不错,帮我和中通交涉,中通赔了钱,后来补发了一份。书看完一本了,还不错诶,好评!
    这个文章已经不在了,文章应该是关于简书出版的书。

    3.3 各种动态占比

    动态类型占比.gif

    喜欢文章、发表评论、关注用户、赞赏文章,这四种占比较高,说明简叔还是很关注和支持简书的用户创作。

    3.4月度动态趋势

    月度动态.gif

    总体呈波段上升趋势,简叔在简书平台还是很活跃的。

    3.5 日动态趋势

    自注册以来,每天的动态次数。像这样,密密麻麻

    峰值是 2016-01-04,这天动态次数212次。因为图较大,降低了帧率,所以看起来有些卡顿。

    3.6 时动态趋势

    如果按11点以后算熬夜的话,可以看出简叔还是有不少熬夜情况的。大叔,注意身体!

    白天各个时间段浏览简书较均衡,毕竟是老板,没有确切的工作时间段。有事没事刷下简书!

    3.7 周内发表文章频次

    发表文章.gif

    圆形气泡越大,代表发文章频率越高。简叔非工作时段发文还是蛮多的。
    其他用户分析的,文字工作者一般都是集中在周一到周五,上班族周六周日更集中一些。
    要想诗和远方,还是要先解决眼前的苟且。

    3.8 周内喜欢文章频次

    喜欢文章.gif

    啊!什么鬼?一个个连续的饱满的小球。09:00-15:00,21:00-0:00。这两个时间段内简叔喜欢文章很频繁,下午少一些。

    3.9 周内关注用户频次

    关注用户.jpg

    早上关注用户多一些?

    3.10 周内打赏频次

    打赏.jpg

    晚上打个赏?

    3.11 发表的评论

    对所有评论进行分词,词频统计后制作出词云,然后……

    评论词云.gif

    哈哈哈,简叔天天好开心啊!!!

    愿大家都有简叔的心态!!
    你还愣着干什么?笑啊!

    https://blog.csdn.net/u012940753/article/details/51254091

    相关文章

      网友评论

          本文标题:Spark项目之简书百万用户动态分析与查询展示

          本文链接:https://www.haomeiwen.com/subject/zqasxqtx.html