数据分析要会写代码

作者: 采菊东篱下 | 来源:发表于2017-10-27 23:11 被阅读70次

    最近工作任务有些忙,主要是各个部门的数据分析需求再加上APP后端性能优化挤到一块儿去了。

    之前的数据相关工作主要是被动式的,各个部门把数据分析的需求给出来,然后一个人从ES或者Hadoop中对数据进行分析,最终用tableau画图,然后通过Keynote导出成pdf,通过邮件反馈回去。

    近期通过了一个提案,就是开发一个内部使用的大数据开放平台,在Web上输入某个关键字,就可以返回相关的信息和分析结果。将自己从很多的手工分析中解放出来。

    任务比较急,从零到上线只给一个月时间,而且只有我一个开发人员,还不能耽误平时的正常工作。

    所以权衡下来,初步选择基于tableau server提供的Restful API,将后台预先生成的图返回到Web前端。同时会从Redis中获取一个实时计算的数据以及Mysql中获取一些文本类的信息展示。

    Nginx主要是用来做安全控制,只允许公司内网使用,这样就不需要账号登录模块了。

    总的架构如图所示:

    今天升级了一下tableau server到最新版本,可以基于Http Restful API来下载视图的高清图片了。幸好今天升级了,还有不到一个月维护的License就到期了,到时候就无法升级了。而低版本的tableau server提供的API比较弱,完全没法满足初步的需求。

    前端会提供一个简单的搜索框,然后搜索的内容和图片会显示在下面,第一版本暂时不会提供数据的导出功能。

    目前是基于Python快速搭建一个Demo出来,等到Demo搭建的差不多了,打算使用Golang来做为后台,主要的考虑是顺便捡起遗失已久的Golang。

    相关文章

      网友评论

        本文标题:数据分析要会写代码

        本文链接:https://www.haomeiwen.com/subject/wlmkpxtx.html