美文网首页
这个工具太好用了!彻底摆脱了数据IT“天天取数”的噩梦

这个工具太好用了!彻底摆脱了数据IT“天天取数”的噩梦

作者: 数据分析不是个事儿 | 来源:发表于2022-03-31 09:33 被阅读0次

曾经在知乎上看到一则帖子,是关于“职场工具人“的讨论,网友对工具人的定义如下:

再一看评论区,果然是一片哀嚎:

干开发的吐槽自己的就是一个代码输出机器,天天接需求、改bug。

运维觉得自己就是专业修理工、哪出问题都得随叫随到,空有一身本领,业务眼里也只是个修电脑的。

测试天天就是找bug、找bug,时不时还要跟开发吵两架。。。。。。

再反思一下我们数据部门的工作,好像也没能逃脱“工具人“的宿命,每天睁眼就是业务方五花八门的取数和报表需求,累死累活功劳还总被业务抢走,就跟打游戏一样,IT打“辅助”,业务拿“人头”。

最让我觉得自己是工具人的工作就是“取数“,基本上是所有数据IT的噩梦。在行业认知里,取数一项非常基础的工作,一个新人1年的成长基本上就可以自如应对各种取数工作,但是这项低技术含量的工作偏偏要耗费IT很多的时间和精力,一些公司都开设了取数岗来专门满足业务的取数需求,不过这个岗位在公司的地位可想而知,更尴尬的是,在很多厉害的互联网公司,一些技术牛逼的业务都会自己写sql数据了,更加看不起取数的IT。

那我们干数据的IT怎么才能摆脱取数的噩梦,来个翻身农奴把歌唱?

我们回归到“取数“这件事本身,刚才上面说了从技术的角度讲,取数并不难,无非就是写两句sql嘛。而真正的阻碍是企业随着业务发展带来的复杂和冗余的取数需求IT与业务之间巨大的需求沟通成本。

曾经在一家金融公司信息部工作过一段时间,深刻体会到取数这个活有多么不容易,大多时候业务的一张报表会涉及到多个取数需求,看起来没增加几张报表,但实际上背后隐含了N个取数过程。而且对于集团企业来说,不仅总部的运营部、销售部和市场部等各个业务部门的报表需求都压在信息部身上,而且有可能分公司的需求经由总部对应部门也汇总到信息部身上,这就导致了信息部每天都要应对成千上万的取数需求。需求多了,响应速度慢,耽误了业务分析决策,业务还会毫不留情地投诉我们。

然而这还不是最难的,更令人心碎的是和业务往往复复的需求沟通。每接一个需求,都要找业务反复沟通核对,而且快速发展的业务让需求总是不停变化,IT不是在和业务部门沟通需求,就是在沟通需求的路上,给业务/IT双方来都带去了很多工作量,耗时又费力。

为了跨越IT业务之间的“取数“鸿沟,一些企业探索出了新的办法,那就是让业务实现自助取数,把取数这件事从IT身上转移到业务身上,让业务和想要的数据之间没有IT这个“中间商”,这样一来,“取数”这件事就从原来的“业务点餐“变成了“业务自助”,既缩短了取数流程又节约了沟通成本。

看到这里,业务朋友们肯定要开喷了:让我们业务去学sql取数?要你们IT干什么吃的。

当然,让业务去学sql取数必然是不现实的,而且数据全部下放给业务,IT更加会担心数据安全和混乱问题。为了实现业务自助取数,解决这个问题的办法就是搭建一个自助取数平台,通过IT集中数据管控来进行数据分发,业务通过平台自助完成取数工作,这样IT就省下了很大一部分的取数工作,业务不用等需求排期,很快拿到想要的数据。

不过,说起来容易做起来难,建设这类取数平台,除了要体验好,还要性能要高,在整个的开发过程中,如何设计好配置方式、如何做好业务和数据的映射、如何进行数据表之间的关联、如何实现数据权限管理等等一系列的问题都需要解决,还有一个前提是公司有足够的技术人力支撑。所以对绝大部分的企业来说,量身打造这样一个自助取数的平台是非常困难的。

不过市场上现在已经出现了很多产品化的自助取数工具(单纯取数)和自助BI工具(自助取数+分析)可以帮助企业解决这个难题。目前应用的比较多的是自助BI工具,业务能够实现自助取数和分析,直接为业务决策提供依据,这就有点像我前面说的“自助餐“概念了,原先是IT提供食材,业务分析加工得出结论(菜肴),现在是业务自行准备食材、加工、做成菜肴,即解放IT,也让业务真正成为数据的主人,企业层面上也提高了数据应用决策的效率。

以市面上比较知名的BI平台FineBI为例,简单介绍BI工具是如何解决取数这个问题的。

我们在平台建设之前,搭建了数据仓库,把业务系统产生的数据经过ETL加载到数据仓库,然后在数据仓库中设计好数据主题,配置好维度表和事实表数据集,将数据导入到FineBI中,配置好表间关联关系,供业务自助查询分析,把一些日常固定报表也固化到平台上供业务查询,我们IT只需要负责底层的数据梳理,和自助分析平台的数据权限的维护,比原来的工作量直接少了一半。

当然,要真正实现自助分析光靠工具肯定也不行,IT把平台搭好了,业务要能用得起来才行,所以自助BI工具的使用门槛要低,要让业务轻松就能取到数据,快速实现分析。

比如像FineBI的自助集数据处理功能,IT 和业务都可以创建自助数据集,抽取想要的数据,在数据集中进行数据加工,而且这些加工只需要鼠标点击就能完成,不需要写一行行的sql语句。

数据处理之后,业务通过拖拽就能实现快速自助分析,支撑业务决策,并且报表设计过程及分析过程,全程可视化

在这样的自助分析模式下,我们IT省下了时间去集中精力梳理底层数据,企业的数据质量也越来越好,业务分析需求也能够得到及时响应。,除此之外我们也有了时间去创新突破数字化转型道路上更多技术点,比如数据挖掘智能式BI等,领导也更加认可IT在企业中的价值。这样一来,我们数据IT人就逐渐从被业务压制的辅助角色,转向了推送企业信息化建设的先锋军!

相关文章

  • 这个工具太好用了!彻底摆脱了数据IT“天天取数”的噩梦

    曾经在知乎上看到一则帖子,是关于“职场工具人“的讨论,网友对工具人的定义如下: 再一看评论区,果然是一片哀嚎: 干...

  • 彻底解脱了

    终于

  • 数据分析常用函数

    作为数据分析师,SQL是必备技能,因为数据分析第一步是从数据库中获取数据,而SQL是方便的取数工具。那如何学...

  • handoff这个功能太好用了

    说来真是惭愧,用苹果的系统时间不短了,但是都没发挥什么正经的用处,根本没有深入的研究怎么用机器之间的相互协作来提高...

  • 这个笨方法太好用了

    我有拖拉和健忘的坏毛病。 什么事能早早干完的,我常常拖拉到最后一刻完成或失去机会。拖拉的原因我归结为胆小,什么事还...

  • window下包管理工具chocolatey

    1. 关于包管理工具 在软件开发的今天,由于nodejs 这个工具npm实在是太好用了,而在windows下面的开...

  • 【2020-06-16】sqlite3和sqlitebrowse

    SQL取数重要性 数据分析是数据科学家基础 SQL取数是数据分析基础 数据科学家、模型开发人员、数据分析师80%的...

  • 不用写代码的爬虫系列-简介篇

    在开始之前,先了解下常用的数据爬取工具有哪些~ 一、常见数据爬取工具 图片来源:https://www.zhihu...

  • 大一学期我学到了什么

    大学,在高中时期的我眼里多么美好的一个词,它意味着我摆脱了每天天没亮就起床,摆脱了每天都只能在路上匆匆解决早饭,摆...

  • hive分组取随机数

    hive取随机的数据,可以使用rand()函数,用rand()对数据排序,取topN如果要用到分组取随机数,比如每...

网友评论

      本文标题:这个工具太好用了!彻底摆脱了数据IT“天天取数”的噩梦

      本文链接:https://www.haomeiwen.com/subject/nwbgjrtx.html