美文网首页工具癖上班这点事运维平台搭建
电信:如何用BI搭建亿万级大数据分析平台?

电信:如何用BI搭建亿万级大数据分析平台?

作者: 帆软 | 来源:发表于2019-03-08 09:37 被阅读38次

    一、呼和浩特电信简介

    中国电信内蒙古分公司于2002年11月8日成立,是中国电信集团公司为适应国家电信体制改革,在内蒙古自治区设立的全资国有通信运营企业。2008年,根据工业和信息化、国家发改委、财政部联合发布的《关于深化电信体制改革的通告》,中国电信全面收购C网,从2008年10月1日起,正式运营CDMA网络资产与业务。

    目前,中国电信内蒙古分公司丰富完成了宽带服务内容为主的固网建设和以提高网络质量、扩大覆盖范围为主的深度改造CDMA网络建设,3G网络覆盖十二盟市与所属旗县以及重要乡镇,交通干线和旅游景点,给用户呈现一张脱胎换骨、优质高效的综合通信网,为用户带来全新的体验。未来三年,中国电信内蒙古分公司将陆续投资数十亿元资金用于升级、改造、优化为用户提供综合信息服务的精品通信网络。

    二.BI项目规划

    1.BI系统使用背景

    1)由于公司内部系统繁多,日交易数据量较大,每天都会产生上百万数据,当前的关系型数据库在做数据分析的时本就速度偏慢,在达到亿级以上之后,平均一个查询就是分钟级别。对于需要即时分析查询的业务用户,体验并不友好。

    2)同时由于企业内有很多业务系统,而各个业务部门之间相对独立,各自为阵,导致形成数据孤岛,难以将各个来源的数据整合分析。而不同业务部门之间希望信息互通,将不同维度数据整合分析,便于将财务、销售、套餐、地区宽带等数据进行快速掌握及深度理解。

    3)公司内部各业务部门对报表需求较为灵活和多样化,需要一套便捷、易上手的BI系统实现管理层对数据快速分析及展示的需求,同时将手动管理的数据系统化。

    基于以上原因,公司内就开始选型各种BI工具。由于公司一直在使用帆软的FineReport,因此首先就想到了帆软的FineBI工具,又增加了几家其他BI工具的对比。发现最终性能满足将分钟级的分析查询加速到秒级,且能够支撑业务常用复杂场景的BI工具就是FineBI,因此最终定下使用FineBI,开始企业的BI项目之旅。

    2.BI系统推进目标

    1)将公司内部散乱的数据进行统一化、规范化、系统化管理,将不同数据来源数据整合,实现公司内部的市场销售类数据分析,从而为信息化时代数据辅助企业经营决策提供支撑。

    2)通过BI系统搭建公司层面各个主题的管理驾驶舱,支持推动各部门高层领导进行数据决策分析。

    3)利用BI工具的自助分析特点,让业务部门可根据需求,灵活、便捷地定义生成所需要的即时分析和快速报表,节省报表和查看分析数据的周期,提升数据的应用的效率,同时减轻IT信息人员支撑业务报表与查看数据需求的压力。

    4)结合FineReport一并使用,FineReport完成数据填报功能,实现数据的收集,并且做固定化复杂报表的展示。而将FineBI用于实现的灵活的自助式数据分析场景,常规性质的数据查看以及即时性质的分析都在FineBI系统中处理。

    3.项目分解

    1)首先界定了与系统相关的干系人,将干系人团队分解出来三种类型,分别是IT信息科技部门、数据分析部门、产品部/业务部门,不同的部门对应不同事项内容与项目产出。

    2)IT信息科技部负责对接到数据分析部,主要是做底层数据清洗整理与汇总提供等底层的数据处理工作。

    3)数据分析部联结业务部门与IT信息科技部门,负责将业务常规所需(根据历史经验分析)的表添加到业务包中,覆盖大部分的业务常用分析,同时将其他业务相关的基础表也添加到业务包中以供使用。也会制作复杂分析模板挂出以供业务部门使用,同时常用复杂逻辑计算分析也做成demo形式提供给业务部门作为参考,以便复用。

    4)产品部/业务部门的人员根据提供的业务包以及示例和demo,自行做一些常用分析在系统以及移动端进行查看。

    4.项目架构

    1)项目利用FineBI的Spider分布式引擎,来支撑大量级的数据计算与分析展示,并实现多源数据的整合展示。

    2)历史抽取数据与实时数据可以互相切换,从而满足多种业务场景需求。

    三、项目实现

    1.数据底层及BI应用平台搭建

    由于公司内部各个部门每天产生的数据量较大(当前阶段已经在亿级别以上),普通的分析型数据库已经不能满足于当前数据分析的一个速度展示要求,而且公司没有大数据平台,因此先对整个数据底层进行了调整,使用Spider引擎分布式架构来搭建,并且在另外一台机器上部署应用平台,使各台机器各司其职,发挥最大的效率。

    (1)将业务包按照数据功能的不同进行分组,不同用途的数据业务包放在不同的分组下,这样便于管理和使用 。

    (2)不同分组下再按照具体业务进行管理,不同的业务数据存放在不同的业务包当中,比如这边的欠费、费用、订单、用户等,同样的也方便了数据表的存放和管理。

    (3)将业务包根据用户的角色分配不同权限,不同角色下的用户只能看到自己权限范围内的数据,更提高了数据的保密性。

    2.主题分析

    客户着重于电信行业的市场分析,主要体现在整体业务的综合总览,监控各个主要业务的发展趋势,通过对不同时间段的客户、销售、套餐等业务的数据分析,来汇总市场、预测发展、改善规划。

    3.平台用户管理

    由于平台用户过多,将平台的用户根据其角色进行分类,然后通过用户的角色来给不同的用户分配不同的权限,比如分析类的用户只能看零首付和客户经理发展量这两个模板。

    除此之外,客户着重使用自主分析的功能,除了给用户查看权限之外,还给部分用户设置为BI编辑用户,这样大大减轻了信息技术人员做模板的压力,而让其他用户根据自己的需要搭建分析模板,充分发挥了BI平台灵活自主的功能,也省去了业务人员和信息人员沟通需求的繁琐流程,分析更为高效。

    四、项目成果展示

    1.发展总览

    作为整体业务的综合总览看板,监控各个主要业务的 发展趋势,对于综合评估当前市场与用户情况具有重要意义。首先单独看每一种业务发展趋势,可评估当前该业务发展情况。监控造成其非常规趋势的原因。如图分析可知某段时间内移动发展量总量都在警戒线以上,虽然有所波动,但都达到了警戒值,于此可以分析到该段时间内业务发展比较稳定,整体业务情况也比较可观,可根据当前的影响因素来具体分析,制定更好的发展规划。

    另外多个业务之间进行对比分析,可以评估业务之间的影响关系,综合制定业务推广方案。从图中从总体上来看不难发现,移动发展总量和宽带发展量总量是正相关的,且通话时长(总时长)和数据流量(总流量)也是正相关的,这样说明了这两者之间互相促进,总体上来看正向影响,而极少数情况下趋势相反或者涨跌幅度有差别,这时就可以将业务之间进行组合销售,将发展良好的业务与发展较缓的业务进行组合推广,例如表中的移动和宽带,这样可带动发展交缓的业务开始回升。或者将那些处于下降的业务进行升级,或考虑由其他业务进行逐步代替等。

    2.移动发展

    综合对比两年间的移动卡业务发展量、净增量以及之前的预期值,可以对当前移动卡市场趋势形成一个整体评估。移动发展量和净增量主要是两个柱形图之间的对比,可以通过柱子的对比来展示出2017与2018年之间的数据差异,由此可以看出2018年的发展量和净增量都优于2017年,说明2018年的发展速度更快,收益更高,可按照当前的市场规划持续推动;而左下方的组合图主要是对发展量和完成率进行不同地区网点的分析,且对数据进行了降序排列,可以清楚的看到不同地区网点发展量的情况,而且进行了排序,也能清楚的反映出不同分公司完成情况的差异。这样整体的分析可体现当前市场是否还是保持一个高速的增长阶段,市场还有多大的份额。由移动卡业务增长量可细化到每个地区网点,评估网点信息有可对整个城市地区移动业务增长分布进行把控。

    五、客户评价

    中国电信始终打着开拓、创新,立足市场求发展,优质、高效,用心服务为用户的口号逐年发展,而帆软自始至终以让数据成为生产力为基准,踏踏实实为客户做好服务为根本,两者从宗旨上不谋而合,且FineBI为呼市电信提供了优质的大数据分析平台,整合数据、分析数据、预测市场,让电信行业在发展中“有规可循,有数可查,有图可引”,这也真正的体现出FineBI作为可视化分析的优势所在,让数据说话,让数据真正的成为生产力!

    相关文章

      网友评论

        本文标题:电信:如何用BI搭建亿万级大数据分析平台?

        本文链接:https://www.haomeiwen.com/subject/emelpqtx.html