BI/ETL在数据分析中是什么角色?

作者: thinkact | 来源:发表于2016-12-14 19:22 被阅读170次

    本文要回答几个问题,BI、ETL、数据分析都是什么意思?怎么做数据分析?他们之间的关系是什么?

    数据分析是什么?

    简言之,数据分析是从大量数据中,用适当的统计分析方法,提取出有用信息的过程。

    数据分析在企业里通常称为BI,即商业智能business intelligence,是指将企业业务系统中的数据进行统计分析,形成有规律的信息,来辅助用户做出决策。

    实现BI的过程就需要ETL,ETL的流程通常是:

    1、获取数据extract 

    2、转换、清洗数据transform

    3、加载调取数据load

    4、图表统计展现BI

    数据分析怎么做?

    大家都有过下饭馆或者做菜的经验吧?要经过客人点菜,厨房做菜,服务员上菜的过程,做数据分析的过程也类似,可分为五个步骤:

    1.明确需求——点菜

    明确需求是核心,要知道用户的目的是什么,需求分析人员要全面了解、理解业务,并得到关键用户对业务逻辑的认可和确认,而不能自己猜测用户的需求逻辑,避免徒劳无益,之后的所有步骤也都要以业务需求为核心来进行。

    2.数据采集、清洗——洗菜

    采集:加法,尽可能收集数据,越全面越好,减少数据盲点。

    清洗:减法,清洗、修复无效数据(如:错误、重复、残缺记录,缺失值处理等),确保数据分析完整性、准确性。

    3.数据处理——配菜

    根据业务需求,对数据进行整理(如按条件筛选提取,聚合、分类、汇总等),建立数据模型、数据集。

    4.数据分析——做菜

    描述性分析:数据的集中趋势——众数、中位数、平均数
                          数据的离散趋势——最大最小值、极差、四分位差、方差和标准差

    几个统计名词

    趋势性分析:对同一指标、比率在不同时期的值,进行比较,观察增加变动情况,获得趋势。

    ——定比、环比、同比

    几个比率概念

    相关性分析:分析现象间是否存在依存关系,及依存的相关程度和相关方向。——不相关、线性相关、非线性相关、相关但非线性相关。

    相关性分析举例 相关系数图

    相关系数:是描述线性相关程度的量。

    5.结果展现——上菜

    将数据分析的结果,以报告、报表、图表、监控仪表盘等形式展现给用户,为决策判断提供支持依据。

    由此可见,BI实施过程中,甲方、乙方所扮演的角色分别是:

    甲方用户是客人,

    乙方厂商是饭馆,

    信息图表像菜肴,

    需求分析像服务员,

    BI工程师像大厨,

    ETL工程师像后厨小工,

    很形象吧?

    相关文章

      网友评论

        本文标题:BI/ETL在数据分析中是什么角色?

        本文链接:https://www.haomeiwen.com/subject/erzimttx.html