本文要回答几个问题,BI、ETL、数据分析都是什么意思?怎么做数据分析?他们之间的关系是什么?
数据分析是什么?
简言之,数据分析是从大量数据中,用适当的统计分析方法,提取出有用信息的过程。
数据分析在企业里通常称为BI,即商业智能business intelligence,是指将企业业务系统中的数据进行统计分析,形成有规律的信息,来辅助用户做出决策。
实现BI的过程就需要ETL,ETL的流程通常是:
1、获取数据extract
2、转换、清洗数据transform
3、加载调取数据load
4、图表统计展现BI
数据分析怎么做?
大家都有过下饭馆或者做菜的经验吧?要经过客人点菜,厨房做菜,服务员上菜的过程,做数据分析的过程也类似,可分为五个步骤:
1.明确需求——点菜
明确需求是核心,要知道用户的目的是什么,需求分析人员要全面了解、理解业务,并得到关键用户对业务逻辑的认可和确认,而不能自己猜测用户的需求逻辑,避免徒劳无益,之后的所有步骤也都要以业务需求为核心来进行。
2.数据采集、清洗——洗菜
采集:加法,尽可能收集数据,越全面越好,减少数据盲点。
清洗:减法,清洗、修复无效数据(如:错误、重复、残缺记录,缺失值处理等),确保数据分析完整性、准确性。
3.数据处理——配菜
根据业务需求,对数据进行整理(如按条件筛选提取,聚合、分类、汇总等),建立数据模型、数据集。
4.数据分析——做菜
描述性分析:数据的集中趋势——众数、中位数、平均数
数据的离散趋势——最大最小值、极差、四分位差、方差和标准差
趋势性分析:对同一指标、比率在不同时期的值,进行比较,观察增加变动情况,获得趋势。
——定比、环比、同比
几个比率概念相关性分析:分析现象间是否存在依存关系,及依存的相关程度和相关方向。——不相关、线性相关、非线性相关、相关但非线性相关。
相关性分析举例 相关系数图相关系数:是描述线性相关程度的量。
5.结果展现——上菜
将数据分析的结果,以报告、报表、图表、监控仪表盘等形式展现给用户,为决策判断提供支持依据。
由此可见,BI实施过程中,甲方、乙方所扮演的角色分别是:
甲方用户是客人,
乙方厂商是饭馆,
信息图表像菜肴,
需求分析像服务员,
BI工程师像大厨,
ETL工程师像后厨小工,
很形象吧?
网友评论