你能分清BI和大数据吗?

作者: 丨程序之道丨 | 来源:发表于2019-01-08 20:08 被阅读7次

    BI(Business Intelligence),中文翻译是商务智能,是一套完整的解决方案,用来将组织中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助组织做出明智的业务经营决策。

    商业智能能够辅助的业务经营决策,既可以是操作层的,也可以是战术层和战略层的决策。为了将数据转化为知识,需要利用数据仓库、联机分析处理(OLAP)工具和数据挖掘等技术。商业智能的关键是从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理,以保证数据的正确性,然后经过抽取(Extraction)、转换(Transformation)和装载(Load),即ETL过程,合并到一个企业级的数据仓库里,从而得到企业数据的一个全局视图,在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理(这时信息变为辅助决策的知识),最后将知识呈现给管理者,为管理者的决策过程提供数据支持。

    大数据(Big Data)是从收集的海量数据中,通过算法将这些来自不同渠道、格式的数据进行直接分析,从中寻找到数据之间的相关性。简单而言,大数据更偏重于发现,以及猜测并印证的循环逼近过程。

    从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

    大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

    不管定义如何不同,大数据与传统BI是社会发展到不同阶段的产物,我们从几下几个纬度来可以迅速的看出两者的区别:

    一、 从数据来源角度

    大数据应用的数据来源,不仅仅包括非结构化的数据,还有各种系统数据,数据库数据。其中非结构化数据主要是集中在互联网以及一些社交网站上的数据以及一些机器设备的数据,这些都构成了大数据应用的数据来源。对于大数据的分析工具来说,现阶段也是对于非结构化的数据分析的比较多。

    BI系统则是在数据集成方面的技术越来越成熟,对于数据的提取,一个各种数据挖掘的要求来说,数据集成平台会帮助企业实现数据的流通和交互使用,在企业内部实施BI应用就是为了可以更好的对数据进行分享和使用。

    二、 从发展方向角度

    BI的发展要从传统的商务智能模式开始转换,对于企业来说,BI不仅仅是一个IT项目,更是一种管理和思维的方式,从技术的部署到业务的流程规划,BI迎来新的发展。对于大数据来说,现阶段更多的大数据关注在非结构化数据,不同的数据分析工具的出现和行内的应用范围不断的加大,对于大数据应用来说,怎么与应用的行业进行一个深层次的结合才是最重要的

    三、 从人员的角度

    传统BI只要掌握核心的SQL技术就可以从事BI的工作,而大数据的数据处理,涉及太多新的技术,不同的应用场景需要不同的大数据处理方法了,而且不再有人机交互那么好的客户端了,至少要懂流处理、HADOOP、列式或分布式键值数据库吧,还需要能在SPARK上开发算法程序,对于用户画像、产品标签化、推荐系统、排序算法都应有所理解。

    因此,大数据相对于传统BI,不是简单的PLUS的关系,它涉及了思想、工具和人员深层次的变革,BI工作人员应该尽快顺应大势,更新自己,奋起直追,重装上阵。

    为了帮助大家让学习变得轻松、高效,给大家免费分享一大批资料,帮助大家在成为大数据工程师,乃至架构师的路上披荆斩棘。在这里给大家推荐一个大数据学习交流圈:658558542 欢迎大家进群交流讨论,学习交流,共同进步。

    当真正开始学习的时候难免不知道从哪入手,导致效率低下影响继续学习的信心。

    但最重要的是不知道哪些技术需要重点掌握,学习时频繁踩坑,最终浪费大量时间,所以有有效资源还是很有必要的。

    最后祝福所有遇到瓶疾且不知道怎么办的大数据程序员们,祝福大家在往后的工作与面试中一切顺利。

    相关文章

      网友评论

        本文标题:你能分清BI和大数据吗?

        本文链接:https://www.haomeiwen.com/subject/fmnbrqtx.html