今天和朋友聊天聊到,现在几乎是任何行业任何公司任何业务都会和大数据挂勾,大数据俨然已经成了一个时代的符号,谁要是不了解大数据那基本上肯定是奥特Man了。
记得老杨初识大数据还是在2010年,初衷是为了把通信行业的大数据量的处理速度加快,不用整天整天的耗在等待中,于是引入Hadoop,自己写MR去做,这还真是很需要勇气的一件事情,现在想想真的是土掉渣的处理方式了,然而十年之后的今天想起来,这份人生若只如初见的美好却依旧。
大数据行业发展到今天的确有了众多的商业应用,可喜可贺。然而大数据相关的概念也是纷繁复杂,令人眼花缭乱,我想是时候做一个层次分明的总结了,对自己而言是一个提高,对想了解大数据的你来说也是一个助益。当然本篇不会大讲特讲大数据理论,本篇只从行业、业务和技术的角度总结三张图,以此来帮你揭开大数据的神秘面纱,大家走过路过一定不要错过,三张图你买不了吃亏也买不了上当,走着。
1. 第一张图“从行业角度看大数据”,总结大数据行业分为哪些层次哪些服务,如果你是大数据行业的一员,一定能在此图中找到你的位置。
2. 第二张图“从业务角度看大数据”,以电商为例,总结电商行业中大数据的价值体现和逻辑架构,如果你是电商行业的一员,一定能够明白神秘的大数据是在哪些地方去发挥作用的。
3. 第三张图“从技术角度看大数据”,把大数据的逻辑架构落地到技术上,如果你是一位程序员,一定能够明白构建大数据平台的一系列操作。
好,首先来看图1——从行业角度看大数据,分为三层:
第一层基础服务层,即提供存储和计算能力的服务。这一层是大数据行业的基础,正是因为基础服务层的发展,才使上面两层的服务成为可能,可见基础服务层也表征了大数据技术本身的演进,是大厂秀肌肉的舞台。
第二层专业服务层,即针对大数据专业的服务,如数据采集、数据安全、数据分析等。伴随着存储和计算能力的发展,以及大数据行业的规范化管理,这一层越来越成为大数据市场不可或缺的增长点,无论大厂小厂都可以涉足,相信未来一定大有可为。
第三层行业服务层,即与各个行业结合发挥大数据的价值。这一层是大数据与生产结合的抓手,也是大部分公司进行数据产品化的着力点,无论现在还是将来都是大数据行业的重点。
图1 从行业角度看大数据然后来看图2——从业务角度看大数据—电商为例,分为八层,此图是我在工作中的实践,比较清晰,不一一赘述了,其中大数据相关的各种名词在对应的层中均有体现,可以帮助你理解这些大数据概念是在哪里发挥作用的,总结下来就是从某个行业的角度,大数据的价值主要体现在提供精细化运营的数据支持,提供个性化产品的数据支持,提供行业化服务的数据支持。
图2 从业务角度看大数据最后来看图3——从技术角度看大数据,分为六层,此图也是我在工作中的实践,主要表达的是把大数据的业务逻辑架构落地到技术实现,服务层应该通过什么工具去落地,模型层计算层应该通过什么框架去落地等(程序员会比较喜欢这张图,不需要过多解释)。强调一点,大数据技术的发展基本上是日新月异,技术架构也是要持续迭代,不用过多的追求新,但一定要追求卓越,持续提升大数据技术的价值,支持、驱动业务发展。
图3 从技术角度看大数据好,大数据的那些事儿告一段落了,后续我还会再普及下人工智能的知识,敬请期待。
网友评论