美文网首页
七年实践感受到大数据标准化的重要性

七年实践感受到大数据标准化的重要性

作者: 发源地大数据 | 来源:发表于2018-06-04 18:10 被阅读0次

早在2011年,联想就启动了大数据平台建设,到目前分布在全球的10个数据中心,2000+台服务器,总容量12PB,实现日处理数据4.3PB的数据和30TB的日天新增数据。

在联想大数据七年实践中面临很多问题,其问题的核心是大数据标准化的缺失,造成数据在集成、应用和安全这三个问题融合起来困难重重。也让联想认识到大数据标准化构建的重要性。

田日辉谈到,联想大数据在七年实践中曾面临三大问题,大数据标准化缺失是重要因素

首先,数据集成面临众多问题。

在数据集成层面,数据来源多,面临着上百个业务系统数据集成的巨大挑战,同时频度跨度大,除了批量数据系统集成外,也要采集高并发的生产制造实时数据;格式复杂,由于各个业务系统的建设具有独立性,上百个业务产生上百个标准和非标格式需要解析或转换,数据质量差,由于手工录入且约束不足,部分数据存在不一致问题,不合理等问题。

其次,数据应用不能统一管理。

在数据应用方面,挖掘工具化,针对海量数据的清洗过程/数据处理的特征工程以及算法应用的快速部署,都迫切需要一整套集成工具以减轻工程师的重复性劳动;决策自动化,,面对挖掘过程,需要有一套流程管理工具去顶任意挖掘结果的处理流程,加速数据挖掘进度和效率;操作可视化,需要一套易用的可视化操作界面,易于维护。

第三,数据安全面临更大挑战。

数据安全,数据安全,需要从硬件到软件级别的安全措施确保全球十个数据中心PB级别的数据安全;数据隐私,如何有效针对客户数据进行脱敏,不侵犯客户权益,是一大挑战,数据合规,如何实现跨地区跨国家数据合规性传输,数据加密,在数据存储,计算和传输过程中,数据的加解密算法需要具有良好的集成性和易用性。

同时田日辉谈的联想大数据两大愿景:第一,通过自身提供数据智能平台和服务,推动联想成为数据智能最好的使用者,推动联想自身的业务优化、产品优化,用户经营等;第二成为全球领先数据智能产品和解决方案供应商,为中国加速成为制造强国,为工业互联网的发展提供产品和解决方案,推动智能化产业,推动数字化转型。

相关文章

  • 七年实践感受到大数据标准化的重要性

    早在2011年,联想就启动了大数据平台建设,到目前分布在全球的10个数据中心,2000+台服务器,总容量12PB,...

  • JavaScript新手入门

    JavaScript发展历程——标准化的重要性 web发展 -> 网站的概念 -> 网站实体 ->展示数据 H...

  • 托管升级学习总结01

    8月8日学习总结: ①利他是最好的利己 早上跟姜芳老师学习的标准化流程,真正感受到了细节的重要性,而自己又是一个大...

  • 数据标准化.归一化处理

    数据的标准化 在数据分析之前,我们通常需要先将数据标准化(normalization),利用标准化后的数据进行...

  • 数据标准化的性质及用处

    什么是数据标准化 ? 为什么要标准化 ? 标准化有什么好处 ? 1. 什么是数据标准化 ? 标准化后的变量 满足...

  • 机器学习面试题

    1. 什么是数据标准化,为什么要进行数据标准化? 我认为这个问题需要重视。数据标准化是预处理步骤,将数据标准化到一...

  • 均一化和标准化

    数据的标准化(normalization)和归一化 数据的标准化(normalization) 将数据按比例缩放,...

  • 数据分析之数据标准化

    在数据分析之前,我们通常需要先将数据标准化(normalization),数据标准化也就是统计数据的指数化。 数据...

  • 2018-01-08

    "R语言学习笔记之数据标准化" 数据标准化/归一化 数据标准化是将数据按比例缩放,使之落入一个小的特定区间。在某些...

  • 迪斯尼之感

    一,标准化 二,引导照应 三,ip品牌的重要性

网友评论

      本文标题:七年实践感受到大数据标准化的重要性

      本文链接:https://www.haomeiwen.com/subject/debysftx.html