美文网首页
七年实践感受到大数据标准化的重要性

七年实践感受到大数据标准化的重要性

作者: 发源地大数据 | 来源:发表于2018-06-04 18:10 被阅读0次

    早在2011年,联想就启动了大数据平台建设,到目前分布在全球的10个数据中心,2000+台服务器,总容量12PB,实现日处理数据4.3PB的数据和30TB的日天新增数据。

    在联想大数据七年实践中面临很多问题,其问题的核心是大数据标准化的缺失,造成数据在集成、应用和安全这三个问题融合起来困难重重。也让联想认识到大数据标准化构建的重要性。

    田日辉谈到,联想大数据在七年实践中曾面临三大问题,大数据标准化缺失是重要因素

    首先,数据集成面临众多问题。

    在数据集成层面,数据来源多,面临着上百个业务系统数据集成的巨大挑战,同时频度跨度大,除了批量数据系统集成外,也要采集高并发的生产制造实时数据;格式复杂,由于各个业务系统的建设具有独立性,上百个业务产生上百个标准和非标格式需要解析或转换,数据质量差,由于手工录入且约束不足,部分数据存在不一致问题,不合理等问题。

    其次,数据应用不能统一管理。

    在数据应用方面,挖掘工具化,针对海量数据的清洗过程/数据处理的特征工程以及算法应用的快速部署,都迫切需要一整套集成工具以减轻工程师的重复性劳动;决策自动化,,面对挖掘过程,需要有一套流程管理工具去顶任意挖掘结果的处理流程,加速数据挖掘进度和效率;操作可视化,需要一套易用的可视化操作界面,易于维护。

    第三,数据安全面临更大挑战。

    数据安全,数据安全,需要从硬件到软件级别的安全措施确保全球十个数据中心PB级别的数据安全;数据隐私,如何有效针对客户数据进行脱敏,不侵犯客户权益,是一大挑战,数据合规,如何实现跨地区跨国家数据合规性传输,数据加密,在数据存储,计算和传输过程中,数据的加解密算法需要具有良好的集成性和易用性。

    同时田日辉谈的联想大数据两大愿景:第一,通过自身提供数据智能平台和服务,推动联想成为数据智能最好的使用者,推动联想自身的业务优化、产品优化,用户经营等;第二成为全球领先数据智能产品和解决方案供应商,为中国加速成为制造强国,为工业互联网的发展提供产品和解决方案,推动智能化产业,推动数字化转型。

    相关文章

      网友评论

          本文标题:七年实践感受到大数据标准化的重要性

          本文链接:https://www.haomeiwen.com/subject/debysftx.html