今年三月，人民日报刊文，国家已经正式确定了把“新基建”作为未来经济建设的长期目标，在七大“新基建”主要领域中，5G、大数据中心、人工智能和工业互联网都被囊括在内。“新基建”将推动产业智能化升级，对我国产业体系具有十分重要的战略意义，在此背景之下，通过上云和对大数据的积极运用，助力行业和企业智能化转型，做出商业预测，实现产品、结构或商业模式的创新，能在很大程度上决定企业乃至数字化转型的成败。
随着Hadoop技术的提升，数据如何进入，如何整合分析，如何开展应用都有了成熟的案例，典型的数据治理产物——数据中台第一次形成了“数据产品”的概念，它让数据变得常态化、资产化，企业将数据作为资产，就像管理名下的存折、信用卡一样，定期梳理，无时无刻不关心资产的变化情况和质量，数据在这个过程中不断补充进化，从单一字段逐渐成长为增值式资产，“决定如何做决定”。
但是，进入Hadoop集群的多样化、复杂化的大量数据夹杂着大量无用的数据垃圾，当前的大数据环境下缺乏统一的方法论来指导数据的管理、集成、存储和维护。对通信行业来说，2G，3G与4G的核心区别就是全IP化，而4G与5G的核心区别是云化，云化必然会带来大数据，可以这样理解云计算、大数据和商业智能的关系：云计算是基础平台，大数据是认知方法，商业智能是最终目标，信息咨询服务能力将成为5G核心，大数据也将会成为未来通信的“石油”。当然，有着“先建设后治理”经历的大数据领域同样面临着很多问题和挑战，举例如下：
（一）数据难以交换共享，需要推进信息资源的整合、对接；
目前，大部分企业部门的数据在整合时存在着开发语言不一致、数据架构不统一、数据库多样化的情况，也存在着大量数据被保存在不同员工个人电脑中的情况，导致企业内部产生了一个个的“信息孤岛”。这样的孤岛间缺乏有效的连接通道，数据难以互联互通，为了推进信息资源的整合和对接，数据治理必须遵循过程和规范，构造正式、书面、可重复和可循环的数据体系。
（二）存在数据安全隐患，需要进一步保证数据的保密性、完整性和可用性；
技术发展助推应用产生了大量的数据，新的技术使得大数据很容易被任何人采集利用，更复杂，更敏感的数据吸引了更多的潜在攻击者，用户的个人隐私因此面临着空前威胁，数据的大量聚集更是增加了黑客一次成功攻击后能获得的“收益率”。典型的安全事件有：2011年Google邮箱大规模用户数据泄露，涉及15万用户；2018年Facebook 5000万用户信息被泄露和滥用，而Facebook当日股价因此大跌7%，市值缩水360多亿美元。
（三）缺乏有效的管理机制，数据质量不能保证准确性和完整性；
由于管理机制、人为因素等，在数据流转过程中会产生很多维护错误、重复数据、数据不完整等情况，这类脏数据不等于数据资产，影响着数据准确和数据完整。数据产权不明确、管理职责混乱，管理和使用流程不明晰，都是造成数据质量问题的重要因素。
总的来说，企业数据治理需要因地制宜，在某些情况下甚至应减少对开源平台，如Tensorflow等的依赖。
网友评论