随着数据体量的增长，大数据处理、大数据应用分析的门槛逐渐提高，社会普遍开始重视数据安全和隐私。目前，数据交换共享平台已成为政府和企业在系统开发建设中的常规需求，制定相关数据规范和信息交换标准正在提上日程，如何结合区块链的技术与管理方式，确保系统之间的互联互通、数据共享，为大数据分析提供数据依据，已成为一个全新的命题。
企业对数据服务的需求日趋迫切，如何有效的管理数据、高效的提供数据服务是目前企业对所面临的关键挑战。数据交换能够有效集成各业务系统中的结构化数据、半结构化数据、非结构化数据，结合区块链技术与管理方式，能够更有效地对数据进行权属界定与溯源，提升数据质量，对于企业来说，也是数据对外服务可信的起点。
1、数据交换的背景
大部分企业通过多年的信息化建设和运营，已经建立了完善的业务应用系统，有效的支撑了核心业务的创新和发展，但随着应用系统的增多，数据量和数据应用环境增大，在对这些数据进行使用的过程中，数据有效交互和共享问题逐渐凸显，主要表现在数据标准不统一、数据质量参差不齐、核心业务数据无法溯源、数据的准确性和及时性较低等方面。企业急需通过建立底层数据集成交换平台来联系横贯整个企业的异构系统、应用、数据源等，完成在企业内部的ERP、CRM、SCM、数据库、数据仓库，以及其它重要的内部系统之间无缝的共享和交换数据。
2、数据交换过程
数据交换依托于元数据，数据交换的本质是基于元数据的交换。元数据是关于数据、操纵数据的数据和数据库系统的结构和意义的描述信息，重要目标就是提供数据资源的全面指南。元数据不仅定义了数据交换中的数据模式、来源以及抽取转换规则等，而且整个数据交换系统的运行都应该是基于元数据的，是元数据把数据交换系统中各个松散的组件联系起来，组成了一个有机的整体。
通过自动化工具对半结构化和结构化数据自动采集形成技术元数据，在经过业务部门的信息资源梳理，将技术元数据与业务元数据关联，编制部门数据资源目录，摸清信息资源有什么、在哪里，提高信息资源共享程度，建立信息资源共享机制和管理制度。
形成数据资源目录的过程需要技术部门与业务部门进行配合完成，企业数据是否有对外应用价值也取决于数据的可信程度，在企业内部进行数据梳理的开端进行数据源、部门职责权属、操作记录等关键信息的上链存储，对内能够有效实现数溯源与关联分析，对外能够更取信用户，实现数据价值的变现。
3、数据交换方式
数据交换的方式一般是根据数据的类型来进行区分，如结构化或半结构化的数据可通过ETL的数据交换方式进行，非结构化的数据像压缩文件、电影、图片等采用文件传输的方式进行交换，而对于一些实时性较高的交换一般采用restfull、webservice等接口形式进行。通过对（半）结构化数据和非结构化数据交换方式的技术分析，区块链完全可以嵌入数据交换这一过程，将数据可信程度进一步提高。
1、（半）结构化数据交换
结构化和半结构化数据交换主要有：时间戳同步（库表中时间戳对比获取源数据库的增量数据）、CDC增量同步（数据库日志信息分析来捕获复制对象的变化序列）、触发器同步（数据库中设置触发器触发获取变化数据）、全文比对同步（不同时间点对比数据表获取差异）、全量同步（一次性直接抽取）。这些同步方式除了全量同步，其他几种都需要业务表有主键，同时也都能够支持断点续传。
更进一步，这些同步方式也大都可以嵌入区块链的数据存储方式，时间戳是区块链加密算法中的一部分，日志信息可以进行摘要存储，触发器的原理与智能合约一致，因此，从技术细节与原理上来讲，数据交换与区块链有共通之处，所需改变的是区块链的多节点的存储与管理架构。
2、非结构化数据交换
以前的非结构化的数据交换，常常使用网盘或者FTP传输文件时，尤其是大文件，容易出现中断，严重影响工作效率和业务。当前更多采用数字签名、时间戳、报文加密的方式对传输的消息进行完整性验证、对消息发送者进行身份验证，防止消息在传输过程中被以插入、删除、调换或修改等方式篡改。
这些数据传输方式与区块链分对称加密所能达到的效果基本一致，技术细节也基本统一。
3、实时数据交换
打破信息壁垒和信息孤岛，实现统一高效、互联互通、安全可靠的数据资源体系，实时数据交换是推动信息跨部门跨层级共享共用数据中心的重要环节。实时数据交换适用于对于数据时效要求快速、高频度、少量数据传输的场景。实时数据交换通过将数据中心库中的数据快速的发布出来提供给外部系统共享调用，同时能够监控外部调用数据的情况提升数据的价值。
数据交换平台工具介绍
亿信的数据交换管理平台正是立足于解决相互独立的业务系统之间的业务数据可以无障碍传输共享的问题，通过丰富的数据处理和交换任务设计，对分散的业务系统进行数据整合，消除“信息孤岛”，实现各类业务系统的互通互联和数据共享，形成统一的数据服务层，为政企机构业务信息服务提供可靠的数据基础。
强大的功能特性
传输节点管理
提供丰富的数据源接口，除支持主流的数据库和大数据外，还支持文本文件、 FTP服务、API接口、Web Service服务等多种形态的数据源。支持从多个异构数据源取数，能直接完成跨数据库的数据关联取数。
图：数据源接口
提供丰富组件
提供了丰富的传输组件、文本解析组件、接口组件、转换组件、流程组件等的可视化组件来保证数据交换功能的完整性，还提供了脚本组件保证数据交换平台的扩展性。
图：内置交换组件
可视化运维与监控
支持拖拽式方式设计流程，通过可视化操作界面自动生成满足业务需要的交换任务。支持定时和事件触发，通过检测执行时间、监听数据库、指定文件变化来触发调度，灵活进行数据抽取和交换。
图：可视化流程示例
安全高效的数据交换
支持数据加密传输、断点续传、各种脱敏算法、数据权限与功能权限双重控制，让数据传输更安全可控；数据分区、并行装载技术让数据传输更高效快速。
图：设置脱敏方式
数据服务交换和服务工具作为一体化数据治理和共享平台一个组件,提供面向服务的插座式架构，基于统一的规则和元数据、统一架构、统一工具能可视化配置出数据采集、数据交换、数据加工、数据共享等不同的数据服务方案，能满足客户不同项目的数据交换和数据管理需要，提供端对端的数据交换和整合服务，保证了交换过程中的可靠传输，避免了丢包、系统堵塞等问题。支持跨组织、跨网段的、上下级单位数据交换、基于前置机的数据交换、物理隔绝的数据交换等多种应用场景。
4、展 望
随着数据交换在企业中越来越受到重视，企业将不仅仅局限于只对数据进行简单的交换与集成，而是通过数据交换打造出了自己的数据中台和数据共享平台，创建了在各个业务系统之间的数据高速公路使原先的数据孤岛，变成数据仓库、数据集市有效的对数据进行管理和应用，通过对数据的加工、分析和共享提升了数据的价值。
但是数据在对外提供应用时，总是会受到客户的数据可信性的质疑，将区块链的技术路线与管理思想与数据交换进行结合，从更底层上为数据打上不可篡改、可追溯的标签，能够为企业数据资产变现提供更多支撑，将数据可信程度向着数据源端更迈进一步。而随着区块链技术的不断发展与应用的成熟，区块链将更加深入地嵌入到原有的数据管理技术体系中，支撑企业数据管理的资产价值变现。
网友评论