美文网首页
【必点】如何解决正面临的各大数据集成难题?

【必点】如何解决正面临的各大数据集成难题?

作者: 小智_金智教育 | 来源:发表于2016-07-06 14:00 被阅读773次

    各位老师上午好,我是金智教育的李齐光,主要负责主数据产品的设计与规划,本次就这两天出现的信息标准,数据集成等高频率字眼来跟大家做一个深度分享。

    优化高校数据集成势在必行

    随着信息化不断推进,高校对于数据的深层次需求越发强烈,越来越多的应用场景对数据的诉求也越来越高。比如人事专业技术职务申报离不开科研项目,这些场景都离不开数据共享,离不开数据集成。

    高校对数据的依赖性正在加强,数据越发凸显,数据是高校由经验型决策转向数据型决策的驱动力。我们不仅要满足当前的各个需求场景,还要把数据作为资源长久持续地保留下来,这也离不开数据集成。

    但高校数据现状却不容乐观,近十年的数据集成仍遗留大量问题亟待解决,这些问题涉及以下部分:信息标准建设、数据集成与共享、数据存储、数据质量、长效运营等。

    优化高校数据集成势在必行,我的观点是:高校数据集成正在由事后集成逐步向事先设计的趋势发展。

    我们先来看看 信息标准如何建设:

    信息标准建设四部曲

    1、信息标准初始建设

    首先,依托教育部标准,以学校人财物建设“人优先,财和物偏后”为指导思想,构建信息标准。建设过程中以服务内容为落脚点,明确各部门间数据提供和数据使用的供需关系。

    其次,做好万全材料收集准备,包括:基础代码标准、数据模式标准、数据流向标准,高校数据应用表格、本科教学基本状况数据,高校整体基础数据采集结构等。

    再次,明确数据设计规范,包括:每个表命名方式、唯一关键字,每次同步记录操作的人员信息等。

    另外,还需做好业务模型、主数据模型、代码标准规范等内容。

    最后,有个小建议:以上信息标准建设工作交给1个基础较好的厂商完成,学校在此基础上不断优化落地。

    2、校内信息需求调研

    调研过程中不断灌输统一数据校级资产意识,信息中心需要不断引导业务部门对数据的正确认识:数据是学校公共资源,而并非部门私有财产,这样良性的数据共享意识将是数据完成有效交换和集成的关键。

    盘点好业务系统现状以及内外部数据关系,这部分工作以业务部门梳理为主,信息中心配合。过程中一定要把握好调研的“度”:避免不调研或全面调研两种极端方式。

    3、校内核心校标落地:影响全局的标准先落地(组织机构、职工号、学号等),其它随信息化建设逐步完善,避免求大、求全。核心标准制定后,必须召集相关执行人员交流,确保落地。

    4、做好日常管控:有了初始标准和核心校标,日常管控也很重要。在新业务系统建设、现有业务系统集成过程中,对运行过程中的偏差都需要管控。控制内容:代码标准+数据模式标准+数据流向标准。数据质量是设计出来的,不是集成出来的。

    标准不是静态的,日常管控确保信息标准可落地与动态迭代。

    多方携手,系统集成不再是老大难

    1、数据集成方案

    系统集成必须围绕信息需求制定数据集成方案,并需结合信息标准数据流向规划以及业务系统建设使用情况来确定集成边界。需要继承方、信息中心、业务部门,第三方公司通力配合完成。

    内容边界一般涉及四个方面:需要的代码标准,需要的业务数据,提供的代码标准,提供的业务数据。

    除了集成内容边界,还要考虑数据集成的技术方式,一般有三种典型集成方式:ETL数据共享,数据库共享和API共享,三者是互补关系。

    另外,也要考虑同步频率,实时同步,1小时/1天同步一次,根据业务需求确定,够用即可。

    2、元数据注册

    元数据是理解数据的前提,是推动学校持续数据治理优化的基础,元数据注册范围尽可能是业务系统完整元数据,以及涉及到共享和需要的数据及代码表的元数据。

    3、代码标准检查

    代码标准检查依托于上面的元数据,也是数据集成前代码统一的有效检查技术手段,我们可以获取多种代码差异,在方案评审中进行评审。

    4、方案评审

    评审内容:集成方案评审(主数据模式差异)、代码标准评审(代码标准差异)。评审处理原则:a优先遵循教育部标准;b优先遵循数据源头标准;c需要信息中心、业务部门、公司共同讨论。

    5、标准迭代

    方案评审后会带来一系列的迭代工作,公司和信息中心层面需要完成学校代码标准迭代、学校数据模式迭代以及监督业务系统迭代情况,业务部门和第三方需要完成业务系统代码标准调整以及涉及到数据内容的清洗。

    6、数据集成

    以公司为主,业务系统提供方强力配合。注意典型数据清洗转换:

    7、运行监控

    运行监控对平台中不规范的接口、代码标准不一致情况、数据质量等问题进行监控,监控对数据治理是非常有帮助的。

    一般常见的数据质量检测规则如下:

    事先接口涉及调用是大趋势

    这些年集成的本质都是事后集成,重的是技术通道,但是没有重视内容建设。

    在“大平台、小应用”的开放生态模式,平台需要采用一体化的集成策略,内置标准或者数据模式和数据操作接口,把行业积累转化为一个个领域模型,并以API方式对外提供,实现传统紧耦合、封闭式架构到分布式、开放架构的转变,实现从“数据集成”向“服务集成”的转变,满足学校业务开发快速响应的需求。

    这种模式下数据访问更及时,数据消费更真实,建设模式更开放,可以让更多人参与到信息化建设过程当中。

    最后想对各位始终坚持在一线的信息化从业人员致敬,高校信息标准的落地还需要靠大家共同努力。我的报告分享到这边,谢谢大家~~

    相关文章

      网友评论

          本文标题:【必点】如何解决正面临的各大数据集成难题?

          本文链接:https://www.haomeiwen.com/subject/jyekjttx.html