中国数据库技术大会于2016年5月12日在北京国际会议中心拉开帷幕，该大会以"数据定义未来"为主题，云集了国内外顶尖专家，共同探讨MySQL、NoSQL、Oracle、缓存技术、云端数据库、智能数据平台、大数据安全、数据治理、大数据和开源、大数据创业、大数据深度学习等领域的前瞻性热点话题与技术。而作为大数据与云计算领域的先进服务提供商，新致云自然受邀参加本次展会。在本次展会中，新致软件助理副总裁虞力先生应主办方邀请以“金融行业数据挖掘”为主题为现场观众带来了一场精彩演讲。在此我们特别整理了虞力先生的演讲内容，同读者一起分享：
在“互联网 + 金融”和 “国家大数据战略” 两大趋势的影响下，中国金融IT领域掀起了一场规模空前的转型大潮。传统的商业智能模式已经无法满足业务发展的需求和竞争形态的转变，传统金融机构都在考虑未来的商业智能模式、数据价值挖掘等如何进行变革。
传统BI体系的逻辑架构
我们谈变革，首先需要理清传统BI的体系架构
BI 体系经典架构：底层数据——ETL——数据仓库——数据集市——报表层——展现层
传统金融BI逻辑体系结构由四部分构成：
1. 事务处理系统
2. BI系统基础：ODS、DW、数据治理平台
3. BI应用系统：图中清单报表蓝色部分
4. BI战略应用：BAM、运营分析
传统BI体系面临的挑战
上游数据、BI体系平台、终端用户诉求
数据能力的挑战
BI体系平台的价值本质上体现在数据发现的价值上。
即企业需要通过数据去产生价值，需要通过对数据的经营，数据的探索，看到想知道的。此外，企业还需要通过数据去发现原来所不知道的存在的问题，或者说原来忽视的盈利点等。
随着互联网和移动互联网的崛起，传统金融机构业务线仅依赖线下分销渠道的业务模式发生了巨大的变化。金融机构被推上了第一线，同终端客户的关系变得前所未有的紧密，对于数据变得前所未有的渴望。
什么阻碍了传统金融机构数据价值化的过程？
我们认为有三个方面：
1. 国内金融机构坐拥海量数据，但是往往存在“部门分制”的情况。数据在组织内部就处于割裂状态
业务条线、职能部门、渠道端往往是数据的真正拥有者，这些拥有者之间常常缺乏顺畅的共享机制，
成就数据价值的是数据的全连，这要求组织内部能够实现搞得数据共享与整合，这样的矛盾导致机构中的海量数据往往处于休眠状态。
2、数据敏感性方向不同：金融机构传统业务模式是线下渠道，金融IT对于业务状态数据完整性、一致性更关心，对于触点、过程型数据敏感性不高。
3、转型中为何很难解决过程数据缺失问题？
大型金融机构存在近千个事务处理系统，这些系统往往由不同的IT服务供应商开发。IT架构规划往往注重职能规划，对于更进一步的数据规划上鞭长莫及。
事后补救时需要巨大的代价，比如客户触点汇总，往往需要电商、销售渠道。 因此，我们认为在大数据时代，首要解决的并不是分析平台的问题，而是如何从企业内部中发现数据，如何重塑数据的流程？
BI平台能力的挑战
让我们回到IT，回到BI体系，看看BI平台遇到了什么挑战？
1. 实施周期长、使用成本高
从前面的逻辑体系图上可以看出金融IT重分层，即将问题分而治之。
同软件架构设计一样，分层带来了，也会带来复杂性。
分析需求变更时，业务人员不能直接调整报表，需要IT人员重新建模或修改已有分析模型，耗时较长，响应速度较久。
1. 扩展性差
处理能力体系扩展性差：传统BI工具更强调单台设备处理能力的标准化，而不是通过横向扩展解决海量数据的处理能力。
模型本身扩展性差：传统金融BI采用事先建模的方式，有时候一个需求的变化，可能会波及到BI流程上的各个节点，从上游交易到ETL过程，到模型的变化，模型的变化又会产生历史数据的变化。
1. 性能瓶颈严重
随着时间推移 IT实施和规划之间的差异会越来越大。原先规划是以职能为中心，慢慢演变成和关联度高的上下游系统逐渐耦合。有演变成烟囱式系统的趋势。
烟囱式架构性能的木桶效应非常明显。另一方面也受限于底层数据库平台， 在大数据时代，我们对BI平台能力需要有更多的要求。
响应终端用户诉求能力的挑战
对于终端用户的服务能力，我们认为有两个主要的问题：
1、是服务对象缺失
从前面的BI体系的逻辑图上我们可以发现，传统金融BI服务的终端用户是高层的业务决策人员，中层的执行人员，对于前段的销售线支持非常弱。
如何让前线
互联网思维的根本就是“快”，通过高层决策 - 中层执行传达到业务前线往往已经失去先机。
如何让“听见枪声的同志来指挥战斗”，如何加强对第一线业务人员支持？
2、是传统BI平台使用者、需求干系人和终端用户脱节
对大型BI体系来说，要取得相关报表，需要做的是向IT部门提需求。接下来，IT部门按要业务人员的要求提取数据，再进行分析，然后把报表返还给业务人员。
而在实际业务中，从产生BI需求到拿到报表这个过程，往往希望能在很短的时效内完成。
产生这样情况的原因很复杂，有BI体系建设分层过多的原因，也有IT申报流程过长的因素。
但是更重要的原因是BI系统设计方向不是业务导向的，不是面向business user。
因此，这几年业务导向的敏捷性BI非常火。敏捷BI通过动态的轻量级建模方案取代原先的事先建模的重量级建模方案，可以在使用时对模型进行动态调整。
但是我们在敏捷BI实际实施中，还是有些没有达成预想中的效果。
一方面是交互性上的问题，面向的business user是，金融行业和实际销售一线还是有所区别的。
目前敏捷BI产品暴露了过多技术细节给到终端用户，并不是用“同一种业务语言”同用户进行交互。
另一方面在数据源联接功能的大数据量上的表现上存在不足，敏捷BI的业务导向是发展方向，但是还远未称得上完美。
新致大数据平台能力
新致大数据平台提供两套解决方案尝试解决上面挑战
业务数据发现
提供的价值：
1. 实时性
传统BI 数据 -> 信息转化过程中，首先经由交易系统的层层分发，在经过ETL - ODS - EW最终呈现
按照我们在金融客户的经验看，整过程时延最好也在小时级。
新方案中秒级延迟。
包括：数据获取时效，直接由业务发生系统获取最新的数据
数据处理时效。
1. 无侵入
无侵入特征对应前面谈到多家开发商、庞大IT体系的历史包袱问题。当新的数据获取需求发生时，不再是传统的层层改造到最终实现。无需改变原有系统的代码等，没有另外的开发工作量。
1. 动态定制
有新的业务分析视角需要新的数据支撑，传统做法上需要停机等等，现在方案中通过主控通知系统中的Agent，由Agent自动开启收集。如果在数据探查过程中发现不是需要的数据，也可以立即进行关闭。
BI平台
开箱即用
业务驱动
引入中间的行业语义层，业务人员接触的不再是难懂的数据表，也不用再面对数据重复、不知道采用哪里数据的困扰。业务人员仅需要面对自己熟悉的业务词汇，引导式交互，所见即所得编辑，全终端统一。
开源
X86服务软件器
成本缩小为原有体系1/10，按需扩容。
解决开发周期长、上线使用率低的问题，2周的快速开发能够保障企业的分析需求快速上线，使得就算最终用户对数据分析的需求有极大的调整时，也能保证需求的上线效率，从而有效保障了对数据分析需求的掌控能力。
水平扩展性能指标平滑
性能提升10倍以上
可实现海量数据实时分析与数据联动，保障数据的实时处理的高性能计算，达到用户点击时进行即时计算的效果。
分布式集群无限水平扩展
支持可变数据模型
分布式计算的引入，可以很好地对当前系统的扩容问题进行处理，当数据处理需求超过当前硬件处理能力时，增加一至数个分布式节点即可保障系统稳定运行，不会造成前期的大规模投入短期完全失效的尴尬。
以上是来自新致软件副总裁虞力先生在本次中国数据库技术大会上演讲的主要内容，在今后，我们也将会与大家一同分享新致云的开发经验与技术干货。同时，我们也会即时告知大家新致云的参展活动，欢迎各位莅临展会展台，近距离与我们的咨询师沟通了解新致云的技术与服务，我们将竭诚为您服务！
网友评论