传统来讲，银行定制一张报表，分析某个业务数据，主要通过业务部门提出需求，科技部门编写程序来实现。从提出需求到科技部最终开发完报表，中间存在反复的口径沟通、试验取数的过程。一张报表，从考虑排期问题，提出需求，到最终完成快则一两周，慢则几个月。
传统数据分析平台遇到的问题如下：
数据分析流程冗长。业务人员对任何已有报表的调整需求，都要严重依赖IT人员重新开发并发布，流程复杂，效率低下。
报表查询变慢。随着数据量增加，已有的业务报表查询时间越来越长，单个报表查询长达数分钟。
非结构化数据分析难。对系统日志等非结构化数据的分析需求难以实现，无法快速满足新兴业务场景。
原平台扩展性差。原有数据仓库的性能遇到严重瓶颈，可扩展性极低，受制于国外厂商，成本高昂。
严重依赖IT。大量IT资源被浪费在重复性的工作中，无法释放出来使能新技术、新平台以支撑快速发展的新业务。
国内某顶尖银行也曾遇到过这个问题，那他们是怎么解决的？
把明细宽表他们可理解的数据，给到业务部门，交由业务人员自助探索分析。
基础查询类报表：来自于基层业务和日常工作，功能作用于某一项具体的工作，比如销售业绩查询、商品库存查询、在途库存查询、采购订单查询等，形成固定类目的查询报表，用户在工作需要时，会通过查询此类报表，来得到自己想要的数据，以支撑自己的工作。
基于以上原因，搭建一套大数据分析平台，支持快速灵活、交互式、探索性的数据查询和分析，让业务人员使用简单拖拉拽操作就能够完成日常的数据分析工作，才是解决问题的根本。
在搭建数据自助查询平台时，涉及技术架构、数据模型和BI工具选型三方面，在这里以国内某顶尖银行的大数据平台为例，和大家讲一讲。
1.技术架构：
是三方面中相对比较容易的，并不是说架构这个东西简单，而是因为以目前市面上的技术实现起来不难。不知题主目前是否有较为完善的数据仓库？如果没有，则需要搭建一个收集业务数据，并对数据进行加工的环境，用Hadoop就可以了。
对于大体量内外部数据的高度自由的实时查询，需要有可靠的底层数据处理平台的支撑。从经济成本和未来数据的非线性增长趋势的角度分析。设计的架构时，传统的交易系统运用关系型数据库处理OLTP事务操作，产生的交易数据通过异构数据的批量复制方式或消息队列的准实时方式更新至Hadoop平台，Hadoop平台可以进行大体量数据的分析和挖掘，并提供基于大数据的应用系统实时检索的模式。有了数据仓库之后，数据就可以按照数据模型进行加工。
2.数据模型
是三方面中最难的部分。原因是数据模型牵涉面最广，涉及到业务结构、数据标准化、指标定义等多方面，而每一方面又很难有客观的标准，随着时间的变化都会不断变化，可以说，数据模型的好坏直接决定了这个项目的成功与否。
持续整合核心系统、信用卡系统等几十个业务的交易数据、账户数据和客户基础数据，建立数据标准和数据治理体系，开发风险数据集市、监管报送集市等多个内部数据集市。行外引入包括监管部门的客户风险预警信息、环保不达标信息、公共媒体负面信息等19项外部数据源，几千项外部数据字段，并运用网络爬虫技术和命名实体识别技术，抓取公共网络媒体舆情信息，形成海量的外部数据集市。
通过在大数据平台上整合行内与行外数据，线上与线下数据，结构化与非结构化数据，有效解决了传统银行普遍面临的“信息孤岛”问题。在数据整合的基础上，利用智能化大数据分析工具进行各类数据的统计、分析、查询和建模成为可能。
数据模型应该建的尽可能简单，特别要贴近业务结构，具体如何建模呢？主要有三个步骤：
（1）调研业务：包括业务结构和业务期望产出的指标口径，调研方法就是和业务人员泡在一起，从业务目标、业务结构、支撑业务的系统、到业务报表、指标口径都要详细了解。其中最重要的当属业务结构和指标清单（含计算逻辑）。
（2）调研数据：根据支撑业务的系统清单，挨个调研每个系统所产生数据的数据结构、更新方式、数据质量等等，如果题主有比较完善的数据仓库，那么这些材料都可以从数据仓库团队要到。
（3）建模：根据前两步掌握的信息，按照业务结构建立数据模型，这里不过多赘述。
3.BI平台选择
银行业务系统众多，对于数据分析平台的维度要求就很高；数据量大，就需要大数据平台有很强的敏捷性，能在几秒之内对海量数据做出反应；要解决业务自助取数，自助分析，这里需要一个自助式BI平台。
市面上的BI工具那么多，国外的powerBI，Tableau，国产的自助式FineBI等，我该去怎么选择呢？
这几个处理数据的能力都非常出色，Tableau功能非常强大，但也过于强大，以至于业务用户很难上手，不是简单的拖拉操作可以驾驭的。
这里我推荐FineBI，我还特地为它做了一张图哈哈哈哈，因为是真的很好用，上文提到的国内某顶尖银行也是基于FineBI去开发的，同时据我了解，国内大多数银行都在使用FineBI。
顺便提一下，前两个国外产品，就我使用的过程中出了问题找不到任何解决办法，只能靠自己摸索，费时费力，FineBI有自己的帮助文档，绝大多数问题都可以找到答案，甚至还有技术支持随时待命，体验非常棒。
IT人员和业务人员共同定制好业务可理解的主题包（这里IT人员直接将数据按业务按主题准备在FineBI的业务包中），可以将数据由业务人员自行设计报表。
通过这种方式进行统计分析，在定制数据包的基础上由业务人员自主查询数据，所见即所得，在数据查询、统计的过程中分析，可以大大提高工作效率。搭建这个系统之外，他们还做了一件事，就是在各个业务条线培养具有数据分析挖掘能力的人才，解决日常工作中的数据分析难题。
以客户在银行办理业务的行为路径，可以有这样几个主题，不同主题有对应的场景及其指标，使用FineBI即可做到精确分析。
搭建一个数据平台可能是项目制的工作，在一段时间内会完成，但是搭建数据分析体系这件事却任重而道远。但是如果有人能在做产品的同时，将金融行业同类的数据应用经验也分享给你，帮助你去搭建数据分析体系，那就是真正的“良药”了。
网友评论