大数据技术在金融行业中的应用

1. 概述

近年来，随着大数据、云计算、区块链、人工智能等新技术的快速发展，这些新技术与金融业务深度融合，释放出了金融创新活力和应用潜能，这大大推动了我国金融业转型升级，助力金融更好地服务实体经济，有效促进了金融业整体发展。在这一发展过程中，又以大数据技术发展最为成熟、应用最为广泛。从发展特点和趋势来看，“金融云”快速建设落地奠定了金融大数据的应用基础，金融数据与其他跨领域数据的融合应用不断强化，人工智能正在成为金融大数据应用的新方向，金融行业数据的整合、共享和开放正在成为趋势，给金融行业带来了新的发展机遇和巨大的发展动力。

大数据涉及的行业过于广泛，除金融外，还包括政治、教育、传媒、医学、商业、工业、农业、互联网等多个方面。根据国际知名咨询公司麦肯锡的报告显示：在大数据应用综合价值潜力方面，信息技术、金融保险、政府及批发贸易四大行业潜力最高高。具体到行业内每家公司的数据量来看，信息、金融保险、计算机及电子设备、公用事业四类的数据量最大。可以看出，无论是投资规模和应用潜力，信息行业（互联网和电信）和金融行业都是大数据应用的重点行业。

大数据的行业定位

大数据的特点可归纳为“4V”。

• 数据量(Volume)， 海量性也许是与大数据最相关的特征。
• 多样性(Variety)，大数据既包括以事务为代表的传统结构化数据，还包括以网页为代表的半结构化数据和以视频、语音信息为代表的非结构化数据。
• 数据价值(Value)，大数据的体量巨大，但数据中的价值密度却很低。比如几个小时甚至几天的监控视频中，有价值的线索或许只有几秒钟。
• 动态性(Velocity)，大数据要求能够快速处理数据，时效性强，要进行实时或准实时的处理。

大数据的特点

金融行业一直较为重视大数据技术的发展。相比常规商业分析手段，大数据可以使业务决策具有前瞻性， 让企业战略的制定过程更加理性化，实现生产资源优化分配，依据市场变化迅速调整业务策略，提高用户体验以及资金周转率，降低库存积压的风险，从而获取更高的价值和利润。

大数据产生价值

2. 大数据技术在金融行业中的典型应用

大数据技术在金融行业中有着广泛的应用， 下面将介绍大数据技术在银行、证券、保险等金融细分领域中的应用。

金融大数据应用

2.1 银行大数据应用

国内不少银行已经开始尝试通过大数据来驱动业务运营，如中信银行信用卡中心使用大数据技术实现了实时营销，光大银行建立了社交网络信息数据库，招商银行则利用大数据发展小微贷款。总的来看银行大数据应用可以分为四大方面：

2.1.1 客户画像

客户画像应用主要分为个人客户画像和企业客户画像。个人客户画像包括人口统计学特征、消费能力数据、兴趣数据、风险偏好等；企业客户画像包括企业的生产、流通、运营、财务、销售和客户数据、相关产业链上下游等数据。值得注意的是，银行拥有的客户信息并不全面，基于银行自身拥有的数据有时候难以得出理想的结果甚至可能得出错误的结论。比如，如果某位信用卡客户月均刷卡8次，平均每次刷卡金额800元，平均每年打4次客服电话，从未有过投诉，按照传统的数据分析，该客户是一位满意度较高流失风险较低的客户。但如果看到该客户的微博，得到的真实情况是：工资卡和信用卡不在同一家银行，还款不方便，好几次打客服电话没接通，客户多次在微博上抱怨，该客户流失风险较高。所以银行不仅仅要考虑银行自身业务所采集到的数据，更应考虑整合外部更多的数据，以扩展对客户的了解。包括：
（1）客户在社交媒体上的行为数据（如光大银行建立了社交网络信息数据库）。通过打通银行内部数据和外部社会化的数据可以获得更为完整的客户拼图，从而进行更为精准的营销和管理；
（2）客户在电商网站的交易数据，如建设银行则将自己的电子商务平台和信贷业务结合起来，阿里金融为阿里巴巴用户提供无抵押贷款，用户只需要凭借过去的信用即可；
（3）企业客户的产业链上下游数据。如果银行掌握了企业所在的产业链上下游的数据，可以更好掌握企业的外部环境发展情况，从而可以预测企业未来的状况；
（4）其他有利于扩展银行对客户兴趣爱好的数据，如网络广告界目前正在兴起的DMP数据平台的互联网用户行为数据。

客户画像

2.1.2 精准营销

在客户画像的基础上银行可以有效的开展精准营销，包括：
（1）实时营销。实时营销是根据客户的实时状态来进行营销，比如客户当时的所在地、客户最近一次消费等信息来有针对地进行营销（某客户采用信用卡采购孕妇用品，可以通过建模推测怀孕的概率并推荐孕妇类喜欢的业务）；或者将改变生活状态的事件（换工作、改变婚姻状况、置居等）视为营销机会；
（2）交叉营销。即不同业务或产品的交叉推荐，如招商银行可以根据客户交易记录分析，有效地识别小微企业客户，然后用远程银行来实施交叉销售；
（3）个性化推荐。银行可以根据客户的喜欢进行服务或者银行产品的个性化推荐，如根据客户的年龄、资产规模、理财偏好等，对客户群进行精准定位，分析出其潜在金融服务需求，进而有针对性的营销推广；
（4）客户生命周期管理。客户生命周期管理包括新客户获取、客户防流失和客户赢回等。如招商银行通过构建客户流失预警模型，对流失率等级前20%的客户发售高收益理财产品予以挽留，使得金卡和金葵花卡客户流失率分别降低了15个和7个百分点。

2.1.3 风险管理与风险控制

在风险管理和控制方面包括中小企业贷款风险评估和欺诈交易识别等手段。
（1）中小企业贷款风险评估。银行可通过企业的产、流通、销售、财务等相关信息结合大数据挖掘方法进行贷款风险分析，量化企业的信用额度，更有效的开展中小企业贷款。
（2）实时欺诈交易识别和反洗钱分析。银行可以利用持卡人基本信息、卡基本信息、交易历史、客户历史行为模式、正在发生行为模式（如转账）等，结合智能规则引擎（如从一个不经常出现的国家为一个特有用户转账或从一个不熟悉的位置进行在线交易）进行实时的交易反欺诈分析。如IBM金融犯罪管理解决方案帮助银行利用大数据有效地预防与管理金融犯罪，摩根大通银行则利用大数据技术追踪盗取客户账号或侵入自动柜员机(ATM)系统的罪犯。

大数据在实时风险控制中的应用

2.1.4 运营优化

（1）市场和渠道分析优化。通过大数据，银行可以监控不同市场推广渠道尤其是网络渠道推广的质量，从而进行合作渠道的调整和优化。同时，也可以分析哪些渠道更适合推广哪类银行产品或者服务，从而进行渠道推广策略的优化。
（2）产品和服务优化：银行可以将客户行为转化为信息流，并从中分析客户的个性特征和风险偏好，更深层次地理解客户的习惯，智能化分析和预测客户需求，从而进行产品创新和服务优化。如兴业银行目前对大数据进行初步分析，通过对还款数据挖掘比较区分优质客户，根据客户还款数额的差别，提供差异化的金融产品和服务方式。
（3）舆情分析：银行可以通过爬虫技术，抓取社区、论坛和微博上关于银行以及银行产品和服务的相关信息，并通过自然语言处理技术进行正负面判断，尤其是及时掌握银行以及银行产品和服务的负面信息，及时发现和处理问题；对于正面信息，可以加以总结并继续强化。同时，银行也可以抓取同行业的银行正负面信息，及时了解同行做的好的方面，以作为自身业务优化的借鉴。

2.2 保险行业大数据应用

过去，由于保险行业的代理人的特点，所以在传统的个人代理渠道，代理人的素质及人际关系网是业务开拓的最为关键因素，而大数据在在新客户开发和维系中的作用就没那么突出。但随着互联网、移动互联网以及大数据的发展，网络营销、移动营销和个性化的电话销售的作用将会日趋显现，越来越多的保险公司注意到大数据在保险行业中的作用。总的来说，保险行业的大数据应用可以分为三大方面：客户细分及精细化营销、欺诈行为分析和精细化运营。

2.2.1 客户细分和精细化营销

（1）客户细分和差异化服务。风险偏好是确定保险需求的关键。风险喜好者、风险中立者和风险厌恶者对于保险需求有不同的态度。一般来讲，风险厌恶者有更大的保险需求。在客户细分的时候，除了风险偏好数据外，要结合客户职业、爱好、习惯、家庭结构、消费方式偏好数据，利用机器学习算法来对客户进行分类，并针对分类后的客户提供不同的产品和服务策略。
（2）潜在客户挖掘及流失用户预测。保险公司可通过大数据整合客户线上和线下的相关行为，通过数据挖掘手段对潜在客户进行分类，细化销售重点。通过大数据进行挖掘，综合考虑客户的信息、险种信息、既往出险情况、销售人员信息等，筛选出影响客户退保或续期的关键因素，并通过这些因素和建立的模型，对客户的退保概率或续期概率进行估计，找出高风险流失客户，及时预警，制定挽留策略，提高保单续保率。
（3）客户关联销售。保险公司可以关联规则找出最佳险种销售组合、利用时序规则找出顾客生命周期中购买保险的时间顺序，从而把握保户提高保额的时机、建立既有保户再销售清单与规则，从而促进保单的销售。除了这些做法以外，借助大数据，保险业可以直接锁定客户需求。以淘宝运费退货险为例。据统计，淘宝用户运费险索赔率在50%以上，该产品对保险公司带来的利润只有5%左右，但是有很多保险公司都有意愿去提供这种保险。因为客户购买运费险后保险公司就可以获得该客户的个人基本信息，包括手机号和银行账户信息等，并能够了解该客户购买的产品信息，从而实现精准推送。假设该客户购买并退货的是婴儿奶粉，我们就可以估计该客户家里有小孩，可以向其推荐关于儿童疾病险、教育险等利润率更高的产品。
（4）客户精准营销。在网络营销领域，保险公司可以通过收集互联网用户的各类数据，如地域分布等属性数据，搜索关键词等即时数据，购物行为、浏览行为等行为数据，以及兴趣爱好、人脉关系等社交数据，可以在广告推送中实现地域定向、需求定向、偏好定向、关系定向等定向方式，实现精准营销。

精准营销

2.2.2 欺诈行为分析

基于企业内外部交易和历史数据，实时或准实时预测和分析欺诈等非法行为，包括医疗保险欺诈与滥用分析以及车险欺诈分析等。
（1）医疗保险欺诈与滥用分析。医疗保险欺诈与滥用通常可分为两种，一是非法骗取保险金，即保险欺诈；另一类则是在保额限度内重复就医、浮报理赔金额等，即医疗保险滥用。保险公司能够利用过去数据，寻找影响保险欺诈最为显著的因素及这些因素的取值区间，建立预测模型，并通过自动化计分功能，快速将理赔案件依照滥用欺诈可能性进行分类处理。
（2）车险欺诈分析。保险公司够利用过去的欺诈事件建立预测模型，将理赔申请分级处理，可以很大程度上解决车险欺诈问题，包括车险理赔申请欺诈侦测、业务员及修车厂勾结欺诈侦测等。

2.2.3 精细化运营

（1）产品优化，保单个性化。过去在没有精细化的数据分析和挖掘的情况下，保险公司把很多人都放在同一风险水平之上，客户的保单并没有完全解决客户的各种风险问题。但是，保险公司可以通过自有数据以及客户在社交网络的数据，解决现有的风险控制问题，为客户制定个性化的保单，获得更准确以及更高利润率的保单模型，给每一位顾客提供个性化的解决方案。
（2）运营分析。基于企业内外部运营、管理和交互数据分析，借助大数据台，全方位统计和预测企业经营和管理绩效。基于保险保单和客户交互数据进行建模，借助大数据平台快速分析和预测再次发生或者新的市场风险、操作风险等。
（3）代理人（保险销售人员）甄选。根据代理人员（保险销售人员）业绩数据、性别、年龄、入司前工作年限、其它保险公司经验和代理人人员思维性向测试等，找出销售业绩相对最好的销售人员的特征，优选高潜力销售人员。

2.3 证券行业大数据应用

大数据时代，大多数券商们已意识到大数据的重要性，券商对于大数据的研究与应用正在处于起步阶段，相对于银行和保险业，证券行业的大数据应用起步相对较晚。目前国内外证券行业的大数据应用大致有以下几个方向：

2.3.1 股价预测

2011年5月英国对冲基金Derwent Capital Markets建立了规模为4000 万美金的对冲基金，该基金是首家基于社交网络的对冲基金，该基金通过分析Twitter 的数据内容来感知市场情绪，从而指导进行投资。利用 Twitter 的对冲基金 Derwent Capital Markets 在首月的交易中确实盈利了，其以1.85%的收益率，让平均数只有0.76%的其他对冲基金相形见绌。

麻省理工学院的学者，根据情绪词将twitter内容标定为正面或负面情绪。结果发现，无论是如“希望”的正面情绪，或是“害怕”、“担心”的负面情绪，其占总twitter内容数的比例，都预示着道琼斯指数、标准普尔500指数、纳斯达克指数的下跌；美国佩斯大学的一位博士则采用了另外一种思路，他追踪了星巴克、可口可乐和耐克三家公司在社交媒体上的受欢迎程度，同时比较它们的股价。他们发现，Facebook上的粉丝数、Twitter 上的听众数和 Youtude 上的观看人数都和股价密切相关。另外，品牌的受欢迎程度，还能预测股价在10天、30天之后的上涨情况。但是，Twitter 情绪指标，仍然不可能预测出会冲击金融市场的突发事件。例如，在2008年10月13号，美国联邦储备委员会突然启动一项银行纾困计划，令道琼斯指数反弹，而3天前的Twitter相关情绪指数毫无征兆。而且，研究者自己也意识到，Twitter 用户与股市投资者并不完全重合，这样的样本代表性有待商榷，但仍无法阻止投资者对于新兴的社交网络倾注更多的热情。

2.3.2 客户关系管理

（1）客户细分。通过分析客户的账户状态（类型、生命周期、投资时间）、账户价值（资产峰值、资产均值、交易量、佣金贡献和成本等）、交易习惯（周转率、市场关注度、仓位、平均持股市值、平均持股时间、单笔交易均值和日均成交量等）、投资偏好（偏好品种、下单渠道和是否申购）以及投资收益（本期相对和绝对收益、今年相对和绝对收益和投资能力等），来进行客户聚类和细分，从而发现客户交易模式类型，找出最有价值和盈利潜力的客户群, 以及他们最需要的服务, 更好地配置资源和政策, 改进服务,抓住最有价值的客户。
（2）流失客户预测。券商可根据客户历史交易行为和流失情况来建模从而预测客户流失的概率。如2012年海通证券自主开发的“给予数据挖掘算法的证券客户行为特征分析技术”主要应用在客户深度画像以及基于画像的用户流失概率预测。通过对海通100多万样本客户、半年交易记录的海量信息分析，建立了客户分类、客户偏好、客户流失概率的模型。该项技术最大初衷是希望通过客户行为的量化分析，来测算客户将来可能流失的概率。

客户大数据营销

2.3.3 智能投资顾问

智能投资顾问业务提供线上投资顾问服务，其基于客户的风险偏好、交易行为等个性化数据，依靠大数据量化模型，为客户提供低门槛、低费率的个性化财富管理方案。

2.3.4 投资景气指数

2012年，国泰君安推出了“个人投资者投资景气指数”（简称3I指数），通过一个独特的视角传递个人投资者对市场的预期、当期的风险偏好等信息。国泰君安研究所对海量个人投资者样本进行持续性跟踪监测，对账本投资收益率、持仓率、资金流动情况等一系列指标进行统计、加权汇总后得到的综合性投资景气指数。
3I指数通过对海量个人投资者真实投资交易信息的深入挖掘分析，了解交易个人投资者交易行为的变化、投资信心的状态与发展趋势、对市场的预期以及当前的风险偏好等信息。在样本选择上，选择资金100万元以下、投资年限5年以上的中小投资者，样本规模高达10万，覆盖全国不同地区，所以，这个指数较为有代表性。在参数方面，主要根据中小投资者持仓率的高低、是否追加资金、是否盈利这几个指标，来看投资者对市场是乐观还是悲观。“3I指数”每月发布一次，以100为中间值，100—120属于正常区间，120以上表示趋热，100以下则是趋冷。从实验数据看，从2007年至今，“3I指数”的涨跌波动与上证指数走势拟合度相当高。

3. 金融大数据应用面临的挑战及对策

大数据技术为金融行业带来了裂变式的创新活力，其应用潜力有目共睹，但在数据应用管理、业务场景融合、标准统一、顶层设计等方面存在的瓶颈也有待突破。

• 数据资产管理水平仍待提高。主要体现在数据质量不高、获取方式单一、数据系统分散等方面。

• 应用技术和业务探索仍需突破。主要体现在金融机构原有的数据系统架构相对复杂，涉及的系统平台和供应商较多，实现大数据应用的技术改造难度很大。同时，金融行业的大数据分析应用模型仍处于起步阶段，成熟案例和解决方案仍相对较少，需要投入大量的时间和成本进行调研和试错。系统误判率相对较高。

• 行业标准和安全规范仍待完善。金融大数据缺乏统一的存储管理标准和互通共享平台，对个人隐私的保护上还未形成可信的安全机制。

• 顶层设计和扶持政策还需强化。体现在金融机构间的数据壁垒较为明显，各自为战问题突出，缺乏有效的整合协同。同时，行业应用缺乏整体性规划，分散、临时、应激等特点突出，信息价值开发仍有较大潜力。

总的来看，大数据在金融行业的应用起步比互联网行业稍晚，其应用深度和广度还有很大的扩展空间。金融行业的大数据应用依然有很多的问题需要克服，同时需要国家出台促进金融大数据发展的产业规划和扶持政策，也需要行业分阶段推动金融数据开放、共享和统一平台建设，强化行业标准和安全规范。只有这样，大数据技术才能在金融行业中稳步应用发展，不断推动金融行业的发展提升。

以下是个人微信公众号， 用于学习与交流， 欢迎大家关注。

运维前沿公众号