刘世平大数据技术在金融行业中的应用与趋势

文/中国科学院大学金融科技研究中心主任，吉贝克信息技术（北京）有限公司董事长，福州大学讲席教授刘世平

算法的改进和计算能力的进步是技术发展的关键，而社会的进步和发展的需求是大数据技术发展和应用的主要动力。本文回顾了大数据技术发展历史上的关键点，梳理了大数据在金融行业的主要应用，并对大数据技术在金融领域的未来趋势做出展望。

随着全球数据生产呈现爆炸式的增长趋势，传统的数据处理技术已经无法应对新的挑战，信息处理技术的发展使数据价值能够被更好地挖掘和利用。大数据作为一种新兴技术潮流，已经在全球各领域迅速发展起来，其核心思想主要有两点，即更加广泛、更加深入的数字化，和全社会范围内数据的互联互通。“更加广泛、更加深入的数字化”，并不等同于传统意义上的纸质文档电子化，而是指企业在大数据时代以数据指导业务的习惯、策略与模式，是一种决策思维和过程。其最终结果是驱动企业提升创新能力和提升企业生产效率，增强了企业竞争能力。“全社会范围内数据的互联互通”是指企业现在面对的不仅仅是其内部数据互联互通的问题（如企业数据总线、数据集成等），而是数据在全社会范围内的互联互通问题。

大数据虽然是年被系统化提出来的系统性数据分析新概念，但其技术发展源泉可追溯到20世纪80年代中期数据仓库技术的诞生，那时MPP（MassivelyParallelProcessing大规模并行处理）架构的产生大幅提高了计算机的处理能力；接下来是90年代初提出的数据挖掘的概念，为数据分析提供了实践和理论上系统化的指导；紧接着在20世纪90年代晚期，基于数据仓库和数据挖掘技术的商业智能(BI，BusinessIntelligence)的兴起，开启强有力联机分析（OLAP，OnlineAnalyticalProcessing）与决策支持系统建设时代，让决策者了解企业什么时候(When)、在什么地方(Where)发生了或正在发生什么事（What），但受制于BI系统主要分析内部结构化数据，限制了对非结构化数据及其它分析方法的运用，因此限制了BI系统对企业未来的预测能力（WhyHow）。幸运的是，大数据发展到今天，已经具有强大的结构化数据和非结构化数据加工处理能力，可以用远低于传统技术的成本对企业当前及未来做全面系统的预测分析，这得益于与大数据相关联的关键核心技术的发展。云计算、移动互联网、移动设备、高效廉价的数据存储能力，算法的改进和计算能力的进步是技术发展的关键，社会的进步和发展的需求是大数据技术发展和应用的主要动力。

大数据是以数据容量大而全，数据类型多，存储、提取、分析和展现速度要求快，应用价值高等特征的数据集合和分析的总称。大数据的核心是将分散在不同地方的数据进行有效的收集和整合，把隐藏在数据中的有用信息提炼出来，结合各个行业的知识，用获取的信息服务于决策过程，提升决策效率和决策的正确性，提高企业创新能力和竞争优势，这才是大数据时代以数据为驱动的商业价值所在，这也是从20世纪80年以来一直不变的核心理念。

大数据发展的历史关键点

随着市场竞争的加剧，信息系统的用户已经不满足于仅仅用计算机去处理每天所发生的事务数据，而是需要能够支持决策的信息，去帮助管理决策。然而传统数据库的处理方式使其无法承担这一重任。数据仓库理念提出了数据整合和数据应用的理念，并引入了并行计算的概念。数据仓库的实施将数据从众多的数据源系统中转换成共同的格式，建立统一的数据模型，利用从各种数据源提供的数据，用户可以快速查询并通过对数据仓库中存储的大量数据的获取所需要的信息，从而使用户在关键方案上迅速做出知情决策，使企业产生更多的利润和节约更多的资源。数据仓库获取信息的方法主要是查询，统计分析和报表，以及多维分析。其中，多维分析是和以前应用方面最大的不同，也是数据仓库的核心价值的体现。它能够进行动态分析，利用下钻和上卷的功能可以快速而动态地对数据进行分析，从而让传统的固定报表由“死”变“活”，使得动态报表成为可能。

随着信息社会中数据和数据库的爆炸式增长，数据仓库无法发现这些数据中存在的深层次的关系和规则，更不能根据现有的数据预测未来的发展趋势，因此数据挖掘（Datamining）提出了挖掘隐含在数据中信息的理念，它是在查询，统计报表和多维分析之上更加深层次获取信息的有效方式，尤其是对带有预估性的分析，如未来哪些客户会流失，哪些贷款、行用卡客户会违约等此类带有预估性的信息。这类问题在已经整理的信息中是不存在的，因为是对未来可能发生事件的一种预估。可以说，数据挖掘是一种在决策支持过程中分析各组织原有的数据，做出归纳的推理，从中挖掘出潜在的模式，为管理人员决策提供支持。

数据挖掘的主要算法及其应用可以参考表1：

商业智能理念（BI）主要是数据仓库与数据挖掘技术的整合和应用的延伸，通常被理解为对商业信息的搜集、管理和分析过程，目的是使企业的各级决策者获得更加广泛的知识和更加深刻的洞察力，做出对企业更有利的决策。其目的是将人工智能和技术要素进行高效的智能整合，让企业的任何层次上都能够满足信息检索和商业决策的功能需要，帮助企业获取更多、更优质的客户，提升和改进客户关系，发现新市场以及开发新产品和服务。它赋予的不仅是使决策者更敏感，决策更迅速、更果断，而且还支持和扩展员工的记忆力、洞察力、活动范围及决策和行动的权力。

大数据的理念是一个逐渐发展的过程，从企业的信息化的角度来看，最初人们首先使用的是ERP系统来记录企业购买明细、记录及付款信息等。随着技术的发展及企业对信息重要性的逐渐重视，能够存储营销信息、客户名单、客户细分情况等的CRM系统应运而生。之后，随着网络技术，移动设备，存储技术，计算能力和算法的不断进步，自媒体的发展，以及企事业对于决策信息的巨大需求，大数据的概念应运而生。这一概念在年终于被系统提了出来，称作是创新、竞争力和提升生产效率的未来前沿技术。

大数据在金融行业的主要应用

大数据的应用领域非常广泛，它几乎已经涵盖各个行业，包括但不限于金融、政府、零售、交通、制造、电信、医疗卫生以及政府的很多部门的各个领域。然而，金融行业一直是大数据应用的前沿和领航者，这与金融行业的激烈竞争和“有钱”是分不开的。

1.客户的管理

通过大数据分析平台，在银行已经有的传统结构化数据的基础之上，再接入大量的外部数据，如政府部门已经收集的数据和互联网产生的数据，就可以构建客户度全方位视图，即客户画像。

政府数据包括政府各个部门在日常工作中收集的各项数据，除了人民银行征信管理系统收集的信贷关系数据之外，政府有大量对于金融机构有用的数据目前还没有得到充分的利用，如税务数据，海关数据，工商数据，司法数据，房管所、车管所的数据，教育数据，社保数据等不同部门的数据。当然，任何数据的使用都要考虑数据的安全问题，确保数据不被泄露并保证数据的安全。同时一定要充分考虑企业和个人的隐私保护问题。数据的使用必须在合理、适度的原则下使用，必须在合规和合法的前提下使用。除了政府的数据，互联网数据也非常重要，如客户通过社交网络、电子商务、终端媒介等产生的结构和非结构化数据，它们对于了解客户和判断客户的金融行为有着重要的意义。

金融机构内部也拥有大量具有价值的数据，如业务订单数据、用户属性数据、用户收入数据、客户查询数据、理财产品交易数据、用户行为等数据，这些数据可以通过用户账号的打通，建立用户标签体系。在此基础之上，结合风险偏好数据、客户职业、爱好、消费方式等偏好数据，利用机器学习算法来对客户进行分类，并利用已有数据标签和外部数据标签对用户进行画像。进而针对不同类型的客户提供不同的产品和服务策略，这样可以提高客户渗透力、客户转化率和产品转化率。也就是说，通过大数据应用，金融机构可以逐渐实现完全个性化客户服务的目标。

2.产品的管理

通过大数据分析平台，金融机构能够获取客户的反馈信息，及时了解、获取和把握客户的需求，通过对数据进行深入分析，可以对产品进行更加合理的设置。通过大数据，金融机构可以快速高效地分析产品的功能特征和喜欢的状态，产品的价值，客户的喜好原因，产品的生命周期，产品的利润，产品的客户群等。如果处理得好，可以做到把适当的产品送到需要该产品的客户手上，这是客户关系管理中一个重要的环节。

3.营销的管理

借助大数据分析平台，通过对形式多样的用户数据（基本信息数据、财富信息数据、教育数据、消费数据、浏览数据、购买路径、客户的微博、客户的

转载请注明：http://www.jinyawz.com/pxzflzy/8169.html