面向数字经济时代 夯实数据基础设施 打造金融科技新标杆
发布时间：2020-06-29 14:53:11 作者： 来源：中国银行保险报网
在2019全球数据基础设施论坛上，招商银行信息技术部总经理周天虹发表了题为《面向数字经济时代，夯实数据基础设施，打造金融科技新标杆》的主题演讲，清晰地阐述了招商银行通过构建金融数据基础设施，实现“科技金融”目标的宏伟蓝图。
当前金融行业已进入金融科技时代，招商银行在2017年制订了全行的金融科技战略，明确提出要把招商银行打造成一家贴近市场、紧紧围绕客户需求，快速交付产品和服务的这样一家敏捷型的银行。招商银行的金融科技战略明确了两大业务目标：一是创造最佳客户体验；二是实现效益、成本、风险更高层次的平衡。
招商银行被普遍认为是中国最佳零售银行。当前招商银行在发展零售业务方面，有两项中心工作：一是围绕AUM（管理客户总资产），招行希望大家把财富都交给招行打理；二是围绕MAU，招行有两个零售主力APP，正在全力以赴的提升这两大APP的月活流量。截止到今年6月30号，两大APP合并月活达到8500万。招商银行已经拥有比较庞大的线上流量，也意味着招商银行和客户有更紧密的联系，更低的流失率，更多的销售机会，最重要的是招商银行可以持续不断地获取海量数据。
招商银行拥抱新技术，科技与业务融合创新
在打造金融科技银行的方向上，招商银行的田惠宇行长提出“三化”路径：网络化、数据化、智能化。网络化方向，银行是非常复杂的经济体，涉及到的工作内容非常复杂，面向内部，各项工作都要由IT系统承载。面向外部，招商银行要全面拥抱两张网，一是面向C端的消费互联网；二是面向B端的产业互联网。
数据化是指基于海量数据实现对客户的洞察，不断提升招商银行服务客户的能力，防范风险的能力和获取销售机会的能力。银行内部基于海量的数据，也要不断完善各个方面的业务流程，持续提升运营效率。
智能化首先是数据化更高级的阶段，用更复杂的机器学习算法深入挖掘数据价值。对于招商银行来说，更加强调智能化的核心任务是要用软件和算法来实现对人的模拟。
大数据+：数字化经营新业态
一家金融科技银行必然是一家数据驱动的银行。要把数据工作做好，首先要打好基础，基础是两方面工作：一是要建设先进的大数据平台、二是构建由海量高质量数据组成的数据湖。从我们的实践来看，要把这两个方向做好都非常不容易。在大数据平台建设方面，最大的困难是如何把层出不穷的各种新的大数据技术和大数据软件很好地整合在一起，这项工作非常复杂。数据湖的主要问题是数据质量，数据质量管理不好，数据湖就变成垃圾湖。
在大数据的基础上，银行广泛地应用数据提高风控、营销、获客、服务、运营方面的工作。特别是，对于一家银行来说，银行是基于信誉来生存的，风险管理应该至关重要，在数据应用方面，招商银行高度重视用数据来控制风险。在这个方向上，为了防范非常复杂的网络欺诈风险，我们建设了一个叫“天秤”的线上反欺诈系统。今天招行的天秤系统，基于海量大数据运算，非常复杂的高维模型，一笔业务的计算时间平均只需要30毫秒，真正做到了实时反欺诈。这项工作里有非常复杂的技术问题要解决。在这件工作上，华为公司给了招商银行很多帮助。
大数据基础架构的演进，我们认为有六个重要的方向：
混合部署架构，今天银行处理的数据大部分还是结构化数据，对于非结构化数据，也是把它先转换成结构化数据再加以利用。在银行的大数据基础设施里，MPP数据仓库依然居于非常重要和核心的位置。当然，我们也需要Hadoop、Spark。问题是怎么构建一个更加合理和科学的架构，把它们各自的优势都发挥出来。
数据实时化，大数据只有更快的被利用，才能更好的创造价值。在数据实时化上要关注的技术包括流处理技术、大数据实时同步技术、内存处理技术、GPU加速技术等等。
云架构，对于大数据比较重要的首先是计算存储分离，它可以带来非常多的好处。大数据资源池也要实现动态扩容和缩容。
数据自助化，一站式的自助分析环境，支持分析师自助进行数据可视化和自助配置。
大数据智能化，AI技术和BI技术的统一与融合。
数据虚拟化，我们希望有一个统一的逻辑上整合良好的数据服务层，让数据分析师只要用标准的SQL就可以穿透访问分布在不同物理大数据平台的不同结构数据。不管这个物理大数据平台是Hadoop、GaussDB等等。
AI+：智能化应用，因您而变
在智能化方面，招商银行已经构建了四个AI基础平台，在6个领域超过80个场景实现了AI技术的落地应用。在AI方向上，招商银行的核心是要用软件和算法实现对人的模拟。招行每一天客户和银行发生的复杂交互超过30万次。以前只能用人处理，成本非常高。今天借助于我们研发的“小招智能客服”，90%的复杂交互完全由机器人代替。我们也建设了面向内部服务的“小招知道”智能助理，主要是协助知识密集型岗位员工开展工作，比如“小招知道”辅助外汇会计可以把工作效率提升超过70%。
招商银行与华为联创夯实数据基础设施
打造一个先进的科技银行，首先需要建设先进的金融科技基础设施。基础设施的先进与否，这六个方向非常重要也非常关键：高可用、高性能、高扩展、开放互联、易运维、高安全。当前整体的软件架构在向云架构方向转型。在云的方向上，是比较擅长做好前四件事的，但是后两件事就不容易，如全球领先的云技术提供商今年在中国区也发生过多次事故。所以从基础设施建设来说，要高度关注这六方面，高度研究、持续改善，不断迭代。
为了加强招商银行自己基础设施建设的能力，也为了培养一支有能力的基础设施队伍，招商银行和华为公司成立了两个联合创新实验室。在2017年11月份两家共同成立了分布式数据库联合创新实验室。这个联合创新实验室主要研发对象是华为的分布式OLTP关系数据库GaussDB 100。2017年它还是一个实验室的产品，但今天这个产品已经日趋成熟了。2019年成立了鲲鹏计算联合实验室，启动了5项研究课题，包括构建基于鲲鹏计算平台的全栈容器平台，基于鲲鹏计算平台研究分布式存储架构，构建一个全面的软件服务层，以及在大数据资源池里研究x86服务器和鲲鹏服务器怎么混合部署等。这些工作完成后，有利于鲲鹏服务器顺利融入到当前的计算环境里。
GaussDB 100是一个具有良好分布式特征的OLTP关系数据库，招行通过联合创新实验室也为这个产品作出了重要的贡献。截止目前，GaussDB 100已经在招商银行生产环境15个业务场景上线投产。从性能上看，使用两路48核的x86服务器，GaussDB 100的性能已经领先对标数据库30%。从可用性方面看，在单节点发生故障的情况下，在确保数据不丢失的前提下实现故障节点的切换和恢复，GaussDB 100的用时在10秒钟左右，但对标数据库需要30秒。对标数据库是业界公认最强的OLTP数据库。传统上基于开源数据库搭建分布式数据库，应用层要写很多代码，GaussDB 100因为有良好的分布式特性，可以把这块应用层分库分表工作减少30%的工作量。GaussDB 100在鲲鹏服务器上也做了非常好的性能调优，和同代x86比，GaussDB 100在鲲鹏服务器上的性能领先超过20%。
未来技术架构演进展望
我们认为有四个非常重要的确定性趋势：
云架构：整体软件架构会更快速的向云架构转型，但在同时要看集中式架构有哪些好处和优点，来思考云架构怎么发展、怎么应用。比如今天招商银行把基于IBM小型机的系统迁移到云架构之后，发现整体成本有显著的上升。这和很多人的观念是相反的。在往云架构转型的方向上，要特别重视打好基础，做好基础性的工作。比如需要建设一个合格的资源配置管理系统(CMDB)，没有一个合格的CMDB，就无法知道这个集群里哪些软硬件系统在工作。另外，在一个分布式环境下，指令的执行流程非常复杂，一定要建立分布式链路追踪系统，在出现故障时才能用很快的时间定位到底是哪个环节出问题。否则整个架构的业务连续性没有保证。
微服务：解决传统集中式架构非常大的长期得不到解决的问题。在集中式架构下，一个复杂的软件发展若干年后，总是没有办法摆脱高内聚的厄运，到某一天就改不动了。在银行业这个情况很常见，我们叫换代，搞新一代。以前大家对于搞新一代，感觉是一件很光荣的事。今天看是架构落后的结果。微服务能够让复杂的软件天然解耦，每一个服务可以相对独立的迭代和进化，某一程度上让软件体具备一点生物体特征。比如人，不会某一天突然死亡然后在医院被重构出来。每一天我们的器官都在新陈代谢、迭代。微服务可以帮助复杂的软件具备一点生物体持续进化的特征，是非常重要的机制，也是软件漫长发展过程里非常重要的进步。
平台化：就是构建平台把底层复杂的软硬件细节屏蔽掉，只提供上层所需要的功能和服务。我们在实际工作中发现应用软件也有平台化的需要。比如一个客户关系管理系统，对于招行来说，有像深圳分行这样的大行，有效客户近千万，也有几十万客户零售客户规模很小的行，两者对于客户关系管理的需要是完全不一样的。当招商银行把应用平台化以后，就能让不同分行的研发队伍在这个应用平台上定制适合本地的个性化特征。
开放化：在金融科技潮流下，银行业需要和其他行业携手共同服务客户，才能够把客户服务好，才能创造最佳客户体验。所以银行的商业模式大的趋势是走向开放化(Open Banking)。在商业模式开放化的同时，技术体系也要开放化。技术体系开放化的技术机制，主要包括微服务、API、小程序，我们目前正在大力推动整体技术体系开放化，不断加强开放力度。
在2019全球数据基础设施论坛上，招商银行信息技术部总经理周天虹发表了题为《面向数字经济时代，夯实数据基础设施，打造金融科技新标杆》的主题演讲，清晰地阐述了招商银行通过构建金融数据基础设施，实现“科技金融”目标的宏伟蓝图。
当前金融行业已进入金融科技时代，招商银行在2017年制订了全行的金融科技战略，明确提出要把招商银行打造成一家贴近市场、紧紧围绕客户需求，快速交付产品和服务的这样一家敏捷型的银行。招商银行的金融科技战略明确了两大业务目标：一是创造最佳客户体验；二是实现效益、成本、风险更高层次的平衡。
招商银行被普遍认为是中国最佳零售银行。当前招商银行在发展零售业务方面，有两项中心工作：一是围绕AUM（管理客户总资产），招行希望大家把财富都交给招行打理；二是围绕MAU，招行有两个零售主力APP，正在全力以赴的提升这两大APP的月活流量。截止到今年6月30号，两大APP合并月活达到8500万。招商银行已经拥有比较庞大的线上流量，也意味着招商银行和客户有更紧密的联系，更低的流失率，更多的销售机会，最重要的是招商银行可以持续不断地获取海量数据。
招商银行拥抱新技术，科技与业务融合创新
在打造金融科技银行的方向上，招商银行的田惠宇行长提出“三化”路径：网络化、数据化、智能化。网络化方向，银行是非常复杂的经济体，涉及到的工作内容非常复杂，面向内部，各项工作都要由IT系统承载。面向外部，招商银行要全面拥抱两张网，一是面向C端的消费互联网；二是面向B端的产业互联网。
数据化是指基于海量数据实现对客户的洞察，不断提升招商银行服务客户的能力，防范风险的能力和获取销售机会的能力。银行内部基于海量的数据，也要不断完善各个方面的业务流程，持续提升运营效率。
智能化首先是数据化更高级的阶段，用更复杂的机器学习算法深入挖掘数据价值。对于招商银行来说，更加强调智能化的核心任务是要用软件和算法来实现对人的模拟。
大数据+：数字化经营新业态
一家金融科技银行必然是一家数据驱动的银行。要把数据工作做好，首先要打好基础，基础是两方面工作：一是要建设先进的大数据平台、二是构建由海量高质量数据组成的数据湖。从我们的实践来看，要把这两个方向做好都非常不容易。在大数据平台建设方面，最大的困难是如何把层出不穷的各种新的大数据技术和大数据软件很好地整合在一起，这项工作非常复杂。数据湖的主要问题是数据质量，数据质量管理不好，数据湖就变成垃圾湖。
在大数据的基础上，银行广泛地应用数据提高风控、营销、获客、服务、运营方面的工作。特别是，对于一家银行来说，银行是基于信誉来生存的，风险管理应该至关重要，在数据应用方面，招商银行高度重视用数据来控制风险。在这个方向上，为了防范非常复杂的网络欺诈风险，我们建设了一个叫“天秤”的线上反欺诈系统。今天招行的天秤系统，基于海量大数据运算，非常复杂的高维模型，一笔业务的计算时间平均只需要30毫秒，真正做到了实时反欺诈。这项工作里有非常复杂的技术问题要解决。在这件工作上，华为公司给了招商银行很多帮助。
大数据基础架构的演进，我们认为有六个重要的方向：
混合部署架构，今天银行处理的数据大部分还是结构化数据，对于非结构化数据，也是把它先转换成结构化数据再加以利用。在银行的大数据基础设施里，MPP数据仓库依然居于非常重要和核心的位置。当然，我们也需要Hadoop、Spark。问题是怎么构建一个更加合理和科学的架构，把它们各自的优势都发挥出来。
数据实时化，大数据只有更快的被利用，才能更好的创造价值。在数据实时化上要关注的技术包括流处理技术、大数据实时同步技术、内存处理技术、GPU加速技术等等。
云架构，对于大数据比较重要的首先是计算存储分离，它可以带来非常多的好处。大数据资源池也要实现动态扩容和缩容。
数据自助化，一站式的自助分析环境，支持分析师自助进行数据可视化和自助配置。
大数据智能化，AI技术和BI技术的统一与融合。
数据虚拟化，我们希望有一个统一的逻辑上整合良好的数据服务层，让数据分析师只要用标准的SQL就可以穿透访问分布在不同物理大数据平台的不同结构数据。不管这个物理大数据平台是Hadoop、GaussDB等等。
AI+：智能化应用，因您而变
在智能化方面，招商银行已经构建了四个AI基础平台，在6个领域超过80个场景实现了AI技术的落地应用。在AI方向上，招商银行的核心是要用软件和算法实现对人的模拟。招行每一天客户和银行发生的复杂交互超过30万次。以前只能用人处理，成本非常高。今天借助于我们研发的“小招智能客服”，90%的复杂交互完全由机器人代替。我们也建设了面向内部服务的“小招知道”智能助理，主要是协助知识密集型岗位员工开展工作，比如“小招知道”辅助外汇会计可以把工作效率提升超过70%。
招商银行与华为联创夯实数据基础设施
打造一个先进的科技银行，首先需要建设先进的金融科技基础设施。基础设施的先进与否，这六个方向非常重要也非常关键：高可用、高性能、高扩展、开放互联、易运维、高安全。当前整体的软件架构在向云架构方向转型。在云的方向上，是比较擅长做好前四件事的，但是后两件事就不容易，如全球领先的云技术提供商今年在中国区也发生过多次事故。所以从基础设施建设来说，要高度关注这六方面，高度研究、持续改善，不断迭代。
为了加强招商银行自己基础设施建设的能力，也为了培养一支有能力的基础设施队伍，招商银行和华为公司成立了两个联合创新实验室。在2017年11月份两家共同成立了分布式数据库联合创新实验室。这个联合创新实验室主要研发对象是华为的分布式OLTP关系数据库GaussDB 100。2017年它还是一个实验室的产品，但今天这个产品已经日趋成熟了。2019年成立了鲲鹏计算联合实验室，启动了5项研究课题，包括构建基于鲲鹏计算平台的全栈容器平台，基于鲲鹏计算平台研究分布式存储架构，构建一个全面的软件服务层，以及在大数据资源池里研究x86服务器和鲲鹏服务器怎么混合部署等。这些工作完成后，有利于鲲鹏服务器顺利融入到当前的计算环境里。
GaussDB 100是一个具有良好分布式特征的OLTP关系数据库，招行通过联合创新实验室也为这个产品作出了重要的贡献。截止目前，GaussDB 100已经在招商银行生产环境15个业务场景上线投产。从性能上看，使用两路48核的x86服务器，GaussDB 100的性能已经领先对标数据库30%。从可用性方面看，在单节点发生故障的情况下，在确保数据不丢失的前提下实现故障节点的切换和恢复，GaussDB 100的用时在10秒钟左右，但对标数据库需要30秒。对标数据库是业界公认最强的OLTP数据库。传统上基于开源数据库搭建分布式数据库，应用层要写很多代码，GaussDB 100因为有良好的分布式特性，可以把这块应用层分库分表工作减少30%的工作量。GaussDB 100在鲲鹏服务器上也做了非常好的性能调优，和同代x86比，GaussDB 100在鲲鹏服务器上的性能领先超过20%。
未来技术架构演进展望
我们认为有四个非常重要的确定性趋势：
云架构：整体软件架构会更快速的向云架构转型，但在同时要看集中式架构有哪些好处和优点，来思考云架构怎么发展、怎么应用。比如今天招商银行把基于IBM小型机的系统迁移到云架构之后，发现整体成本有显著的上升。这和很多人的观念是相反的。在往云架构转型的方向上，要特别重视打好基础，做好基础性的工作。比如需要建设一个合格的资源配置管理系统(CMDB)，没有一个合格的CMDB，就无法知道这个集群里哪些软硬件系统在工作。另外，在一个分布式环境下，指令的执行流程非常复杂，一定要建立分布式链路追踪系统，在出现故障时才能用很快的时间定位到底是哪个环节出问题。否则整个架构的业务连续性没有保证。
微服务：解决传统集中式架构非常大的长期得不到解决的问题。在集中式架构下，一个复杂的软件发展若干年后，总是没有办法摆脱高内聚的厄运，到某一天就改不动了。在银行业这个情况很常见，我们叫换代，搞新一代。以前大家对于搞新一代，感觉是一件很光荣的事。今天看是架构落后的结果。微服务能够让复杂的软件天然解耦，每一个服务可以相对独立的迭代和进化，某一程度上让软件体具备一点生物体特征。比如人，不会某一天突然死亡然后在医院被重构出来。每一天我们的器官都在新陈代谢、迭代。微服务可以帮助复杂的软件具备一点生物体持续进化的特征，是非常重要的机制，也是软件漫长发展过程里非常重要的进步。
平台化：就是构建平台把底层复杂的软硬件细节屏蔽掉，只提供上层所需要的功能和服务。我们在实际工作中发现应用软件也有平台化的需要。比如一个客户关系管理系统，对于招行来说，有像深圳分行这样的大行，有效客户近千万，也有几十万客户零售客户规模很小的行，两者对于客户关系管理的需要是完全不一样的。当招商银行把应用平台化以后，就能让不同分行的研发队伍在这个应用平台上定制适合本地的个性化特征。
开放化：在金融科技潮流下，银行业需要和其他行业携手共同服务客户，才能够把客户服务好，才能创造最佳客户体验。所以银行的商业模式大的趋势是走向开放化(Open Banking)。在商业模式开放化的同时，技术体系也要开放化。技术体系开放化的技术机制，主要包括微服务、API、小程序，我们目前正在大力推动整体技术体系开放化，不断加强开放力度。
