2.3 开放平台系统基础架构总体设计
大型银行开放平台基础架构对可用性、扩展性、高性能、安全性、易维护性的高要求，使得基础架构规划和设计须具有较高的灵活性，在提高效率的同时也要节约成本。因此，在开放平台基础架构的设计中，不仅要把握设计原则，形成相应的架构设计规范，还要在实际的运维工作中不断完善。
2.3.1 总体目标
未来几年，银行开放平台基础架构建设将以新一代核心银行系统的建设为契机，以支持经营管理战略转型和业务创新为目标，以“夯实基础、完善标准、提升管理、勇于创新”为基本原则，以“立足一年、展望两年，工程驱动、以点带面”为指导思想，以系统安全、稳定、高效运行为中心，实现基础设施建设规范化、标准化、流程化、自动化，加速资源整合，完善系统架构，健全标准规范、优化服务交付，不断提高精细化管理水平，保障基础架构可持续发展。
（1）加快基础架构整合与优化，增强基础架构保障支撑能力。充分利用系统整合和虚拟化技术，淘汰老旧设备，完成基础软件版本升级，不断优化开放平台多层面资源池建设，建立健全基础架构设计指引和技术标准，制订和完善各类系统软硬件平台的配置规范，进一步提升基础架构的弹性、高可用性和可管理能力，降低基础设施资源的复杂度和管理成本。
（2）加强基础设施监控与管理，提升基础设施服务能力。通过智能化的集中监控平台和安全防控体系的建设，变被动应对向主动防控转变，有效降低信息系统的运行风险；通过资源配置管理平台的建设，全面提高对基础设施的管理能力，加强业务目标与基础设施建设方向的一致性，提升基础设施资源配置的精细化管理水平；通过自动化运维管理平台的建设，实现基础设施资源的按需配置和动态调整，提高系统资源交付响应效率。
（3）推动新技术研究与应用，提高基础设施可持续发展水平。以业务发展为导向，按专业技术条线，建立新技术跟踪机制，重点关注桌面、服务器和存储虚拟化技术、负载均衡、高性能数据库服务器技术、海量数据处理技术等，加强新兴技术在核心系统中的应用，选择适当的场景进行情景分析和必要的压力测试，充分验证与掌握风险水平，保证开放平台基础架构设计的前瞻性和持续发展。
2.3.2 设计思路
（1）统一开放平台基础架构建设模型。大型商业银行开放平台涉及总分行多个层面和多个专业领域，因此，必须统一规范，统一全行的建设思路，建立统一的全行开放平台的建设模型。
经过多年的银行IT工程建设经验，逐步摸索出了一套比较成熟的大型商业银行开放平台建设模型，如图2.1所示。该模型分三个部分：一是银行IT系统基础设施实体，一般包括负载均衡设备、服务器、小型机、存储等，这些实体间相互关联，配套衔接，有机构成IT基础设施建设的主体；二是技术规范与管理流程，按照专业分工，在项目建设之初，通过原型工程建设或者试点，制订全行统一的技术规范和管理流程，用于指导IT基础设施建设和资源配置；三是自动化集成管理平台，将技术规范与管理流程融入自动化集成管理平台中，自动化集成管理基于面向服务结构（SOA），实现对各个实例的IT基础设施的资产管理、容量管理、合规检查、集中监控、资源管理、运维管理等，既满足本级机构对IT基础设施的管理，也为全行集中管理提供接口。
图2.1 开放平台建设模型
通过对该模型在各级组织层面上的实施，构建了大型商业银行开放平台基础设施建设的总体框架，如图2.2所示；通过基于SOA架构的自动化集成管理平台实现全行开放平台资源的统一管理；通过虚拟化等技术的广泛应用，构建资源共享、动态调整、按需配置、安全合规的银行IT基础资源池。
图2.2 开放平台基础设施建设的总体框架
（2）逐步过渡到可用性更高、扩展性能更优的集群架构。传统的银行系统架构采用主备或者互备模式来保障系统的高可用，这种架构不利于系统的横向扩展，在可用性保障方面也存在一些问题。随着负载均衡技术的日益成熟，可将交易调度、压力均衡、加解密、缓存等公共模块独立出来，采用专业的产品来承担，简化后端应用结构，提高系统的可用性，同时也能够根据交易量、系统资源使用率来动态配置资源，逐步构建更加灵活、更加弹性、更加健壮的银行开放平台系统资源池。
从目前的技术来看，应用服务器的负载均衡技术已经较为成熟，但数据库方面，还需要结合集群数据库和虚拟化技术加以研究试用。根据现有技术发展趋势，应用服务器将逐步统一到X86平台上。对系统可靠性、可用性要求较高的数据库，如OLTP数据库，主要以小型机为主。随着集群数据库的发展和成熟，考虑对部分数据库采用集群模式，通过集群方式保障系统的可用性，硬件平台可尝试采用X86结构，尤其是OLAP数据库。未来技术成熟后，可逐步推广到更大范围。
（3）逐步提高精细化、自动化、智能化运维管理水平。经过多年的建设，银行开放平台形成了比较全面、系统的技术规范和制度流程，通过这些规范和制度，可以较好地指导银行的资源配置、系统部署和运维管理。但根据全球IT发展趋势和国外银行应用情况，仍有很大空间可进一步完善相关技术规范，完善配套的运维管理制度流程。
开放平台覆盖面广、数量众多，管理难度大，仅依靠技术规范和制度流程难以很好地将规范贯彻落实到运维的各个方面，因此，尽快提高自动化、智能化管理水平迫在眉睫。同时通过加大力度升级现有的集中监控平台，建立银行开放平台资源管理平台和自动化运维管理平台，实现银行开放平台的资产管理、容量管理、合规检查、集中监控、资源管理、运维支持的一体化。
2.3.3 物理架构
根据上述思路，设计大型银行开放平台系统的物理架构主要分为四个层面：应用交互平台、PC服务器、小型机和存储，如图2.3所示。根据四个层面，按照主要用途、使用范围构建IT基础资源池，如金融服务类、经营管理类、开发测试类资源池等。通过资源池的建设，进一步合理规划资源配置，提高资源利用率和运维管理水平，较好地解决市场的高速变化、业务需求的难以预估和资源配置较慢、投入较高三者之间的关系，这也是银行业践行绿色节能的社会责任的重要手段。
图2.3 开放平台系统的逻辑架构
（1）应用交互平台资源池。通过使用成熟的负载均衡产品实现统一的应用交互平台。在应用交互平台环境中，通过统一入口，降低复杂性；通过共享模式，提升资源利用率；通过动态调配，提升业务的灵活性，为应用实现负载均衡提供架构支撑。同时，将各个应用产品所需的压缩、SSL加解密、缓存等公共功能独立出来，通过应用交互平台统一实现，在应用交互平台下的IT架构中，统一考虑了应用高可用、应用优化、应用安全及应用资源的动态调配。
（2）PC服务器资源池。PC服务器资源池用于应用部署，主要包括以下两个方面。
一是利用虚拟化技术，将原来分散在多个PC服务器的单机逻辑集中到一个资源池中。特别是对于某些难以通过应用整合技术实现集中的应用产品，或者处理性能要求不高的应用，通过虚拟化技术以及基于虚拟化的HA、负载均衡等技术，实现减少PC服务器数量、提高资源利用率、简化运维管理、实现动态调整资源和绿色节能的目标。
二是利用应用整合技术，通过建立不同的应用服务器、文件系统、数据库，将原先部署在多台机器上的应用部署到一台高性能PC服务器上，利用系统层面的HA或者负载均衡技术，保障系统的高可用，从而减少PC服务器数量，提高资源利用率。
随着数据库集群技术的成熟，数据库也逐步考虑采用PC服务器平台。
（3）小型机资源池。小型机资源池主要用于数据库部署，在银行系统的使用上分为以下三类。
一是基于全分区的资源池。一个小型机分成一个大分区，适用于批量处理压力较大、可错峰处理、稳定性较高的系统，其典型代表有数据分析型系统。
二是基于逻辑分区及硬分区的资源池。按照应用相关性分成多个逻辑分区，每个分区运行多个同类应用产品，适用于可用性要求较高、交易量比较稳定的金融服务类系统。典型代表有分行前置业务系统、电子银行系统、投资业务系统等。
三是基于虚拟分区的资源池。采用虚拟化、微分区、软分区等技术，构建虚拟分区，实现资源的动态、在线调整。适用于可用性要求较低、峰值不固定等系统。典型代表有开发、测试、灾备系统，以及一些可用性、可靠性要求不高的内部管理信息系统。
（4）存储系统资源池。利用SAN整合和存储虚拟化技术，实现存储资源共享访问、按需配置和多级存储（在线、近线、离线），构建存储资源池。多级存储包括以下几类。
一是在线存储，主要用于解决数据的随机访问问题。高端SAN存储用于可用性和性能要求较高的重要应用系统，其余使用中端存储。在线存储一般采用速度较快的磁盘构建（如光纤、SAS）。
二是近线存储，主要用于解决访问频度不高的数据的存储需求。作为在线存储的有益补充，将访问频度很高的数据保存在在线存储上，而档案、历史等数据放在近线存储上，近线存储一般采用容量大、速度较低的磁盘构建（如SATA）。
三是离线存储，主要用于解决数据的备份和恢复问题。为防止在线或者近线存储由于系统、设备损毁或者误操作等问题导致数据丢失，通过离线存储对重要数据实现一至多份拷贝，以保障数据的安全。离线存储由于数据有效性校验比较困难，对于历史、档案类数据采用近线存储为主。
2.3.4 部署架构
大型银行开放系统的基础架构从逻辑上可划分为系统接入层、应用服务器层、数据库服务器层及存储四个层次，总体结构如图2.4所示。
图2.4 开放平台基础架构
（1）系统接入层。系统接入层负责前端访问需求的统一接入，对后端应用服务器的交易分发和负载均衡，一般采用硬件负载均衡设备实现高可用模式下的用户访问接入，并可根据需求和业务量进行横向扩展。其中采用硬件负载均衡设备构建的接入层高可用模式主要有两种。
一是主备standby模式。当应用的并发访问压力在一台负载均衡设备的承载能力范围内时，对于系统接入层可采用主备standby模式，如图2.5所示。即利用双机容错技术将两台负载均衡设备组成“一主一备”的集群以保障系统接入层的高可用性，单台设备发生故障，可以实现毫秒级的主备切换，对用户体验几乎透明。
图2.5 主备Standby模式接入
二是多级负载均衡模式。当应用的并发访问压力超过一台负载均衡设备的承载能力时，就需要进行横向扩展，如图2.6所示。以电子银行系统为例，利用多台设备搭建一个多级负载均衡集群，第一级由处于主备模式的两台链路负载均衡设备构成，实现对下一级应用负载均衡集群进行链路层的负载分发；第二级根据业务压力选用多台应用负载均衡，对后端的应用服务器集群进行负载分发，集群中每个节点的地位相同，共同承担用户访问请求，当一个或多个节点失效时，不会影响系统接入层的可用性。
图2.6 多级负载均衡模式接入
（2）应用服务器层。应用服务器层负责应用程序的部署和运行，目前银行应用程序一般基于主流的中间件平台开发和运行，如IBM WAS、IBM Txseries（CICS）和微软的.NET中间件，产品支持集群功能，集群中各节点采用对等机制，运行状态相对独立，与系统接入层相结合构成一个高可用的负载均衡集群，任何一个应用服务器出现问题，均能够通过前端负载均衡设备和软件及时判断和隔离。
（3）数据库层。数据库层负责提供数据管理服务，数据管理一般采用成熟的厂商产品，如用于联机事务处理的SybaseASE数据库产品和适用于联机分析处理的SybaseIQ数据库产品。其中SybaseASE数据库利用操作系统级的HA技术构建一个Active Standby模式的高可用集群；SybaseIQ数据库利用自身提供的Multiplex技术，构建具有一定容错能力的负载均衡集群，各个节点相互协同，同时对外提供服务。
（4）存储层。存储层的高可用模式分为三个层面：一是利用存储设备自身提供的磁盘冗余机制保障存储设备的高可用性；二是利用操作系统逻辑卷管理（Logical Volume Manager，LVM）工具实现对两台存储设备的同步读写；三是利用系统关联机对上述两台存储设备分别进行存储级镜像，将数据备份到第三台和第四台存储设备上，以保障存储层面的高可用及数据安全。
各层之间的数据传输亦采用冗余链路设计。服务器上配置双以太网卡及双HBA卡，采用Ethernet Channel、Multi Path I/O技术，并经不同网络路由器或SAN交换机接入以太网或存储网络，保证在单个网卡、路由器或交换机出现故障时，不影响网络连通及数据传输，大幅提高了链路传输层的可用性。
在实际大型商业银行的应用中，通常分别从总行、一级分行及二级分行层面来部署，下面将以具体的某国内大型商业银行系统为例进行部署。
①总行层面。总行在IT系统部署方面如图2.7所示，主要以北京、上海两地为主。其中，上海数据中心以直接面向客户的金融服务类系统，北京以面向内部经营管理类应用为主，同时包括总分行的灾备系统，软件研发所需的开发、测试和新产品、新技术应用的试验基地等环境。
图2.7 总行层面部署架构
②一级分行。全国数据集中以后，分行主要以核心前置业务为代表的金融服务、经营管理、历史数据查询和开发测试类系统为主。总体部署结构如图2.8所示。
图2.8 一级分行部署架构
随着新一代核心银行系统的推广以及国际业务系统的全国集中，上述部署结构将略有调整。从目前分析来看，AIPS、Tulip将仍然保留较长时间，中间层将逐步替换，SNA/IP技术将逐步转换为纯IP结构，BIBS应用将逐步上收到总行，但同时也陆续有多个新产品在分行投产。在资源配置上，通过老旧设备更换和采购策略调整，按照运行部门逐步统一设备型号和品牌数量，简化基础架构，使得系统管理人员能够术业有专攻，能对某类产品、某类技术掌握和研究得更加熟练、深入。
③二级分行。随着银行重要业务系统陆续上收到一级分行，二级分行系统上主要部署本地办公、经营管理为主的应用系统，以及部分对网络带宽要求非常高的应用，如后督系统的缓存服务器、网络大学的课件服务器等。通过部署高配置的PC服务器，建立PC服务器资源池以满足二级分行及以下支行的经营管理需求，同时为简化二级分行人员技术要求，可将资源池的管理端集中在一级分行。