2.3 云计算平台实践
以上介绍了国际国内云计算的参考架构和业界标准。各大云计算提供商、开源社区从自身出发,设计出了适应于商业优势或技术优势的云计算平台框架结构。下面以AWS、Open Stack和平安云为例,介绍主流云计算平台的实践案例。
2.3.1 AWS云平台
2006年,Amazon Web Services(AWS)开始以Web服务的形式向企业提供IT基础设施服务。亚马逊AWS云为用户提供了包括计算、存储、网络和数据库等各种实用服务,支持用户按需交付、即时可用,采用按使用量付费(也即按需付费)定价模式。AWS为190多个国家或地区的数百万个客户提供服务,同时其全球基础设施仍在持续扩张,以帮助全球客户实现更低的延迟性和更高的吞吐量,并确保客户的数据仅驻留在其指定的区域。
在基础设施建设层面,AWS云基础设施围绕区域和可用区(Availability Zone,AZ)进行构建。区域是指全球范围内的某个物理节点,每个区域由多个AZ组成。AZ由一个或多个数据中心组成,每个都拥有独立的配套设施,其中包括冗余电源和联网。AZ能够提高生产应用程序和数据库的可持续服务能力,使其具备比单个数据中心更强的可用性、容错能力以及可扩展性。
在服务产品建设层面,AWS在IaaS层的计算、网络、存储、安全、身份及合规性以及PaaS层的数据库、分析、应用程序服务、物联网、机器学习、开发人员服务等领域都提供了健全的产品体系,覆盖企业IT架构及应用建设的方方面面,如图2.5所示。
图2.5 亚马逊AWS产品全景图(产品分类及列表参考www.amazonaws.cn)
AWS为客户提供一整套高可用、高可靠的服务,配合使用这些服务,用户可以构建复杂、可扩展的应用程序。用户可以访问持久可靠的存储、低成本的计算、高性能的数据库和管理工具,所有这些都不需要前期成本,用户仅需按需付费。这些服务可帮助组织快速发展、降低IT成本以及进行扩展。很多大型企业和热门的初创公司都信任AWS,并通过它们为各种工作负载提供支持,如Web和移动应用程序、游戏开发、数据处理和仓库、存储、存档等。
从市场角度出发,AWS目前是全球TOP1的云计算厂商,如图2.6所示,在Gartner公司发布的2018年基础设施即服务(IaaS)魔力象限,AWS依旧是市场领导者。
图2.6 Gartner公司发布的2018年基础设施即服务(IaaS)魔力象限
通过对AWS产品体系、发展路径的研究,可以发现AWS作为行业领先者,具备以下特点。
全球化发展布局:截至2019年,AWS已经在全球21个地理区域内运营着66个可用区,并宣布计划增加巴林、开普敦、雅加达和米兰这四个区域,同时再增加12个可用区,其基础设施建设范围仍在持续扩大中。
大而全产品体系:在云计算传统的计算、存储、网络等IaaS产品以及数据库、应用中间件等PaaS领域,AWS提供了一系列细分产品满足客户不同层次需求,例如AWS仅在计算领域即提供了14种不同的产品;而在包括AR/VR、区块链、大数据、物联网、机器学习等各前沿技术领域,AWS也布局了丰富的产品线。简而言之,AWS的产品体系兼具深度与广度。
融合与创新并行:云产品的快速迭代创新以及云与智能的强融合成为AWS等公有云厂商比拼的未来战略。云产品发布主要围绕高性能计算、异构计算、容器和无服务器、机器学习和机器人应用、IoT平台、自研云原生数据库、混合云七大关键词展开。基于云上的一体化的、使用便捷的AI服务能力日益成为公有云服务商比拼的重要方向。
2.3.2 Open Stack平台
Open Stack是一个由NASA(美国国家航空航天局)和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目。Open Stack作为一个开源云计算平台,实现了类似于Amazon EC2和S3的云基础架构服务(IaaS),可以管控数据中心的计算、存储和网络资源池,可以通过可鉴权的API安全、快速地分配及创建相关资源。另外Open Stack自带管理门户方便用户及平台管理员基于Web界面操作。除了IaaS层功能,Open Stack还提供了额外组件用于提供服务编排、容错及服务管理等PaaS层功能来保证应用的高可用性。
Open Stack项目并不是单一的服务,它由多个组件构成,各个组件通过消息队列和数据库进行相互调用、通信。这样的消息传递机制实现了组件解耦,降低了项目之间的依赖关系,提升了平台整体灵活性,方便平台使用者组合出适合自身发展需要的架构。Open Stack平台的主要组件如图2.7所示。
图2.7 Open Stack平台的主要组件
1.计算服务Nova
计算服务Nova是一套用于为单个用户或使用群组管理虚拟机实例生命周期的控制器,根据用户需求提供虚拟机服务,负责虚拟机的创建、开关机、挂起、暂停、调整、迁移、重启等一系列相关操作,以及配置CPU、内存等信息规格。
2.对象存储Swift
对象存储Swift是一套用于在大规模可扩展系统中通过内置冗余及高容错机制实现对象存储的系统,允许进行存储或检索文件。
3.身份服务Keystone
身份服务Keystone为Open Stack中的服务提供身份验证、服务规则管理和服务令牌管理功能。
4.网络管理Neutron
网络管理Neutron基于云计算网络虚拟化技术,为Open Stack其他服务提供网络连接服务。通过向用户提供访问接口,可以定义网络、子网、路由,配置DHCP、DNS、负载均衡、L3服务。
5.块存储Cinder
块存储Cinder为运行实例提供稳定的数据块存储服务,其插件驱动架构有利于块设备的创建和管理,创建卷、删除卷、挂载与卸载卷。
6.Web前端Horizon
Web前端Horizon为Open Stack中各种服务提供管理门户,支持用户进行简便的操作,包括实例启动、IP地址分配、访问控制配置等。
7.部署编排Heat
部署编排Heat提供了一种通过模板定义的部署模式,实现云基础设施软件运行环境的自动化部署。
8.裸金属管理Ironic
裸金属管理Ironic解决裸金属服务器的添加、删除、电源管理和安装部署等问题,其优势在于提供了插件机制,支持厂商开发自己的驱动,增强了对硬件的兼容性。
Open Stack自2010年创立以来,已经获得了全球670余家公司的支持,拥有183个国家超过9万的社区成员,截至2019年4月已经发布了19个版本,版本升级迭代非常迅速。国际、国内已经有很多组织使用Open Stack搭建公有云、私有云、混合云。例如,Rackspace以Open Stack为基础的私有云业务曾经每年营收7亿美元,增长率超过20%。国内华为云、腾讯云也都对于Open Stack开源项目兴趣浓厚并参与其中。
然而,作为一款开源产品,软件模块由不同厂商提供,容易造成产品与服务的混乱,形成“DIY拼凑”。Open Stack一直争议声不断,欧美市场上,它的市场也不断萎缩。NASA在2012年放弃Open Stack,转而采用亚马逊的云计算服务,2015年,Rackspace宣布将客户的业务迁移到AWS上。另外,越来越多的云服务提供商走上了自主可控的道路。例如,正是意识到Open Stack的短板所在,华为云才提出“源于开源,强于开源,回馈开源”的理念,在Open Stack框架上做自己的产品,以求“架构统一、服务统一、生态统一”。
2.3.3 平安云平台
平安云孵化于平安集团,不同于其他公有云厂商,平安云扎根于金融、医疗、智慧城市、汽车、房产五大生态,整合平安科技和平安集团各专业公司科技与业务场景,实施“全云战略”;以集团内外客户需求为驱动,坚持技术方案自主可控,实施敏捷快速的产品研发迭代与技术创新,如图2.8所示。
图2.8 平安云产品创新模式
1.平安云产品设计
目前平安云已经建设为金融行业内最大的云平台,并以金融为起点,拓展到更广泛的医疗和智慧城市等领域,作为平安服务的综合输出平台为全行业提供IaaS、PaaS、SaaS整套云服务。平安云全系列产品的核心技术均自主研发,做到了灵活运用、自主可控,其产品全景如图2.9所示。
图2.9 平安云产品全景
在IaaS层,平安云提供了稳定高效的计算产品、弹性可靠的存储产品以及隔离加速的网络产品。其中计算产品包括虚拟机、裸金属服务器、容器三种形态,供客户按需自由选择;虚拟机服务里除了普通云服务器ECS,还提供了独享CPU、内存、磁盘资源的专属服务器DH以及搭载GPU等异构硬件的异构云服务器。异构云服务器具有实时、高速的并行计算和浮点计算能力,适合于深度学习、视频编解码、科学计算、图形工作站等高性能应用。存储产品包括块存储(EBS)、对象存储(OBS)、弹性文件系统(EFS)和CloudNAS等,另外还包含云备份(CBS)等备份服务。网络产品提供虚拟专有网络VPC、VPC互连的高速通道、ELB负载均衡以及NAT网关、VPN网关等服务。
在PaaS层,平安云提供了丰富的产品服务,主要包括两大类:一大类是通用PaaS层服务,包括数据库服务、中间件服务、物联网服务、开发者服务、AI及大数据服务等;另一大类是垂直行业的业务PaaS层服务,通过API方式对接五大生态SaaS层服务。
在安全管理方面,平安云提供了跨层的安全服务,包括网络安全、服务器安全、应用和数据安全、大数据态势感知服务以及专家服务等。通过打造围绕安全管理、安全技术、安全运营的“三位一体”的信息安全体系,平安云旨在消灭信息孤岛,实现云平台的基础安全、网络安全、数据安全、应用安全、业务安全。
在运维管理方面,平安云提供了全面的访问控制、监控告警、自动化运维平台以及门户功能,方便云平台管理者运维管理云平台以及云租户管理监控其部署在云平台上的云应用。具体包括访问控制RAM服务、云监控Argus服务、智能运维平台AlphaOps、应用监控WiseAPM服务等。
在产品设计方面,针对目标行业客户需求、结合技术发展实践,平安云归纳出四个发展方向——连接、融合、加速、洞察。
连接:以物联网服务平台为基础,基于函数计算(FaaS)、边缘计算等核心技术能力,服务于智慧城市、车联网、智慧医疗等场景,帮助客户连通业务链条中的信息孤岛,拉近云-端距离。
融合:以混合云管平台为基础,实现私有云、容器私有云及公有云等多种部署模式的无缝集成管理,支持客户(尤其银行、政府)传统基础设施资源及异构系统的融合。
加速:以微服务平台为基础,帮助客户快速实现传统单体式应用开发框架的微服务化,实现在需求不断加速变化的背景下,应用对业务的快速响应。
洞察:以大数据平台为基础,基于分布式数据库、数据湖分析、机器学习引擎等核心技术服务,支持数据的分布式扩展、多源分析、智能引擎,实现对业务发展的智能化灵敏洞察。
2.平安云基础架构
从平安云的基础架构(见图2.10)角度来看,主要包括以下四大管理平台。
图2.10 平安云基础架构
(1)计算服务平台(Compute Service Platform,CSP):平安云结合计算虚拟化技术和计算资源调度系统自研的软件定义计算平台。基于CSP提供的API,可以对云服务器ECS、专属服务器DH、异构云服务器等资源进行编排。
(2)裸金属管理平台(Bare-Metal Management Platform,BMP):为管理调度裸金属服务器资源,平安云自研了BMP用以编排裸金属服务器BMS。
(3)网络服务平台(Network Service Platform,NSP):平安云自主研发的软件定义网络平台。基于NSP提供的API,可以对网络设备、计算网络、NFV集群等抽象出来的虚拟网络服务(如VPC、安全组、NAT、ELB、VPN等)进行快速部署、统一控制,以满足用户的各种需求。
(4)存储管理平台(Storage Management Platform,SMP):平安云自主研发的分布式存储平台,自下而上分为存储硬件层、存储驱动层、存储平台层、存储服务层,适配不同类型的存储需求,例如块存储(EBS)、对象存储(OBS)、弹性文件(EFS)、数据库服务、大数据服务等。
另外,CSP、BMP平台在编排计算资源时,会调用NSP平台对接计算网络,调用SMP平台以分配存储资源。
平安云基础架构的特点可以总结为以下几点。
(1)赋能业务:以可靠的创新平台为基础,制定丰富的行业定制方案。
(2)零单点故障:打造三级HA(高可用)架构,实现金融级的安全可靠。
(3)分布式架构:基于弹性敏捷的框架设计,实现效率与成本的优化。
(4)智能运维:基于完善的DevOps工具链,支持以最小的人力成本实现自动化高效率的开发、部署、测试、监控。
(5)兼具合规与灵活性:兼顾安全合规与监管合规的同时,满足新时代业务的灵活性。从安全合规的角度来看,平安云获得了12项国内外权威云认证,率先迈入最高级别认证的云服务供应商行业;从监管合规的角度来看,平安云满足“一行两会”(即中国人民银行、银保监会、证监会)共计60余项合规要求。
在后续章节中,将基于云计算平台整体框架,从专业技术角度出发,对每个平台组件的相关技术背景、架构原理、发展趋势及平安云在相关领域的应用实践进行详细介绍。