云存储安全:大数据分析与计算的基石
上QQ阅读APP看书,第一时间看更新

1.1 云存储的兴起

云存储的兴起可以从一个趣闻说起。全球最大网上书店亚马逊(Amazon,www.amazon.com)是一个电子商务平台,早期的网络服务平台Obidos采用C++语言编写,编译后的代码大小为700MB,编译一次需要一天时间,使加入新功能变得越来越困难。后来,他们设计并实现了一个新的服务平台Gurupa,采用基于Perl语言的Mason模板库,把所有功能以微服务的形式集成起来,但是性能不好。为了应对圣诞节的流量高峰期,亚马逊购买了大量服务器和Cisco交换机,用以实现负载均衡,以满足流量高峰时对性能扩展的需求。但是,节日过后的淡季,又不得不面临大量机器空闲的状况。为了不让资源闲置,亚马逊就把这些机器配置成服务来租赁,这就是最初的云计算的雏形。

利用已有的IT基础设施——硬件设备、服务器与交换机,组合配置成集计算、存储与网络于一体的资源池,一方面可为电子商务平台提供各类IT服务,满足各种负载的需求;另一方面还可将闲置的资源分解成一个个小单元用于租售,实现成本的分摊。正是看到了这一点,亚马逊利用虚拟化技术——云计算与云存储的核心技术,将闲置的IT资源进行分解,在其上构建了亚马逊网络服务系统(Amazon Web Services,AWS)。2002年7月,亚马逊利用其分布在全球各地的数据中心,推出面向第三方的云计算服务AWS,主要包括数据库服务、处理器资源租赁、网络存储、应用软件服务等。AWS的迅速成长让其成为亚马逊的一项非常成功的新业务。

亚马逊的创始人Jeff Bezos在一次采访中说过:亚马逊作为电子商务公司,起初为了处理大量的货品库存和分配,积累并完善了他们的大数据计算技术。目前,亚马逊提供的服务包括:亚马逊弹性计算云(Amazon Elastic Compute Cloud,EC2)、亚马逊简单存储服务(Amazon Simple Storage Service,S3)、亚马逊Web服务(Amazon Web Services)、亚马逊简单数据库(Amazon SimpleDB)、亚马逊简单队列服务(Amazon Simple Queue Service)以及亚马逊内容分发网络(Amazon CloudFront)等。

回顾历史,任何事物的发展都存在一定的偶然性和必然性。在Brad Stone于2013年撰写的关于亚马逊历史最权威的The Everything StoreJeff Bezos and the Age of Amazon[1]一书中,可以归纳出影响亚马逊发展的历史必然性的几个因素[2]

亚马逊的核心业务——电子商务有很强的季节性。2002—2003年,公司发展进入了瓶颈期,如何有效配置兼顾扩展性与持续性的基础服务平台成为一个亟待解决的问题。而这个问题,在当时只有亚马逊才存在,其他公司如谷歌(Google)当时的营利模式主要是投放广告业务,所以亚马逊具备开发云计算服务所需要的发展动力和生存压力。

2002年,Tim O'Reilly(O'Reilly Media出版公司的创始人)拜访Bezos,希望与亚马逊合作。合作没谈成,但O'Reilly的提议让Bezos意识到亚马逊的数据可以开放给第三方程序员使用,于是他组织了第一届亚马逊开发者大会,提出所有互操作要以API(Application Programming Interface,应用编程接口)的方式提供数据和各种功能,而且API可以对外部人员开放,AWS就是API化的服务平台,这种方式为后面的系统扩展性打下了良好的基础。

Bezos当时对图书(CreationLife and How to Make It[3](2001年出版)非常着迷,并且让公司高管人手一册。此书作者Steve Grand无意中给亚马逊高管指出了一条解决IT资源配置的思路:把IT基础设施分成一个个小单元,让程序员可以自由配置与使用。因此,Bezos马上组建研发团队来研究开发这样的小单元,这便是虚拟化思想的启蒙。

2004年,亚马逊负责IT基础设施配置的Chris Pinkham希望回到老家南非。为了挽留他,亚马逊就在好望角设置了一个办公室,让Pinkham可以远程办公。为了能跟西雅图的总部一直保持连线,Pinkham带领一个程序员Chris Brown开发了最早版本的EC2和S3。

2006年,亚马逊的董事会和硅谷风投并不看好AWS,因为这看起来跟电子商务的主营业务完全没有关系,而且那时电子商务的主要产品——书籍一直在亏钱。按照董事会正常的商业逻辑,会否决上线AWS这样疯狂而大胆的新产品,但是在亚马逊的董事会上Bezos拥有极强的影响力;而且当时他已经成功地运营了极具前瞻性的众包产品土耳其机器人(Amazon Mechanical Turks),向董事会证明亚马逊可以走出主营业务,开发出成功的新产品。这些因素使得Bezos可以说服董事会,继续发展AWS。

最后也是最重要的一个因素是,Bezos一直坚信亚马逊的价值在于提供近似于水电的基础设施服务,这样才可以更好地服务于用户。他认为成本应该越低越好,这与Steve Jobs的商业逻辑刚好相反:Jobs是高价+小量+超额利润,而Bezos是超低价+巨量+微薄利润。在这样的思想指导下,AWS一开始的价格非常低,因为Bezos没准备在短期内盈利,而且他刻意压低价格,不想引起潜在竞争对手的注意。而Google的主营业务——广告的利润非常高,在当时既没有压力也没有动力,更加没有说得过去的理由来介入一个看起来根本不赚钱的生意。Google的Eric Schmidt说:他在两年里,发现很多新兴公司都在用同一家公司——亚马逊的服务,这才让他意识到亚马逊已经在下一盘很大的棋。

所有的科技进步都是在解决现实问题的同时提供更好的用户体验,亚马逊做到了,Bezos非常注重客户体验。同时,亚马逊本身就有全球化的数据中心,这与是否存在AWS没有关系,但AWS服务将更多的客户带入亚马逊,因此AWS与传统的电子商务系统协同发展,相互促进,这也是亚马逊云计算技术得以突飞猛进的一个重要原因。

此后,微软的Azure和谷歌的应用引擎(App Engine)都在尝试亚马逊的这种商业模式。中国的百度云、阿里云等也赶上了这次云计算浪潮,目前也初具规模。

目前,信息存储系统还朝着无限的带宽、无限的容量和无限的处理能力(Infinite Bandwidth,Infinite Capacity,Infinite Processing Capability),即3I的方向飞速发展,其目标是实现“Anytime,Anywhere,Anything”3A目标,即可在任意时间、任意地点实现任意数据访问。存储产品不再是附属于服务器的辅助设备,而成为互联网中最主要的花费所在。信息技术正从以计算为核心的计算时代进入到以存储为核心的存储时代,网络化存储已经成为存储市场的热点。而目前的云存储服务是网络存储发展的必然趋势。