第4章 大数据，你还不知道的部分(2)

如果你正确地使用了大数据，收集、整理、分析和进行预测，它将为你提供梦寐以求的情报和洞察力。它的控制功用是如此强大，既能够让你掌握最全面的信息，也足以使你从容引导--使自己免受威胁，保护企业，解决潜在问题，并通过自检和优化提升效率。

现在全世界每天都要产生超过3EB的数据，我们有理由相信，随着互联网、各种移动平台越来越广的拥有率和使用频率，这个数字正在不断升高。从棱镜门事件中我们已经知道，美国政府千方百计要加以运用的就是这些数据--以大数据技术来把它们吸纳进去，除了用于正面（反恐），也在试图监控和控制民众。

有一家美国的顾问公司预测，在今后，美国国内还需要10多万个数据分析专才，以及100多万名能够运用数据的经理人。由此可见，大数据的应用在美国已经十分普及，他们将大数据大量地运用于社交媒体、移动网络和对舆情的分析上，进而达到控制选民、管理资讯和监控敌国的目的。

谁对大数据的研究越早，准备越充分，谁体现出来的控制力就越强。毫无疑问，美国人已经走在了最前面。

控制的基础是管理好这些大量的非结构数据，假如管理得当，我们就能从中挖掘出有效信息，实现企业和政府的管理革新。有先见之明的公司都正在从内部的各种来源以及云基础设施中收集越来越多的数据，它们构建可自控的数据中心，聘用和培养自己的大数据工程师。但还有更多的企业仍然徘徊在门外。后者注定会让自己的企业远远落后于人，它们没有办法获取及时有效与海量的信息，以及由此产生的洞察力，自然也就做不出明智的决定。

2013年，我们与安全公司EOA北美分公司在东亚地区共同完成了一项大数据调查。调查的对象是300位来自中国各行各业的高级主管。结果发现，已经有49%的中国公司关注或者非常关心大数据管理问题，但还有38%的中国公司并不明白什么是大数据，对大数据还是一头雾水；另外有27%的中国公司表示他们对此并没获知太多信息，只知道细枝末节或停留在看客阶段。

另外，我们还发现76%的中国公司没有使用恰当的工具来管理自身的系统数据（IT系统），而是采取其他的独立或缺乏互联功能的系统。有的公司甚至还在采用电子表格的方法对数据进行记录和管理。

这是一次令人灰心的调查，但可喜的是，我们看到了积极的增长速度。相比于2012年或更早的时间，投身于大数据的中国公司正以疯狂的速度增加。随着设身处地感受到它的好处的公司越来越多，人们已不再准备持观望态度，而是立刻参与进来。

要实现大数据控制的关键之一是“日志管理”，整合与自己有关的所有数据，比如企业日志，建立索引库，然后设计用户易于理解和使用的界面。要把数据充分利用起来，就必须使数据关联化和规范化，具备报告、反馈与防卫入侵的能力。每一家成功的电商网站和面向用户的企业官网，都是这么做的。

现实的情况是，国内目前只有56%的受访者使用日志管理的解决方案来管理他们的数据。很多公司使用电脑系统自带的普通日志或者建立一个电子表格进行这项工作。更有39%的受访者向我们表示，他们根本没有对日志（数据）进行管理。

“有什么用吗？”他们问。这表明，国内对大数据核心的认识和应用任重而道远。提高认识和加强推广成为了当务之急。

此外，相关的技术更新、方案和平台必须跟上新信息产生的速度。数据的产量以几何级的速度增加，它比宇宙中的星星还要浩瀚。如果我们检索数据的时间太长，分析和预测就失去了意义，控制与管理更无从谈起，还会造成严重问题。

大数据先行者

中国正处于大数据的起步阶段，国外先行者的经验对我们具有十分重要的参考和借鉴价值。全世界的富有远见者早在多年前就已经开始了你追我赶，在自己大数据中心的建设上各显神通，力争在这场战争中取得先发优势。

☆英特尔（Intel）

英特尔公司是全球最大的半导体芯片制造商，成立于1968年，具有几十年产品创新和市场领导的历史。全球第一个微处理器就由它在1971年推出，从而引发了计算机和互联网革命。从硬件入手以配备大数据需求是英特尔首先做的准备，同时对于软件也毫不放松，在Hadoop系统、Hbase、HDFS上都做了增强和优化，并且推出了IntelHadoopManager2.0。

2012年7月，英特尔对外发布了自己的Hadoop商业发行版（ApacheHadoopDistribution），成为几家大型厂商中唯一拥有自身发行版Hadoop的公司。

☆IBM

IBM以对数据挖掘和数据分析领域的收购展开了大数据时代的布局，后来正式推出名为“3A5步”的动态路线，然后结合信息管理、业务分析等软件提出了属于IBM的大数据平台架构。

该公司的大数据架构涵盖了IBM在大数据领域的四大核心能力和相应的产品线，包括：Hadoop领域的InfoSphereBigInsights，流计算领域的InfoSphereStreams，数据仓库方面的InfoSphereWarehouse和etezza以及信息整合与治理（InformationIntegrationandGovernance）方面的产品Optim及Guardium。

☆Hortonworks

2011年从雅虎剥离后，Hortonworks公司在当年8月份就发布了一款基于Hadoop的数据平台的技术预览版（HortonworksDataPlatform，HDP）。仅过几周，该公司又推出了基于Hadoop0.23的HDP2.0版本，该版本的Hadoop获得极大提升，实现了下一代的MapReduce。

尽管成立时间很短，但Hortonworks行动迅速，就在IBM宣布了基于Hadoop的大数据分析平台后不久，它便开启了自己的大数据战略。此外，它还与Talend公司达成协议，将在其数据平台上提供给Talend公司OpenStudioforBigData工具，以全面应对大数据处理。

☆微软（MicrosoftCorporation）

微软公司作为传统的IT业旗帜企业、当之无愧的垄断巨头，进入大数据领域看起来却并不是第一位的。它经常被人们认为起步较晚，但其实微软早在2006年就致力于研究类似Hadoop的开发计划Dryad，并使其获得产品化。微软一直保持自己的独特风格，不紧不慢，但从不在关键领域落后于人。

2011年初，微软公司发布了自己的并行数据仓库项目（SQL）。一年后，正式发布了SQLServer2012数据库平台，把业务延伸到了非结构化数据领域。当WindowsAzureMarketplace和SharePoint等工具推出以后，微软公司厚积薄发，已完全具备了打造大数据平台的能力。

☆思爱普（SAP）

成立于1972年的思爱普公司在软件领域一向具有极大的优势，而且其产品大多聚焦在对数据的分析能力上。这使它在大数据时代开启的一瞬间，就已处在领跑者的位置。2012年8月，思爱普推出了SAPBusinessObjectsBI解决方案4.0版本的第三功能包，简称featurepack3，随后又进行了改进整合。

以SAPHANA为基础，思爱普还打造了强大的实时数据平台，为用户提供全面的数据分析和处理服务。

☆甲骨文（Oracle）

自2009年收购SunMicrosystems公司（主要生产工作站和服务器）之后，甲骨文一直在进行硬件与软件的整合。该公司于2011年推出的大数据机（BDA）和Exalytics商务智能服务器，被认为是甲骨文强势进入大数据市场的标志。2012年初，正式供货的BDA和Exalytics预示甲骨文大数据平台解决方案的出台。

2012年12月13日，甲骨文宣布收购服务于石油、电气、供水行业的DataRaker公司，标志着大数据应用达到了一个新的趋势，开始向传统行业渗透，产生深入和全面的应用效果。

☆威睿（VMware）

威睿是全球桌面到数据中心虚拟化解决方案的领导厂商，它的虚拟化产品除了针对Hadoop进行优化外，还有围绕大数据分析和处理的项目。此外，Cetas和vFabricData系列产品都降低了人们在进行数据处理分析时的复杂度。除了最为核心和拿手的虚拟化产品之外，威睿公司近几年也通过收购和自我研发推出了众多开源产品。比如HVE（HadoopVirtualizationEssential）的插件以及Serengeti的产品，都是威睿推出的开源的虚拟化产品。

☆Cloudera

Cloudera公司由来自脸书（Facebook）、谷歌和雅虎的前工程师杰夫·哈默巴切（JeffHammerbacher）、克里斯托弗·比塞格利亚（ChristopheBisciglia）、埃姆·阿瓦达拉（AmrAwadallah）以及现任CEO、甲骨文前高管迈克·奥尔森（MikeOlson）在2008年创建。公司采用了NoSQL和Hadoop两种技术，由此获得了7600万美元的融资。

在2010年6月份，该公司正式推出了自己的企业产品。随后，Cloudera为其ApacheHadoop软件发行版增添了Cloudera管理器控制台及企业级的支持。现在它也与甲骨文进行密切合作，互相增加客户数量，推动彼此在大数据市场的份额。

☆MapR

MapR公司始终专注于可用性和数据安全的优化，它有自己的优势和独一无二的特性。比如，虽然和其他公司一样，MapR将基于开源的Hadoop产品商品化并进行销售，但它提供了很多不同于Hadoop的特性。它的产品为EMC的GreenplumHD企业版Hadoop提供技术支持。

不久前，MapR公司宣布了新的大数据平台MapRM7，这将为Hadoop与NoSQL提供更为方便、可靠和快速的服务。

☆Splunk

2003年成立并于2012年上市的美国商业智能软件提供商Splunk公司是公认的“大数据概念第一股”，它主要的业务就是向企业及客户提供数据引擎。它旗下的MachineData软件的搜索功能具有强大的优势，而SplunkFree则专供个人用户使用，SplunkEnterprise则添加了支持多用户和分布式部署的功能。

在上述产品大获成功以后，Splunk公司随即又推出新的SplunkforCitrixXenDesktop解决方案，并在2012年的中旬将SplunkAppforPCICompliance2.0全面推向市场。

谨慎：不是所有人都需要

诸如我们听到的、看到的和正在自觉或不自觉地参与的，大数据已成为一项大工程，它无处不在。我们对待它就像在迎接自己的终生伴侣，兴奋之情溢于言表。每个人都在想：“嘿，大数据时代来了，我能从中得到什么好处呢？”从社交媒体、初创公司到北京的中关村，人们都在研究和部署大数据。

但是，正如前面我们提到的，大数据不是无源之水，你需要一个充足的理由来为它打开大门，让它进入你的世界；同时，你还需要为此付出不菲的代价。大多数公司缺乏预算，它们花不了大价钱来部署大数据技术解决方案，也请不起相关团队和大数据工程师。

大数据首先是一项产业，根据一份报告显示，2012年大数据带动了全球近300亿美元的IT支出，预计再过4年这个数字将超过2500亿美元。还有许多新兴国家难以预料的市场空间没有计算在内。要知道，这几乎是一个中等发达国家的全年国内经济总产值了。

那些使用大数据的辉煌案例到处都是，但距离某些特定人群总是如此遥远。比如，脸书的推广人员骄傲地说，他们每天要存储大约100TB的用户数据；美国国家安全局（NSA）每天要处理约24TB的数据。惊人的数字！确实令我们印象深刻。可是处理这些数据所需要的成本是多少呢？根据一项公开资料显示，NSA需要为45天的数据存储服务支付超过百万美元的费用，这个成本还在继续增加。在我几年的走访中，大多数公司的CIO也对我说，他们的预算支付不起大数据部署的成本。

所以，这是昂贵的门槛--公司如果想获得大数据服务，第一件要解决的事情就是提供充足的财务预算。

没钱？对不起，这不是卖白菜，也不是批发廉价商品或请几个经理人那么简单。因此我经常听到人们抱怨：“大数据太贵了！”个人和企业都在仰天叹息，但同时又充满渴望。问题是，你真的需要它吗？

数据存储和处理的成本如此之高，成本变成了阻碍每一个人拥抱大数据的最大障碍，就像其他一切新生事物一样。以至于我们普通人--中小企业需要寻求其他的解决方案，让规模较小的公司和个体不被“大数据”拒之门外。

方案一：大数据的关键不是“大”。

大数据就一定“大”吗？虽然全球最大的科技公司都需要和PB级规模的数据打交道，它们当之无愧地成为对海量数据处理达到星级服务的用户。然而，我们的研究也表明，另外有95%的公司通常只需要使用0.5TB到40TB的数据，甚至更少。

脸书和NSA的故事并不能拿来作为普及版案例，它们不是常态。事实是，大公司的方案没有必要成为中小公司效仿的版本。在全美有5万多家公司的员工只有20到500人，它们大部分都有解决数据问题的需求，但它们并没有向脸书和NSA看齐，去建立一个成本高昂的数据帝国。

所以你看到，大数据市场最大的需求并不是那些居于世界前500强的大公司，而是排名在500到5万之间的公司。我们为何只关注那些极少数的例外，而忽视了普通的需求者呢？

将自己排除在PB级规模数据需求的用户之外，我们才有可能找到真正的方案。当大数据向我们走来时，我们应尽可能选择一个较小的接口，一样能享受同等的服务和便捷。

方案二：确定你是否真的需要它。