1.8 研究展望

当前，上述几个方向的研究工作都面临着网络大数据带来的新问题，也就意味着每个方向都有着不少的挑战。面对网络大数据，以下几个方面的研究将是问题的核心。

网络大数据的复杂性度量 网络大数据使人们处理计算问题时获得了前所未有的大规模样本，但同时网络大数据也呈现出前所未有的复杂特征，不得不面对更加复杂的数据对象，其典型的特性是类型和模式多样、关联关系繁杂、质量良莠不齐。网络大数据内在的复杂性使得数据的感知、表达、理解和计算等多个环节面临着巨大的挑战，导致了传统全量数据计算模式下时空维度上计算复杂度的激增，很多传统的数据分析与挖掘任务，如检索、主题发现、语义和情感分析等变得异常困难。然而目前，人们对网络大数据复杂性及其背后的物理意义缺乏理解，对网络大数据的分布与协作关联等规律认识不足，对大数据的复杂性和计算复杂性的内在联系缺乏深刻理解，加上缺少面向领域的大数据处理知识，极大地制约了人们对大数据高效计算模型和方法的设计能力。有鉴于此，如何量化定义大数据复杂性的本质特征及其外在度量指标，进而研究网络数据复杂性的内在机理是一个重要的研究问题。

数据计算需要新模式与新范式 网络大数据的诸多突出特性使得传统的数据分析、数据挖掘、数据处理的方式方法都不再适用。因此，面对网络大数据，需要有数据密集型计算的基本模式和新型的计算范式，需要提出数据计算的效率评估方法等基本理论。由于数据体量太大，甚至有的数据本身就以分布式的形式存在，难以集中起来处理，因此对于网络大数据的计算需要从中心化的、自顶向下的模式转为去中心化的、自底向上的、自组织的计算模式。而且，网络大数据来自于数量众多的网络用户。由于人为因素的随机性，网络大数据常常具有很高的噪声，同时也富含着冗余数据，甚至是垃圾数据。因此，面对网络大数据，去芜存精、化繁为简可能是必要的处理范式之一。另外，面对网络大数据将形成基于数据的智能，可能需要寻找类似“数据的体量+简单的逻辑”的方法去解决复杂问题。

新型的IT基础架构 网络大数据对于系统，无论是存储系统、传输系统还是计算系统都提出了很多苛刻的要求，现有的数据中心技术很难满足网络大数据的需求。因此，需要考虑对整个IT架构进行革命性的重构。而存储能力的增长远远赶不上数据的增长，因此设计最合理的分层存储架构，不仅满足scale-up式的可扩展性，而且还能满足scale-out式的可扩展性，已成为IT系统的关键。在大数据时代，IT系统需要从数据围着处理器转改变为处理能力围着数据转，将计算推送给数据，而不是将数据推送给计算。此外，网络大数据平台（包括计算平台、传输平台、存储平台等）是网络大数据技术链条中的瓶颈，特别是网络大数据的高速传输，需要革命性的新技术。

数据的安全和隐私问题 数据有价值，有价值就可能产生争夺和侵害。只要有数据，就必然存在安全与隐私的问题。随着数据的增多，网络大数据面临着重大的风险和威胁，需要遵守更多、更合理的规定，传统的数据保护方法无法满足这一要求。因此，面对网络大数据的安全与隐私保护，有大量的挑战急需得到解决，具体包括：数据计算伦理学、数据密码学、分布式编程框架中的安全计算、远程数据计算的可信任度、数据存储和日志管理的安全性、基于隐私和商业利益保护的数据挖掘与分析、强制的访问控制和安全通信、多粒度访问控制以及数据来源和数据通道的可信等。

开放网络知识计算 面对复杂关联、动态变化、来源多样的网络知识，如何保证开放网络知识的有效模型表示是一个重要基础，它应该支持对开放网络知识自适应的感知、增量的更新、自动或半自动的新知识抽取等，并具有较为完备的基础理论支撑。同时，从应用角度，开放网络知识计算需要建立一套算子体系，实现面向领域的开放网络知识库的快速构建，并更好地支持处理知识演化、多源知识融合、隐性知识推断和时序知识预测等一系列问题的解决。