大数据搜索引擎原理分析
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

1.4 大数据与搜索引擎

搜索引擎一直在海量数据中挖掘最优质的信息,来为网民提供最佳服务。在大数据时代,新的数据赋予搜索引擎新的篇章。大数据的“大”决定了数据大而全面的特性,在传统计算模式中,通过抽样数据分析得到的结果已经不如通过大数据分析得出的结果精确。大数据挖掘几乎可以拿到任何想要的数据信息。搜索引擎经过最近十几年的发展,已经在文本分析、数据挖掘、图谱构造、语义分析等方面有了丰富的积累,结合现有的大数据,将会给现有的搜索技术带来全方位的提升。这些改变不仅可以帮助搜索引擎找到更加准确的答案,还有助于搜索引擎实现个性化精准分析。

1.4.1 搜索价值提升

现代人类的学习、生活、工作都已经离不开信息,从过去的信息大爆炸到如今的数据大爆炸,搜索引擎不仅能帮助用户从海量信息中找到结果,而且提供了一种互联网服务。搜索引擎成为一个数据工厂,通过大数据挖掘,抽象出结构化的、有价值的信息,加速信息流动,促使搜索为用户提供更多的服务及更高的价值。

让用户对搜索结果进行筛选的时代很快就会湮没在时代的浪潮中,当前的大数据时代研究最多的深度学习也是研究搜索引擎能否直接命中用户答案的途径之一。现在的搜索主要基于互联网中已经存在的数据返回结果。但是在大数据背景下,搜索引擎可以发现互联网中不存在的信息。搜索引擎通过自我学习给出一个参考。例如,用户搜索“下周股市会大涨吗”,在互联网中一定不会有“下周股市会大涨”的确切数据,但是会有很多相关性点评及业内人士对下周股市的看法,深度学习可以通过汇集行业相关人士的看法、行业市场状况等信息,为网民提供可靠的参考信息。

大数据的发展使得搜索引擎成为更加开放的搜索平台。伴随着计算机视觉、深度学习等领域的发展,社会信息将会发生巨大的变化。搜索引擎需要对外开放其大数据存储、数据分析、智能化处理等能力,吸引更多的开发者、企业,以弥补搜索引擎在外部资源中的不足,从而促使其不断提升搜索价值。

1.4.2 用户价值提升

用户在互联网中留下的任何数据都会成为搜索引擎研究的数据对象。搜索引擎通过基于海量数据的机器学习、统计学、模式识别等技术,从大数据中提取隐藏的有效信息,逐步成为用户的知心朋友。

用户获得信息的方式不再仅仅是主动的搜索,还包含被动的信息接收。当用户在搜索过程中寻找相关信息时,搜索引擎通过大数据分析可以为用户提供解决问题的更多可能性,实现从主动寻找答案转变为被动接收答案。