1.4 大数据发展现状和趋势
1.4.1 大数据市场规模
目前,大数据技术在国内不仅应用十分广泛,而且发展潜力十足,其具有以下特征:
· 大数据应用以企业为主。
· 应用的覆盖面广阔。
· 电子商务、电信领域应用成熟度较高。
· 政府公共服务、金融、汽车等领域市场吸引力最大。
· 互联网+的推广使数据源增多。
· 2020年将产生约40万亿GB的数据量。
· 大数据已上升至我国的国家战略,各地陆续出台相应的政策,国内市场庞大。
1.4.2 国内大数据发展面临的问题
目前,国内大数据的发展主要面临以下问题。
1.数据孤岛问题严峻
· 职能部门有些信息不对称、缺乏公共平台和共享渠道等。
· 职能部门数据存在“不愿公开、不敢公开、不能公开、不会公开”等问题。
· 已经开放的数据格式标准不统一,无法进行关联融合。
2.数据安全和隐私问题令人担忧
· 相关配套法律以及监管机制不健全、多数企业缺乏数据管理能力。
· 数据与个人隐私信息几乎没有保护。
· 需要尽快出台关于信息采集与信息保护的基本法。
3.数据人才缺乏且创新能力不足
· 未来3~5年,中国数据人才缺口极大。
· 缺乏大数据技术和应用创新能力。
大数据人才的分布有以下特征:现阶段以IT行业背景的人才较多;未来以综合性人才(数据科学家、数据全栈工程师等)发展为主;未来对数学、统计学要求高,算法和模型的工作需求大;国内逐步开展培养需要一定时间,短期内高端人才仍旧不足。
1.4.3 大数据发展趋势
1.数据分析成为大数据技术的核心
数据分析在数据处理过程中,占据了相当重要的地位,随着社会的发展,数据分析将逐渐成为大数据技术的核心。
2.广泛的采用实时性的数据处理方式
大数据强调数据的实时性,因此对数据处理也需体现出实时性。将来实时性的数据处理方式将会成为业界主流,从而不断推动大数据技术的发展和进步。
3.基于云的数据分析平台将更加完善
云计算技术的发展越来越快,与此相应的应用范围也越来越广,它的发展为大数据技术的发展提供了一定的数据处理平台和技术支持,包括分布式的计算方法,可以弹性扩展、相对便宜的存储空间和计算资源。
4.开源将成为推动大数据发展的新动力
开源软件在大数据技术发展的过程中将不断被研发出来,并在自身发展的同时,也将为大数据技术的发展贡献出自己强大的力量。
从产业的角度来讲,大数据的发展趋势包含以下几点:
· 为用户提供时效性更强的大数据。
· 通过开展数据分析和实验寻找变化因素并改善产品性能。
· 建立用户分群,为用户提供个性化服务。
· 利用自动化算法支持或替代人工决策。
· 商业模式、产品与服务创新。