2.1.1 大数据呈现多变的形式和类型
在高速的网络时代,通过性能优化的高速计算机处理器和服务器创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据,还必须知道如何快速处理、分析数据并将结果返回用户,以满足用户的实时需求。大数据具有多层结构,这意味着大数据会呈现多变的形式和类型。相较传统的业务数据,大数据存在不规则和模糊不清的特性,因此很难甚至无法使用传统的应用软件进行分析。传统业务数据随时间演变已拥有标准的格式,能够被标准的商务智能软件识别。目前,企业面临的挑战是处理并从各种形式的复杂数据中挖掘价值。人们处理的数据从样本数据变成全部数据;由于是全部数据,人们不得不接受数据的混杂性,而放弃对精确性的追求;人们通过对大数据的处理,放弃对因果关系的渴求,转而关注相关关系。
1.物流大数据呈现的特征
1)数据量大
当数据量大到传统技术难以处理时,就可以称为“大数据”了。例如,传统数据库系统已不能高效地处理1PB的数据,因为仅向磁盘写入1PB的数据就要耗费200多天。此外,数据能否成为“大数据”,还要看数据的复杂性及产生数据的速度等特征。
物流是一个大范围内的活动,智能物流信息源也分布在一个大范围内,信息源点多、信息量大。物流系统有海量的数据库,包括用户数据库、企业数据库、员工数据库、车货匹配数据库、物流设施数据库、物流资讯数据库等,涉及的数据量极大,数据量成指数级迅猛增长,可以是PB级、ZB级甚至更大的计量单位。根据统计结果,全球大数据仍处于活跃阶段,2019年全球数据量达到41ZB。
2)信息动态性强
动态性强是物流信息最显著的特征,是指信息随着物流过程发展动态变化,是一个连续的、完整的变化过程。忽略信息的动态变化特性,将导致贻误甚至造成损失。由于智能物流信息动态性特别强,信息价值的衰减速度也就很快,这对信息工作的及时性要求较高,信息收集、加工、处理速度快,成为智能物流信息工作者必备的常识。
3)数据范围广
物流信息涉及领域广泛、形式多种多样,只有将纷繁复杂的各种动态信息及时地反映出来,从海量数据中挖掘出有用的信息,才能优化整个物流作业过程。不同类型的智能物流信息有不同的特点,收集数据既要力求全面、完整,又要对智能物流数据预处理进行重点选择。
4)数据形式多样
智能物流系统在物流作业过程中产生的数据类型繁多,如视频、图片、文本信息、网络日志、地理位置图等,既包括结构化的数据表格,也包括半结构化的文本、图像、视频数据及非结构化的空间数据等。如何将手工的、延时的、无序的、碎片化的数据转化成智能的、实时的、有序的、集成的大数据是构建智能决策平台的前提。
5)数据安全性要求高
物流信息化快速普及,而物流信息中包含大量个人的隐私,如收货人的姓名、地址、电话号码、快递物品等,也关系到资金、货运等敏感信息,如发货方的仓储位置、运输方式、派件流程等,加之智能物流具有的线上线下金融服务功能,使物流网络常常成为黑客攻击的对象。大数据给物流行业带来了不菲的经济价值和快捷的服务体验,应及时做好物流大数据的智能安全防护体系,将全系统或部分数据集合从应用主机的硬件或阵列复制到其他存储介质。在信息系统运行过程中,保证数据安全及按计划为数据库执行数据备份是十分重要的工作,这样在故障发生时才能对数据库进行恢复,使数据丢失率降至最低。
2.物流大数据的内容
在大数据时代,物流大数据整合了时间、空间、管理和服务,物流行业也因此发生巨大变革,正在成为下一个支柱产业。
1)物流大数据的来源
物流大数据是指物流服务的供给、需求及物流活动过程的各种相关数据以大数据的形式出现,反映整个物流行业的业态。物流与社会经济息息相关,物流大数据也会反映社会和经济发展的状态。
物流系统各环节引进大数据技术,由于物流系统与生产、销售、消费等系统相关,因此有效形成了“大物流”体系,向社会提供全面、完整的物流信息和物流服务。
2)物流大数据的来源层次划分
(1)微观层面:包括企业运输、存储、配送、装卸、流通、加工、登记等数据分类。
(2)中观层面:包括采购、供应链上下游、生产制造等物流数据分类。
(3)宏观层面:基于商品管理、流通过程中不同业态的数据分类。
微观层面与中观层面物流大数据一般掌握在物流企业手中,宏观层面物流大数据指导物流行业的方方面面。未来,宏观层面物流大数据可进行供求交易。
3)物流大数据的来源对象划分
(1)直接来自物流活动本身。
直接来自物流活动本身的物流大数据可以定义为狭义的物流大数据,指的是直接产生于物流活动的数据,如在运输、保管、包装、装卸、流通、加工等活动中产生的数据。物流活动管理与决策,如运输工具的选择、运输路线的确定、运送批量的确定、在途货物的跟踪、仓库存储的有效利用、最佳库存的确定、订单管理、顾客服务水平提高等,都需要详细和准确的物流大数据。因此,物流大数据对运输管理、库存管理、订单管理、仓库作业管理等物流活动具有支持、保障功能。
(2)来自商品交易活动和市场产生的数据。
来自商品交易活动和市场产生的数据可以理解为整个物流供应链的大数据。商品交易活动数据是指与买/卖双方的交易过程有关的数据,如销售和购买数据、订货和接受订货数据、发出货款和收到货款数据等。市场产生的数据是指与市场活动有关的数据,如消费者的需求数据、竞争者或竞争性商品的数据、与销售促进活动有关的数据、交通通信等基础设施数据。在智能物流中,物流数据与商品交易数据、市场数据相互交叉、融合,成为物流产业智能化的数据基础。
3.物流大数据的类目
物流大数据主要包括运单信息数据和车辆信息数据,然而运单信息往往涉及商业机密,并且信息分布在不同行业企业内部,不宜公开。物流大数据的类目众多,因此从现实的数据条件来看,实业界和学术界的物流大数据主要是关于信息的数据,目前,可以明确量化的数据主要有货源、运输能力、市场、企业运营、物流行业数据类目。
1)货源数据
货物自身属性数据是最基本的数据之一,货物的多少决定物流活动规模及后续一系列货物流通形式。
货源数据具体操作一般包括以下内容:批量商品合同和供销计划数据;批量运输储存计划和合同数据;货物本身的包装要求、货物价值和交付条件等个性化数据。
2)运输能力数据
运输能力的大小与物流活动能否顺利开展有着十分密切的关系。运输条件的变化,如铁路、公路、航空运输能力适量的变化,会使智能物流系统对运输工具和运输路线的选择发生变化,这是大数据擅长的领域之一。运输能力数据对商品存储也有直接的影响,有些代储商品是从外地运来的,要及时掌握货物的数量和日期,以便于安排仓储;有些库存是待运商品,更要密切注意运输能力动态变化。
3)市场数据
为了满足从宏观上进行决策的需求,必须对市场动态数据进行分析,注意掌握有关的市场信息,并提取分析出正确的决策依据。这是大数据擅长的领域之一。因为市场是经常变化的,这些变化不仅会直接影响智能物流系统的正确性,更为重要的是,市场的变化趋势具有信号的超前性和表现的滞后性,人的经验判断在决策效率和准确性上远远不如大数据决策合理。
通常市场数据主要包括:流通渠道的变化和竞争数据;市场价格变动和趋势数据;生产计划及成品的运输数据;仓储货物状态数据;道路安全天气状况等管理信息等。
4)企业运营数据
企业物流系统是一个动态系统,由于商品在系统内各环节流转,每个环节都会产生在本环节有哪些商品、每种商品的性能/状态如何、每种商品有多少、在某个时期可以向下一个环节输出多少商品,以及在本环节内某个时期需要上一个环节供应多少商品等信息,因此企业物流系统的各子系统都会产生商品的动态数据。
5)物流行业数据
物流行业数据的采集分析包括全国社会物流总额、区域经济发展数据、竞争对手公开运营数据、网络商务舆情等。例如,某快递集团抓取全网相关快递行业信息上亿条,信息主体为2017年使用过快递服务的用户对延误、丢失损毁、违规收费、代收货款、性价比、送货上门、上门揽件、客服、配送员、传播力10项基本指标的评价。大数据系统通过大数据处理方法,对不同维度进行加权分析,为企业自身经营战略的判断提供依据。