大数据关键技术在物流企业的应用

摘要：物流企业在开展物流业务时会产生大量的数据，这些数据若能被有效利用，将为物流企业提效增值。物流企业越来越重视大数据所带来的商业价值，并被物流企业视为战略性资源。文章分析物流企业应用大数据技术的价值，列举了物流企业常用的大数据关键技术。

关键词：大数据；大数据技术；物流

互联网技术出现之前，物流企业主要使用一些单机版的应用软件来处理业务，这种应用系统都比较孤立，所产生的数据主要是在人机交互时产生的，大多是物流业务数据，这些数据大多是结构化的，并且增长速度缓慢。互联网技术出现后迅猛发展，尤其是移动互联网技术的发展，由此步入了大数据时代，物流数据的容量上发生了变化，数据来源也发生了质的变化，除了人机交互会产生数据，设备、服务器、应用系统都会产生数据，这些数据包括了用户行为数据、定位数据、图片、视频等等，它们呈现几何级增长，并以非结构、半结构化为主，这给数据处理技术带来了挑战。

1大数据与大数据技术

大数据也称为海量数据，具有数据容量巨大，数据类型复杂，价值密度低等特性。大数据技术是依托云计算、云存储和虚拟化等技术，从海量的、种类繁杂的数据当中，采用分布式计算架构，让用户在最短时间内获取有用的信息技术。大数据技术是对各类数据进行整理、分析、比对，对数据进行深度挖掘，这包括了提取非结构化数据的特征，检索、理解半结构化数据的内容等。大数据技术现已成为信息时代的一大新兴产业，并引起了社会各界的高度关注，成为大数据采集、存储、处理和呈现的有力工具，主要运用在大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据可视化、大数据检索、大数据安全等）等方面[1]。

2物流企业应用大数据技术的价值分析

物流各个环节，如运输、仓储、装卸、搬运、包装及流通加工等，会产生大量的数据。物流大数据，是指物流活动过程中，开展如供给、需求等物流服务时产生的各种相关数据，而这些数据是海量的、无序的。如今，物流企业越来越重视大数据所带来的商业价值，并被物流企业视为战略性资源。物流大数据本身不存在价值，但通过对物流大数据分析并应用，就能体现出其价值所在。掌握大数据，挖掘大数据，应用大数据技术，能够产生大量的商业价值，这一观点已经被整个物流行业所认同。2.1有利于物流企业提高管理效率。长期以来，物流管理上还是存在很多问题，例如仓储运输中空间利用不科学、安全性差、燃油效率低下、周转时间随路径而浮动等。物流企业对数据处理的水平比较低。原有的传统的数据处理方式如数据收集、加工、存储和传输已经不适应物流企业对数据管理的需求。而大数据技术可以有效地解决这些问题，它能更好地收集、整合、分析和处理数据，数据融合性更好，零乱杂散的数据变得系统和有序，以提升物流数据的价值。例如实现合理布局仓储运输的空间，能最优和最短选择好物流运输行程路径。2.2有利于物流企业做出正确的决策。物流企业的决策主要包括三个方面，即合作与竞争的决策、供需匹配的决策、资源配置的决策。传统的物流决策是根据个人经验，结合市场调研而制定的，这种决策方式已不能适应如今的信息化时代。实际上，单凭市场调研、个人经验是无法预测物流市场的需求变化，真实的、海量的物流市场原始数据才是做出科学决策的依据。物流企业通过运用大数据技术对市场的原始数据进行收集、分析、处理，可以全面地、深层次地了解到合作者（或者竞争对手）的真实情况，从而做出合作（或竞争）的判断；对特定区域、特定时期的物流供需情况进行分析，从而做出合理的配送管理决策；实时监测市场变化，从动态性和随机性的数据中提取当前的物流需求信息，同时对已配置和将要配置的资源进行优化，做出合理的资源配置决策，从而实现对物流资源的合理利用[2]。2.3有利于建立良好的客户关系。传统的客户关系数据一般来源于企业的客户管理系统，或是日常的积累，信息接收方式单一，这样的数据容量有限，更新滞后，客户的需求得不到实时跟踪，也达不到及时满足。随着互联网等信息技术的发展，客户对物流的评价与反馈、需求等信息可能会出现在QQ签名、微信朋友圈，微博日志里，呈现的形式也是多种多样，可能是文字，可能是图片，也可能是语音，还可能是视频。物流企业运用大数据技术可以从这些大量的数据源中筛选、提取有用的信息，并对这些数据进行加工、处理、整合，形成有利于物流企业进行客户管理的数据，从而有效减少了客户投诉，服务变被动为主动，通过对新老用户的大数据挖掘和分析，可以满足客户需求，增强客户信用度，培养客户粘性，减少客户流失。

3物流企业应用大数据关键技术的状况

按照对大数据的处理流程来说，物流企业主要应用的大数据关键技术包括了大数据采集技术、大数据前期处理技术、大数据存储技术和大数据分析挖掘技术。3.1大数据采集技术在物流企业中的应用。物流企业经常遇到这样的问题：大量用户并发访问和操作，产生了海量的数据，包括了RFID射频数据、海量网络数据、移动互联网数据等，而这些海量数据呈现的方式不同，有结构化、半结构化及非结构化的，在数据采集上存在困难。为此，这可以采用如下大数据采集技术来解决。1）数据库采集。使用MySQL和Oracle等工具来管理数据，同时利用Sqoop和结构化数据库间的ETL工具，开源的Kettle和Talend也集成大数据内容，和hdfs、hbase及其它主流数据库之间实现数据同步。2）移动互联网数据采集。借助网络爬虫或网站公开API等方式，实现有效地对移动互联网数据的采集。主要方式是从网络上获取数据和信息，有效提取移动互联网上大数据，使移动互联网非结构化数据，半结构化数据通过加工，变为结构化的有序数据，并将其存储为统一的本地数据文件。3）数据文件采集。进行实时的文件采集和处理有多种方式。Flume是Cloudera公司提供的一个日志采集、聚合和传输的系统，具有高可用性，高可靠性等特点。ELK是Elastic-search、Logstash、Kibana三者的组合技术，能实现日志数据处理，通过模板配置，以实现文件采集[3]。3.2大数据前期处理技术在物流企业中的应用。采集物流原始数据后，必须对其进行前期处理，客户和货物数据的前期处理工作尤为重要。物流数据前期处理主要涉及到对物流原始数据的清理、填补、集成、合并、规格化和一致性等，使杂乱无章的数据有序化，经处理后的数据结构相对单一，以便于处理，为后期物流数据分析创造条件。1）物流数据清理。ETL和Potter'sWheel是物流数据清理的主要工具。ETL和Potter'sWheel能有效实现对组内的数据处理，如物流大数据平滑处理、聚类、计算机人工检查和回归等方法，并且能去除噪音，以解决数据遗漏问题。2）物流数据集成。原始物流数据是杂乱和零散的，通过物流数据集成可以将其结构化、有序化。具体做法是将物流数据源中的数据进行合并，以存放到一个结构统一的数据库中。数据冗余、模式匹配、数据值冲突检测与处理是必须解决的问题。3）物流数据变换。物流数据转换分为两种，即数据格式及名称的统一和数据处理。其中，数据格式及名称的统一包括了对数据粒度转数据格式、计量单位、商务计算和标准命名等；数据处理是通过数据库字段分割计算或组合，以解决数据冗余问题。3.3大数据存储技术在物流企业中的应用。MPP架构的数据库集群、Hadoop技术扩展和封装、大数据一体机是最典型的三种大数据存储技术。1）采用数据库集群MPP架构。MPP(MassivelyParallelProcessing，即大规模并行处理)，MPP是将任务并行的分散到多个服务器和节点上，再汇总在每个节点上计算完成后的结果，形成最终结果。主要面向物流行业大数据，采用MPP架构来建立数据库集群，采用SharedNothing架构，利用多种大数据处理技术，如粗粒度索引、列存储等，然后结合分布式计算，以完成对分析类应用的支撑。2）利用Hadoop技术进行扩展和封装。Hadoop是一个分布式系统基础架构。HDFS和MapReduce是Hadoop的核心的设计，它们分别提供了存储和计算的支持，其中，HDFS为海量的物流数据的存储提供支持，而MapReduce则为海量的物流数据的计算提供支持。通过扩展和封装的Hadoop技术来实现对物流大数据存储、分析的支撑。3）大数据一体机。大数据一体机是物流大数据分析处理的理想产品，是硬件和软件结合的产品。硬件包括服务器、存储设备等；软件是由数据库管理系统和用于数据查询、处理、分析的软件组成的。大数据一体机性能好，处理能力强，且具有良好的稳定性和纵向扩展性。3.4大数据分析挖掘技术在物流企业中的应用。以物流车货匹配平台为例，车辆在进行物流运输过程中，会产生海量大数据，如车辆特征、发车时间、停车时间、行驶距离、地理位置等。通过统计、分析这些数据，可以发现货运车辆的行为特征，获取区域物流的流量分布，甚至掌握社会经济发展动态的信息。这为物流企业开展车辆调度提供了可靠的理论依据和技术支持，能使物流企业在时间、成本、路线方面做出科学决策，从而提高了物流企业货运效率。1）物流数据可视化分析。数据可视化的直观和有效方式是将数据图形化。物流数据种类繁杂、数据结构不统一，物流企业借助可视化数据分析平台，对数据进行关联分析，构建物流数据分析图表，使数据在展示方面简单明了、清晰直观，更易于接受。2）数据挖掘算法。数据分析与数据挖掘算法息息相关。数据挖掘算法的基础是数据挖掘模型。物流企业可以通过数据收集分析和整理，创建挖掘模型的最佳参数，将这些参数应用于整个数据模型以便提取可行模式和详细统计信息[4]。3）预测性分析。客户需求、物流行业发展趋势的预测对物流企业而言是很重要的。大数据分析主要是统计分析、预测建模、数据挖掘、实体分析、实时评分、文本分析和机器学习等，从杂乱的数据中找出有规律性的特征，以预测其发展的趋势和方式，为物流企业的决策提供决策。4）语义引擎。对已有的数据进行语义解释即是语义引擎。其实质是将现有结构化或者非结构化的数据库进行语义注解。它直接的应用是可以将人们从复杂的搜索条目中解放出来，让用户能更有效地使用信息。用户能更快、更准、更全地获得所需信息，以提高用户的互联网体验。

参考文献：

[1]马建光，姜巍.大数据的概念、特征及其应用[J].国防科技，2013，34(2)：10-17.

[2]彭小圣，邓迪元，程时杰，等.面向智能电网应用的电力大数据关键技术[J].中国电机工程学报，2015，35(3)：503-511.

[3]MPP(大规模并行处理)简介[EB/OL].https://blog.csdn.net/qq_42189083/article/details/80610092,2018-06-07.

[4]javastart.这才是真正的物流大数据挖掘思路[EB/OL].https://blog.csdn.net/javastart/article/details/50895409,2016-07-07.

作者:单位:湖南财经工业职业技术学院