遥感大数据自动分析与数据挖掘探究

时间:2022-10-18 09:12:36

遥感大数据自动分析与数据挖掘探究

摘要:随着现代科技的快速发展,自动化和信息化成为技术应用的主要特征,遥感技术作为大数据背景下获取数据资源的重要途径,其在社会经济发展中的应用也越来越广泛。随着遥感技术的不断创新,其获取的数据在规模上不断扩大,在类型上逐渐多元,而这必然会对大数据的自动分析与挖掘提出更高的要求。基于此,本文从遥感大数据的内容出发,对数据自动分析和挖掘技术进行简要分析,以探索我国遥感大数据的发展方向。

关键词:遥感大数据;自动分析;数据挖掘

1遥感大数据

近年来在计算机技术和网络技术不断深入发展的背景下,在虚拟空间中生成的数据规模也不断扩大,社交平台、搜索引擎、电商平台、移动APP、安全监控、卫星检测等系统都在不停地产生数据,据国际数据咨询公司预测,到2020年全球数据总量将达到40ZB,这一庞大的数据规模是难以想象的,而其中蕴藏的应用价值也是不可估量的。遥感大数据是大数据资源的重要构成,随着人类探索空间的拓展,利用卫星技术实现对地观测已经成为资源探索、城市规划、地形观测等工作的必然要求,利用遥感卫星技术实现对数据的生成与收集则是遥感大数据形成的关键。与普通的大数据特征一致,遥感大数据包括卫星在对地观测中形成的不同成像方式、不同波段和分辨率的数据信息,这些信息绝大部分并不具备单一的分析价值,但是在数据达到一定规模后,其分析价值也会呈基数增长。

从目前我国遥感大数据的自动分析与挖掘情况来看,其数据应用技术的发展难以与数据生成规模相符。例如传感器的设计依然停留在单一阶段,缺乏对多元遥感数据的筛选与判断,从数据到数据的传播,使得大数据的知识内容十分稀薄,同时不断扩大的数据规模,浪费了一定的存储空间,影响了数据的开发与运用。在大数据分析中,数据的应用价值不仅仅在于规模大,还在于类型全,对于遥感大数据而言,高密度、多时相、全方位、多层次的数据类型能够全面反映隐藏在数据背后的地理学、社会学、管理学等信息,而对这些深层次信息的挖掘,就是遥感大数据自动分析技术与挖掘技术突破瓶颈,实现科学研究应用价值的关键。

2遥感大数据自动分析

自动分析是遥感大数据进行挖掘、实现数据向知识转化的前提,因此,建立统一、紧凑、语义清晰的自动分析系统,能够为后续的遥感大数据挖掘与利用打好基础。遥感大数据自动分析系统的构建可以从以下几个方面分析:

第一,数据表达。随着遥感技术的发展,在数据生成中,其包含的语义信息更加丰富而多元,传统的数据表达方式已经难以实现对遥感大数据的准确解读,因此,在数据自动生成系统构建中,技术人员应做好表达方式的设计。例如在地理观测中,技术人员可以高内聚同意地理位置在不同粒度、不同方位、不同时相在不同观测空间的投影,来对已经生成的遥感大数据进行表达,进而为地理学研究提供光谱、纹理、结构等方面信息,提高遥感数据分析在地理检测中的作用。

第二,数据检索。网络化与集成化是遥感大数据发展的必然趋势,利用互联网技术实现对遥感大数据的整合与利用,并通过检索功能为用户提供针对性信息则是数据挖掘的基本目标。例如在当前城市规划中,遥感大数据已经应用到行政区域划分、交通网络构建、水分信息观测、空气质量监测等方面;用户通过登录界面,能够根据关键词触发检索系统,而在智能检索中,系统利用图片、文字信息,对相似性的数据内容进行对比,并反馈到用户检索页面,进而生成可视性的数据模型,提高遥感大数据自动分析价值。

第三,数据理解。在实现遥感大数据向具体知识转化的过程中,语义理解上的鸿沟需要弥合,目前在遥感大数据的自动分析过程中,数据尤其是底层数据与知识生成之间几乎是“风马牛不相及”,这使得数据挖掘中目标识别难以实现,知识的形成自然受到限制。针对此,在遥感大数据的理解系统构建中,技术人员一方面要将数据特征、分析目标、识别场景等信息进行一体化处理,以强化遥感大数据的语义理解;另一方面还要做好多元数据分析,基于多途径、多场景、多尺度的原则实现多元语义的输出。

第四,数据云系统。在遥感大数据应用中,基于数据系统建立的云服务平台,能够为用户提供一体化的地球空间服务资源,例如我们日常生活中常用的电子地图,就是基于遥感大数据形成的云平台,用户可以直接定位地点,而遥感技术通过对地观测数据系统生成相关的地理数据,并完成GPS定位、导航等服务。

3遥感大数据的挖掘

数据挖掘就是指利用科学严谨的算法,从大量数据中搜索隐藏于其中的信息的过程。在遥感大数据挖据中,技术人员可以利用C4.5、K-means、SVM、Apriori、EM等算法,对其中的信息价值进行呈现,并从广义上实现对数据的综合挖掘与利用。具体来讲,遥感大数据的挖掘可以从以下几个方面入手:

第一,遥感大数据的挖掘过程。相较于大数据的自动分析系统构建,数据挖掘的难度更大,其智能性也更加凸显。在遥感大数据的挖掘中,其基本的过程包括:数据的存储与获取,即利用遥感技术实现对数据的广泛获取;数据的处理与分析,利用自动生成系统,并通过筛选形成数据库,对数据库中的信息进行分门别类处理,并根据信息的重要性权重;数据挖掘,即利用相关的运算规则对数据的潜在价值进行挖掘;可视化呈现,即将数据挖掘结果生成可视化模型,以便于数据理解与利用;数据融合,即将数据信息与知识内容相融合,形成理论体系,以指导社会经济生活中的实践活动。

第二,遥感大数据的综合开发。遥感大数据是地物在遥感成像传感器下的多粒度、多方位和多层次的全面反映。在遥感大数据的综合开发中,一是能够实现与GIS数据等其他空间大数据的沟通与互补;二是能够利用非接触式的成像数据,实现综合信息挖掘,并揭示更多的地球知识和变化规律;三是能够利用非接触式的成像数据,实现综合信息挖掘,更好地协调人与自然的关系。比如在长江流域生态治理工作中水利部门基于天地传感网建立空天地观测平台,对21座水库群、8000个站点进行数据动态聚合分析,完成实时制图、共享服务等功能,这为蓄水防洪、巷道管理等工作提供了强大的支撑,通过数据应用,相关部门每7天一次浅水航道尺度,航标异常的发现时间限制在10分钟,恢复时间为2小时内,每小时通过遥感进行一次水位测报,这大大提高了长江流域生态管理的主动性。再者,近年来,在智能城市建设中,遥感技术的应用越来越广泛,根据调查报告显示:2016年我国视频监控市场规模达到1687.20亿元,其中视频监控产品市场规模达到673.48亿元。视频监控系统的建设让智能城市构建实现可视化,由此,相关部门就能够通过对遥感大数据的挖掘实现对城市的科学规划与设计。

第三,遥感大数据的潜在挖掘价值。遥感大数据并不仅限于对地观测信息,其在数据生成中形成的关联信息,同样具备挖掘价值,虽然有些数据挖掘后形成的知识内容与遥感技术的应用领域并不直接相关,但是从整体社会发展进程来看,其利用价值也是不可忽视的。比如,利用相关卫星数据绘制夜光趋势图,能够分析全球夜光波动指数,并从中发现每年夜光波动程度与全球武装冲突数量的相关度,这对于分析全球政治局势,在政治、经济、军事等方面做出相应的政策调整也是具有指导意义的。再如,通过对比1995-2013年“一带一路”沿线的DMSP夜光遥感影像数据可以揭示不同区域城市化和经济增长规律,其中1995年夜间灯光总量排量前20的国家有俄罗斯、中国、印度、法国等,其数据分别为7.00E+08、3.50E+08、3.00E+08、2.00E+08;而到了2013年,夜间灯光总量整体增加,中国与俄罗斯并列第一,总量为9.10E+08;此外,在夜间灯光动态分析中,柬埔寨、阿富汗、老挝等国增长比例明显,为1000%、550%、500%等,由此可以看出中国、东南亚等国在“一带一路”的带动下城市化与经济发展呈现了较快增长趋势。

4结语与展望

当前,大数据已经成为社会生产生活中至关重要的资源,随着我国卫星遥感技术的发展,在对地观测中,遥感大数据在广度与深度上也会获得新的发展空间。但是,利用卫星遥感技术的发展只是实现遥感大数据收集的第一步,要想实现数据的自动分析与深度挖掘,我们还有很长的路要走。基于此,在未来遥感技术研究中,我们应利用大数据思维,将技术研究的实践重点放在技术分析与数据挖掘方面,提高遥感大数据在地形分析、资源探究、生态监测、产业发展城市规划等方面的应用价值,以全面体现大数据应用在现代社会发展中的作用。

参考文献:

[1]李安安.遥感大数据自动分析与数据挖掘[J].信息系统工程,2017(06):114-115.

[2]胡晓东,张新,屈靖生.大数据架构的遥感资源存储管理方法[J].地球信息科学学报,2016,18(05):681-689.

[3]李德仁,张良培,夏桂松.遥感大数据自动分析与数据挖掘[J].测绘学报,2014,43(12):1211-1216.

[4]朱建章,石强,陈凤娥,史晓丹,董泽民,秦前清.遥感大数据研究现状与发展趋势[J].中国图象图形学报,2016(11):1425-1439.

[5]张超,李昆,张鑫.遥感大数据关键技术发展研究综述[J].科技创新导报,2017(21):145+147.

[6]李德仁,王树良,李德毅.空间数据挖掘理论与应用[M].北京:科学出版社,2006.

作者:和树繁 单位:山东省新泰市第一中学