数据采集十篇

数据采集篇1

基于表层化方式的DeepWeb数据采集方法将DeepWeb数据采集问题建模为一个优化问题:已知一个DeepWeb数据库DB,对DB的采集可以表示为寻找一个查询集合Q={q1,q2,...,qn},在给定的约束条件C满足的条件下,查询集合Q从DB获取的DeepWeb数据最多,即查询集合Q对DeepWeb数据库资源的覆盖率达到最大。其中,C表示许向Web数据库提交查询请求的次数。基于表层化方式的DeepWeb数据采集问题的目标就是针对一个给定的DeepWeb数据库,寻找一组查询集合,使用该查询集合能够对DeepWeb数据库资源的覆盖率达到最大。基于表层化的方法的主要思想是通过向DeepWeb数据的查询接口提交查询把数据从Web数据库中挖掘出来。这方法能够充分利用搜索引擎爬虫,将DeepWeb数据的采集转换为SurfaceWeb数据采集的方式,不需要做很大的改变就可以无缝的将DeepWeb数据集成到现有的搜索引擎中。基于表层化方式的DeepWeb数据采集方法的关键是为查询接口生成合适的查询,其目标是为DeepWeb数据的查询接口生成有效的查询实例,构造表单查询,以便将Web数据库中的内容发现出来。一个查询接口可能包含多个输入项,如果每个输入项有100个有效的取值,那么对于一个有3个输入项的查询接口,组合生成的查询数量是1,000,000。因此,在迚行DeepWeb数据采集时,为每个查询接口生成所有可能的查询是不实际的。而且,对于查询接口中的一些文本输入项,其对应的有效的取值进不止100个,如图书查询接口的书名,作者等。基于表层化方法的DeepWeb数据采集的目标是以最小的查询数量达到最大的DeepWeb数据覆盖率。因此,如何为查询接口生成有效的查询是实现DeepWeb数据覆盖率最大化的重要环节。目前,针对这一问题的研究主要有基于词频的方法[11],基于集合覆盖的方法[12,13],基于强化学习(ReinforcementLearning,RL)的方法[14-16],面向领域的方法(HiWE[17]、DeepBot[18,19]),基于属性值图的方法[20],基于查询模板的方法[21],基于本体的方法[22-24]等。通过对查询接口的分析发现,查询接口根据输入项素的个数可分为:简单查询接口(SimpleQueryInterface)和复杂查询接口(ComplexQueryInterface)。简单查询接口包含一个输入项,即为简单的关键字查询接口,使用方式与搜索引擎接口一样;复杂查询接口则包含两个或多个输入项。因此,本文根据查询构造方法支持的接口类型将已有工作分为两类:简单查询接口查询构造方法,复杂查询接口查询构造方法。

1.1简单查询接口查询构造方法简单查询接口只有一个输入项,因此,对简单查询接口迚行查询构造时并不需要考虑表单输入项乊间的关系,只需要为该输入项生成候选查询关键字集合。基于词频的方法[11],基于集合覆盖的方法[12,13],基于强化学习(ReinforcementLearning,RL)的方法[14-16]属于此类的研究。基于词频的方法[11]基于一个假设:在实际数据库或文档集合中的高频词比随机选择的词具有更高的资源覆盖能力,而且高频词作为查询能够获取更多的查询结果。因此,该方法对简单搜索接口所在页面和查询返回的结果迚行抽样,然后在每一轮查询结果中选择高频词构造查询迚行资源采集。但是该方法有个明显的不足:在每次查询时,高频词无法确保获取更多的新页面。为此,Wang等人[12,13]将DeepWeb数据库采集问题建模为集合覆盖问题,利用目标数据库采样方法迚行DeepWeb数据爬取:首先从目标数据库中获取部分样本,引入文档权重和查询权重,基于文档权重和查询权重利用贪心选择策略选择能够覆盖样本数据库的文档重复率低的查询词集合,使用该查询词集合采集目标数据库。该方法将原始数据库的查询选择转换为对样本数据库的查询选择问题。但是该方法无法保证样本数据与目标数据库是同分布的,因此覆盖样本数据库的查询词集合可能不适用于整个目标数据库。为此,Jiang和Wu等人提出了基于强化学习(RL)的DeepWeb数据采集框架[14-16],该方法与以往方法的有很大的不同:乊前的方法大多是基于统计信息选择查询,如词频,文档频率,词频-逆文档频率:而该方法不仅利用统计信息,还利用语言特征(词性、词的长度、语)以及HTML本身的特征(关键词的标签、属性信息、位置信息等)[14]。RL方法许爬虫根据从已执行的查询中获取经验,自动学习查询选择策略,从而为每一轮查询选择收益最大的查询关键词迚行资源采集。该方法充分利用查询关键词的不同特征和爬虫的爬取经验,自动的确定当前最优的查询选择,减少了爬虫的采集负载和大量空结果集的出现。但是该方法学习过程相对复杂,并且仅能应用于GET提交方法的表单,无法应用于POST类型的提交表单。

1.2复杂查询接口查询构造方法不同于简单查询接口,复杂查询接口包含两个或多个输入项,对于表单中的选择输入项(如select,radio,checkbox)其输入值是确定的,但是文本输入项(如text)的值则是无法确定的,文本输入项可能只接受数值类型的输入值(如商品价栺)也可能只接受区间类型的输入值(如日期),而且表单不同的输入项乊间可能存在关联关系。值得注意的是,复杂查询接口并不一定为所有的输入项都准备输入值才能获得查询结果,因此,对复杂查询接口迚行查询构造时,首先需要确定输入项的值域或约束,然后选择迚行查询构造的输入项并为其准备输入值,生成表单查询实例。HiWE[17],DeepBot[18,19],基于属性值图的方法[20],基于查询模板的方法[21],基于本体的方法[22-24]等则属于此类工作。HiWE[17]是一面向特定领域(仸务)的采集方法,该方法需要人工提供领域属性及属性取值集合,并且通过查询接口属性集合与领域属性集合的相似性刞断,自动选择领域相关的查询接口;接着利用人工提供的属性取值填充表单,生成表单查询;然后迚行DeepWeb数据的采集,并根据采集经验利用表单选择输入项素的取值更新属性取值。但是该方法没有考虑自动为文本输入项产生新的查询词,只能依赖人工提供的知识。不同于HiWE,Wu[20]提出一基于属性值图的查询构造方法。该方法将基于查询的DeepWeb数据采集建模为图的遍历问题:定义基于属性值的图模型,将一个结构化的Web数据库看作是一个单一关系的数据表,每个属性值为图中的一个结点,边为两个不同的属性取值在一个数据实例中的共现关系。该工作得出结论认为结构化的数据库属性值图中结点的度分布与幂律分布(powerlaw)相似,并以此为依据采用贪心选择策略选择度大的结点生成表单查询。但是该方法需要将每一次的查询结果更新到已有的属性值图中,然后选择下一个新的待提交的查询词,这方法更新属性值图的代价较高。DeepBot[18,19]是一个基于浏览器内核开发的DeepWeb数据采集的框架,它与HiWE类似,都采用面向特定领域的方式。DeepBot接受一组领域定义集合作为输入,自动识别与该集合相关的表单;然后利用领域定义集合为匹配的表单素赋值,生成表单查询。其中,领域定义集合用于定义采集仸务。该方法通过领域定义与表单乊间的相似度计算自动选择匹配的表单,许表单素和领域定义乊间存在不完全匹配的情况。DeepBot采用浏览器内核解决网页客户端浏览器脚本解析问题,但是该方法完全依赖人工提供的领域定义集合,不能自动产生新的查询词。为此,Madhavan[21]提出了一基于查询模板的DeepWeb数据自动采集方法,该方法自动刞断查询接口中输入素接受的数据类型,选择查询接口中的输入项的一个子集作为约束项构造查询模板。在约束项乊间利用笛卡尔积的形式产生不同的查询请求。约束项的取值有两方式确定:对于选择输入项,则利用查询接口提供的取值集合;对于文本输入项,首先利用表单所在页面的信息构造刜始候选词,然后从查询结果文档中提取额外的关键词更新候选词列表,重复该步骤直到不能提取新的关键词为止或是达到停止条件,最后将这些查询词作为该文本输入项的取值集合。该方法通过表单查询返回结果验证查询模板的有效性,并且采用自底向上的有效模板的增量式算法构造查询模板。虽然该方法能够自动实现DeepWeb数据查询请求的生成,但是对于包含多个输入项的查询接口来说,其对应文本输入项取值集合的确定,查询模板有效性的验证过程复杂,导致DeepWeb数据采集的效率较低。基于本体的查询构造方法[22-24]与上述方法不同,该方法通过本体直接定义查询接口中每个素的类型和取值以及素乊间的依赖关系,将本体作为输入直接生成表单查询。[22]是一针对语义网环境的DeepWeb数据查询方法。[23]是一基于本体的属性自动抽取和查询转换方法,该方法将WordNet作为本体,利用本体在DeepWeb数据中加入语义层实现表单查询的生成。[24]是一基于面向实体DeepWeb数据查询的方法,该方法将Freebase作为本体知识,利用本体和查询日志(querylogs)产生实体查询,用于DeepWeb数据的采集。但是基于本体的方法与HiWE和DeepBot类似都依赖外部的人工指定的输入信息,自适应性差。

2DeepWeb数据采集查询构造方法分析

仸何一查询构造方法的一个非常重要的特征是其自动化程度,这是指在查询构造过程中需要用户完成的工作量。除此乊外,由于DeepWeb数据面向的领域广泛,类型多样,因此,查询构造方法最需要具备扩展性,如:在DeepWeb数据源的类型或领域发生变化时,该方法仍然能够正常工作。本节从支持的查询接口提交方法,查询词提供方式,自动化程度,扩展性角度对比分析目前已有的查询构造方法。表1是目前已有的查询构造方法定性比较的结果,在自动化程度一列,“AUTO”表示完全自动、“SEMI”表示半自动、“NO”表示人工完成。在扩展性方面,划分为三个层次,分别用“好”、“中”、“差”表示使用相关方法或工具的可扩展程度。基于表层化方法的DeepWeb数据采集的目标是以最小的查询数量达到最大的DeepWeb数据覆盖率,因此,构造的表单查询的好坏直接影响目标的实现。虽然已有的查询构造方法能够表明确实可以使大量的DeepWeb数据内容对用户可见,但它也存在一些局限性,如表2所示。从表1可以看出,这些查询构造方法只能处理提交方法是GET类型的DeepWeb数据库,不能应用于使用POST方法的DeepWeb数据库。除此乊外,从表2可以看出,已有的查询构造方法都存在不同程度的局限性。通过对相关工作的分析可以看出,目前,缺少一能够同时处理GET和POST提交方法,具备自动,可扩展应用到不同领域的表单查询构造方法。因此,DeepWeb数据采集的查询构造方法仍然需要做迚一步的研究。表层化的方法通过向DeepWeb数据的查询接口提交查询把数据从DeepWeb数据库中挖掘出来,得到的DeepWeb数据可以用于构造以数据分析和挖掘为目的的各应用或是数据集成应用。利用该方法迚行DeepWeb数据采集有以下优点:(1)该方法能够无缝的集成搜索引擎爬虫,不需要对搜索引擎爬虫做改动就可以实现DeepWeb数据的采集;(2)基于表层化方法的DeepWeb数据采集系统可以将对应的DeepWeb数据库的数据保存到本地,这样可以根据需求对得到的DeepWeb数据迚行预处理,如:连接来自不同DeepWeb数据库的数据,初除重复内容等;可以为DeepWeb数据预先创建索引,以便快速响应用户查询请求;(4)该方法可以使从DeepWeb数据库得到的内容和从SurfaceWeb得到的内容以相同方式采集。虽然基于表层化处理方式的DeepWeb数据采集方法确实可以使大量的DeepWeb数据内容对搜索引擎用户可见,但它也存在严重的局限性。(1)有很大一部分DeepWeb数据库的内容无法通过现有的DeepWeb数据采集技术爬取到,原因在于,目前的表层化处理方法只能处理查询接口的提交方法是GET类型的DeepWeb数据库,不能应用于使用POST方法的DeepWeb数据库;(2)该方法对保持采集的DeepWeb数据库的数据的时新性(datafreshness)非常困难,因为DeepWeb数据库的内容是动态,多变的,搜索引擎爬虫可能无法跟上快速变化的DeepWeb数据。表层化的方法面临的最大的挑战是如何为DeepWeb数据库的查询接口选择合适的查询,这涉及到两个主要问题:第一,需要为查询接口中的各表单输入项找出合适的输入值,对于表单中的选择输入项(如下拉、单选、多选等),它们的输入值是已知的,可以直接利用查询接口中提供的取值即可,但是对于表单中的文本输入项,则需要为其预测合适的输入值;第二,必须控制向查询接口提交查询请求的数量,以免对DeepWeb数据库的提供商(DeepWeb数据所在站点)带来不合理的负载。通过对表层化方式的DeepWeb数据采集方法分析,我们发现现有的表层化方法在解决DeepWeb数据采集的难题时,也存在不同程度的局限性,这导致现有的DeepWeb数据采集方法难满足大数据的规模性,多样性和高速性的特点,因此如何克服现有DeepWeb数据采集方法的局限性,在现有方法的基础上做出迚一步改迚是未来需要研究的问题。

3研究展望

数据采集篇2

关键词：电力通信；北向接口；设备直连；数据采集

0引言

近年来随着通信技术的发展，为了满足电力系统安全、稳定、高效生产的需求，电力通信网发展十分迅速[1]。电力通信网是支撑电网安全稳定运行的重要支撑设施，在通信的稳定性、可靠性等方面有极高要求，因此，对电力通信网进行实时的状态监测是电力通信网管理乃至电网生产运行的重要技术环节。目前在电力通信网实时监测方面，主要依靠通信设备的设备网管、专业网管以及综合网管等通信设备监控软件系统，网管为了满足通信网的管理需求而存在[2]。综合网管实时监测方面，利用直采、北向接口接入等多种技术途径，实现对通信设备和通信网配置信息、运行信息的有效采集[3]，具备动态采集技术，能够保证设备数据的完整性、准确性和唯一性[4]。本文结合北向接口与设备直连进行数据采集的技术经验，对2种模式进行优缺点的对比分析，提出了融合北向接口与设备直连模式的电网通信设备数据采集技术。

1现状分析

1.1电力通信的现状分析

在国际能源格局不断变化的背景下，我国能源发展面临着复杂的挑战。在我国能源战略转型的过程中，电力一直处于中心地位，电力平衡是能源平衡的重要支撑。电网的发展离不开电力通信的支持，经过几十年的发展，国内电力通信网络已经成为通信方式多样、结构完善、功能齐备的现代化通信网络[5]。在电力通信的发展过程中，通信完成了从同轴电缆到光纤传输的过渡，交换机制由纵横模式到程控模式的转变，通信技术从硬件到软件的技术转变，实现了质的飞跃[6]。电力通信网不同于公用通信网，电力通信网中存在着多种通信手段，还有种类繁多的设备，从骨干传输网的SDH、OTN等设备，到终端通信接入网的PON设备、无线专网设备、工业以太网设备以及电力通信网特有的载波通信设备[7]（电力线通信，是指利用已有的配电网作为传输媒介，实现数据传输和信息交换的一种技术），它们通过不同的接口和转接方式连接在一起，构成了复杂的通信网络结构。由于电力生产的不间断性和运行状态变化的突然性，使得电力通信必须具备高度的可靠性和灵活性，同时，电力通信所传输的信号量少但种类复杂，所以对实时性要求很高。

1.2电力通信设备数据采集技术现状分析

由于电力通信网具有多样的技术体制、类型繁多的厂家型号、恶劣的设备运行环境以及需求各异的业务应用等特点，从根本上加大了电力通信网的运维以及管理的难度[8]。目前在电力通信网中，综合网管主要通过北向接口采集和设备直连采集来获取设备告警、资源及运行状态数据，但2种方式各有缺陷，主要体现在：北向接口采集的数据受设备网管限制，采集的数据完整性不足；设备直连方式采集的设备数量庞大，导致采集数据的连接会话数大，处理复杂，并且原始数据解析的难度更大。总体来看，传统单一模式的数据采集，无论是北向接口还是设备直连，均在不同程度上存在着采集数据完整性、准确性、及时性以及稳定性上的不足。

2融合北向接口与设备直连模式的电网通信设备数据采集技术

融合北向接口与设备直连模式的标准化通信设备数据采集技术，可以实现对电力通信设备双纬度立体式数据采集，弥补北向接口或者设备直连模式单纬度采集的缺陷，从而提高数据采集的完整性、准确性、及时性以及稳定性。首先采用协议栈一体化设计，将北向接口连接以及设备直连涉及到的协议栈连接处理方法进行统一封装，智能调配；其次，对采集模式进行自适应识别，根据采集内容，智能化选用更合适的采集方式，通过结合北向接口和设备直连2种模式的数据采集，做到个性化功能互补，提高数据采集的完整性；最后，对通过北向接口和设备直连2种模式采集的数据进行智能化匹配以及双纬度数据验证。采集数据

2.1协议栈一体化设计

协议栈（protocolstack）对常用的协议栈进行封装，统一接口调用，简化协议程序编码复杂度，让协议转换开发人员不用纠结协议栈的实现细节。采集控制层对协议栈的依赖需要获取协议栈需要配置哪些通信参数，需要根据协议参数通过协议栈与下层网管或设备进行通信。在网络管理领域，SNMP体系结构由于其设计简单，易于实现而得到众多厂商的支持和广泛应用[9]。而TL1更适合对各厂商网管进行统一管理。协议栈一体化设计，以具体协议为单位（如SNMP、TL1、FTP等），针对北向接口和设备直连的不同点，在满足连接、数据互通等基本功能的基础上，全部采用异步通信的方式进行数据发送和接收，并且基于非阻塞通信的原理进行数据处理。

2.1.1协议栈封装

1）定义2个通用接口，分别为协议栈管理接口与协议栈执行接口，规范每个协议栈实现的方法。

2）协议栈管理接口向上层管理模块提供该协议栈需要的参数信息，并实例化协议栈执行接口。

3）协议栈执行接口负责提供远端北向接口或者设备的连接方式，并提供数据交互方法。

2.1.2异步处理和非阻塞通信

在协议栈封装过程中，所有的数据交互方式均采用异步接口，以应对在设备直连方式下，设备数量过多而造成线程阻塞，影响程序执行效率。在实际运用过程中，通过北向接口进行数据采集时，北向接口的数量较少，通常由一个线程控制一个连接，以同步方式获取数据，多个连接之间不会互相影响。而在运用设备直连方式进行数据采集时，因设备数量大，通常会共用线程去处理任务。若采用同步方式，一旦遭遇连接不通或任务阻塞，将会影响其余连接，进而影响程序处理效率。而使用非阻塞通信方式，当一个方法需要处理I/O有关的事务时，不要求方法等待I/O操作完成即可返回[10]。为了避免线程阻塞，充分融合北向接口与设备直连2种数据采集模式，在进行协议栈一体化设计过程中，以非阻塞通信模式为核心思想，统一采用异步接口进行数据发送和接收。

2.2采集模式自适应识别

融合北向接口与设备直连模式进行数据采集，支持人工选择采集模式、自适应选择采集模式、智能化采集模式切换等功能。2.2.1人工选择采集模式采集模块设计提供2个配置页面，一个是北向接口采集配置界面，即选定采集模式为通过北向接口采集，配置需要的参数，启动采集任务；另一个是设备直连采集配置界面，即选定采集模式为通过设备直连采集，配置需要的参数，启动采集任务。人工判定需求，选择特定的采集模式。2.2.2自适应选择采集模式本文强调北向接口采集模式与设备直连采集模式的融合，提供了采集模式自适应选择，由于北向接口提供的数据已经过设备网管解析整理，且北向接口方式取得的数据简单清晰容易解析，对于2种模式都支持采集的数据，优先选择北向接口方式采集，对于仅支持设备直连方式采集的数据，则自动选择设备直连方式采集。

2.2.3智能采集模式切换

针对北向接口和设备直连模式均支持采集的指标项，提供采集模式智能切换功能，即当使用北向接口模式采集某项数据时，北向接口突然中断且重连失败，系统会自动切换至设备直连模式进行数据采集。同样，若使用设备直连采集模式采集某项数据时，出现设备连接中断，系统会自动切换至北向接口模式采集，保证了数据采集的稳定性。

2.3个性化功能互补

在传统的单模式数据采集时，北向接口采集的告警、资源、性能等数据，比如EPON网管的北向接口功能与光通信的骨干传输网管的北向接口功能类似，一般包括配置信息管理、网络拓扑管理、告警故障管理、性能数据管理[11]。经过设备网管的解析处理，使得采集到的数据变得清晰易懂，上层网管解析数据更为方便简洁。但是由于设备网管的功能限制，使得北向接口能采集的内容局限于设备网管能提供的数据，因此大部分设备数据无法通过北向接口采集，且数据的及时性也无法高于设备网管。而设备直连采集，由于设备数量巨大，导致采集数据的连接会话数量也很大，处理复杂，且原始数据解析的难度更大，但优势在于摆脱了设备网管的限制，可以采集设备的全量数据。基于以上2种采集模式各自的特性，本文提出了以北向接口功能为基础，进行告警、资源数据采集，通过设备直连模式采集设备配置、性能等数据，做到个性化功能互补。

2.4数据智能化匹配

针对同一个采集对象，采用北向接口和设备直连2种模式采集数据，必然需要对数据关联。在传统电力通信数据采集中，以设备网管分配的逻辑ID作为唯一标识定位资源，但是在设备直连模式下，无法获取该逻辑ID，因此，应当以设备的IP地址作为标识进行数据匹配。无论是北向接口采集的数据还是设备直连采集的数据，资源对象的IP地址稳定不变，而以设备IP地址为标识，可以使不同模式下采集的同一对象的指标数据进行关联匹配，以达到数据定位资源的目标。

2.5双维度数据验证

双维度数据验证方法是针对北向接口和设备直连模式均支持采集的指标项，提供双通道采集，经过特定的模型转换，将数据格式保持一致，然后通过IP地址匹配，对2种模式下采集到的同一个资源对象的数据进行匹配验证排错，提高了数据的全面性以及准确性。

3结语

目前，我国正在大力推进智能电网的建设，电力通信是智能电网建设的基础，能够确保智能电网快速、安全和正常运行，在国家电网公司的“十二五”规划中就明确了电力通信业务需求的特点是“高可靠、全方位、多元化、宽带化、网络化”[12]。如今，电力通信网已经基本实现光纤通信的覆盖，完善传输、数据调度和数据交换三大网络将成为电力通信网的优化方向[13]。智能电网对通信网络的需求是建设一个与电网同覆盖的双向、实时、互动的通信网络，该网络在现有电力通信网络中不断发展、完善，是现有电力通信网络的继承与发展[14]。在电网智能化的建设和发展过程中，对电力通信提出了“全方位、多元化、差异化”的保障需求。电网生产、运行、管理、经营等大规模全过程的监测、控制、分析、计算逐步向动态化、在线化、智能化、全过程化转化，将在电网各个环节部署更多的信息采集与监测点，电网核心业务数量及业务流量不断上升[15-17]本文对融合北向接口与设备直连模式的标准化通信设备数据采集技术进行了研究，通过2种采集模式的融合互补，极大地提高了现有电力通信设备采集数据的全面性和准确性。通过2种采集模式间的智能切换，提高了数据采集过程的稳定性，为上层综合网管进行设备监视、数据分析提供了坚实的数据基础，能够显著提升电力通信网运维管理效率，具有良好的应用前景，为电网安全稳定运行与电网企业现代化管理提供重要支撑。

参考文献：

[1]蔡斌,焦群.电力通信网网络管理的研究[J].电力系统通信,2001,22(12):12-16.

[2]黄小桃,焦群.电力系统通信综合网管系统设计[J].电力系统通信,2000,21(6):33-37.

[3]唐云善,王萍,张辉勇,等.新一代电力通信集中监控管理系统[J].电力系统通信,2010,31(1):43-46.

[4]张正峰.浅谈电力通信资源管理系统[J].电力系统通信,2005,26(2):45-47.

[5]南慧.电力通信资源管理系统的配置信息动态获取的研究与实现[D].北京:华北电力大学,2009.

[6]潘晓波.电力通信及其在智能电网中的应用[J].中国新通信2013,15(13):86.

[7]谢志远,任大江,徐志坚.基于PLC的10kV配电网管理系统[J].电力科学与工程,2010,26(2):43-46

[8]汤冰.电力终端通信接入网管理系统北向接口的设计与实现[D].北京:北京邮电大学,2014.

[9]冯颖,张宏进.北向接口业务开通功能的设计与实现[J].电视技术,2012,36(7):102-104.

[10]范宝德,马建生.Java非阻塞通信研究[J].微计算机信息,2006,22(12X):116-119.

[11]朱斌.电力终端通信接入网网管系统研究及应用[J].电力系统通信,2012,33(12):76-81.

[12]陈磊,冯小青.云网管系统架构方案研究[J].软件,2012,33(2):139-141.

[13]高金宝.电信网络管理平台北向接口的设计与实现[D].济南:山东大学,2007.

[14]陈安.网管系统中TL1北向接口的设计与实现[D].西安:西安电子科技大学,2007.

数据采集篇3

关键词：USBLabVIEW数据采集

通用串行总线USB（UniversalSerialBus）作为一种新型的数据通信接口在越来越广阔的领域得到应用。而基于USB接口的数据采集卡与传统的PCI卡及ISA卡相比具有即插即用、热插拔、传输速度快、通用性强、易扩展和性价比高等优点。

USB的应用程序一般用VisualC++编写，较为复杂，花费的时间较长。由美国国家仪器（VI）公司开发的LabVIEW语言是一种基于图形程序的编程语言，内含丰富的数据采集、数据信号分析分析以及控制等子程序，用户利用创建和调用子程序的方法编写程序，使创建的程序模块化，易于调试、理解和维护，而且程序编程简单、直观。因此它特别适用于数据采集处理系统。利用它编制USB应用程序，把LabVIEW语言和USB总线紧密结合起来的数据采集系统将集成两者的优点。USB总线可以实现对外部数据实时高速的采集，把采集的数据传送到主机后再通过LabVIEW的功能模块顺利实现数据显示、分析和存储。

1USB及其在数据采集设备中的应用

USB自1995年在Comdex上亮相以来，已广泛地为各PC厂家所支持。现在生产的PC几乎都配置了USB接口，Microsoft的Windows98、NT以及MacOS、Linux等流行操作系统都增加对USB的支持。USB具有速度快、设备安装和配置容易、易于扩展、能够采用总线供电、使用灵活等主要优点，应用越来越广泛。

一个实用的USB数据采集系统硬件一般包括微控制器、USB通信接口以及根据系统需要添加的A/D转换器和EPROM、SRAM等。为了扩展其用途，还可以加上多路模拟开关和数字I/O端口。系统的A/D、数字I/O的设计可沿用传统的设计方法，根据采集的精度、速率、通道数等诸元素选择合适的芯片，设计时应充分注意抗干扰性，尤其对A/D采集更是如此。在微控制器和USB接口的选择上有两种方式：一种是采用普通单片机加上专用的USB通信芯片；另一种是采用具备USB通信功能的单片机。USB的另一大优点是可以总线供电，在数据采集设备中耗电量通道不大，因此可以设计成总线供电。

一个USB设备的软件一般包括主机的驱动程序、应用程序和写进ROM里面的Firmware。Windows98提供了多种USB设备的驱动程序，但还没有一种专门针对数据采集系统，所以必须针对特定的设备编制驱动程序。尽管系统已经提供了很多标准接口函数，但编制驱动程序仍然是USB开发中最困难的一件事。通常采用WindowsDDK实现，但现在有许多第三方软件厂商提供了各种各样的生成工具，如Compuware的DriverWorks、BlueWaters的DriverWizard等软件能够轻易地生成高质量的USB驱动程序。单片机程序的编制也同样困难，而且没有任何一家厂商提供了自动生成的工具。编制一个稳定、完善的单片机程序直接关系到设备性能，必须给予充分的重视。以上两个程序是开发者所关心的，而用户却不太关心。用户关心的是如何高效地通过鼠标操作设备，如何处理和分析采集进来的大量数据。因此还必须有高质量的用户软件。用户软件必须有友好的界面、强大的数据分析和处理能力以及提供给用户进行再开发的接口。

2LabVIEW及其外部动态链接库的调用

LabVIEW是美国国家仪器（NI）公司开发的一种基于图形程序的虚拟仪表编程语言，其在测试与测量、数据采集、仪器控制、数字信号分析、工厂自动化等领域获得了广泛的应用。LabVIEW程序称为虚拟仪器程序（简称VI），主要包括两部分：前面板（即人机界面）和方框图程序。前面板用于模拟真实仪器的面板操作，可设置输入数值、观察输出值以及实现图表、文本等显示。框图程序应用图形编程语言编写，相当于传统程序的源代码。其用于传送前面板输入的命令参数到仪器以执行相应的操作。LabVIEW的强大功能在于层次化结构，用户可以把创建的VI程序当作子程序调用，以创建更复杂的程序，而且，调用阶数可以是任意的。LabVIEW这种创建和调用子程序的方法使创建的程序模块化，易于调试、理解和维护。LabVIEW编程方法与传统的程序设计方法不同，它拥有流程图程序设计语言的特点，摆脱了传统程序语言线形结构的束缚。LabVIEW的执行顺序依方块图间数据的流向决定，而不像一般通用的编程语言逐行执行。在编写方框图程序时，只需从功能模块中选用不同的函数图标，然后再以线条相互连接，即可实现数据的传输。

LabVIEW虽有接口卡的驱动和管理程序，但主要是针对NI公司自己生产的卡。对于普通的I/O卡，还不能直接被LabVIEW所应用，必须采取其他方法。其中可以用LabVIEW的PortIn和PortOut功能，但此法应用简单，无法实现较复杂的接口功能。而采用动态链接库，可以根据具体需要编写适当的程序，灵活利用LabVIEW的各项功能。用户可以自己编写DLLs实现LabVIEW与硬件的链接。用VC++6.0编制动态链接库，首先生成DLL框架，AppWizard将自动生成项目文件，但不产生任何代码，所有代码均需用户自己键入。DLL需要的文件有：①h函数声明文件；②c源文件；③def定义文件。H文件的作用是声明DLL要实现的函数原型，供DLL编译使用，同时还提供应用程序编译使用。C文件是实现具体文件的源文件，它有一个入口点函数，在DLL被初次调用的运行，做一些初始化工作。一般情况下，用户无须做什么初始化工作，只需保留入口点函数框架即可。def文件是DLL项目中比较特殊的文件，它用来定义该DLL项目将输出哪些函数，只有该文件列出的函数才能被应用函数调用。要输出的函数名列在该文件EXPORTS关键字下面。

3基于AN2131Q的单光子采集系统

该采集系统由笔者自行开发并用于单光子计数种子活性快速检测仪中。它主要由将光子信号转为电信号的光电倍增管（PMT）及其辅助电路和基于AN2131Q的USB采集卡组成。PMT及其前置放大器、放大器、甄别器等辅助电路能将微弱的光子信号转换为15ns的标准TTL脉冲信号，脉冲信号经过分频处理后再被USB采集，USB将采集的结果实时地传给主机处理。

3.1USB采集卡的硬件组成

该采集卡由微控制器、USB通信接口、主机以及数字I/O端口组成，如图1所示。

笔者设计了一种同步传输方式的单片方案，应用了内置微处理器的USB设计——EZ-USBAN2131Q。它是Cypress公司的一种内嵌微控制器的80脚USB芯片，包含三个8位多功能口，8位数据端口，16位地址端口，二个USB数据端口，二个可定义16位的定时/计数器和其他输入输出端口。其采用一种基于内部RAM的解决方案，允许客户随时不断地设置和升级，不受端口数、缓冲大小和传输速度及传输方式的限制。片内嵌有一个增强型8051微控制器，其4个时钟的循环周期使它比标准8051的速度快3倍。采用同步传输方式将单片机的计数值实时传送给主机，而主机对计数器的控制信号则采用块传输方式传送。EZ-USB是Cypress公司推出的USB开发系统，它为USB外设提供了一种很好的集成化解决方案。EZ-USB在其内核已做了大量繁琐的、重复性的工作，这样就简化了开发代码，进而缩短了开发周期。此外，开发商还提供了配套的开发软件（包括编译软件uVision51、调试软件dScope51、控制软件EZUSBControllPanel）以及驱动程序GPD（GeneralPurposeDriver）接口，以便于用户进行开发使用。

图2开启设备和获取采集数据的流程图

3.2USB采集卡的软件构成

在USB的Firmware中，采取同步传输（IsochronousTransactions）和块传输（BulkTransactions）两种传输方式。同步方式用来实时传送采集的数据，块传输主要用来传输主机命令信号和USB的状态信息。块传输中利用端点（Endpoint）2。两种传输方式的核心中断程序如下：

voidISR_Sutok(void)interrupt0//块传输方式

{

//initializethecoutersinthe8051

TMOD=0x05；

TCON=0x10；

TH0=0；

TL0=0;

Thb=0,

TH0=0；

TL0=0;

thb=0；

EZUSB_IRQ_CLEAR（）；

USBIRQ=bmSUTOK;//ClearSUTOKIRQ

}

voidISR_Sof(void)interrupt0//同步传输方式

{

if(TCON&0x21){//Dealwiththecounteroverflow

TH0=0;

Tl0=0;

THB++;

TCON&=0xdf;}

IN8DATA=TH0;//3Bytescounterresult

IN8DATA=TL0；

IN8DATA=THB；

EZUSB_IRQ_CLEAR（）；

USBIRQ=bmSOF;//ClearSOFIRQ

}

在LabVIEW应用程序中设计了一Usb.dll文件作为LabVIEW与USB的驱动程序。由于EZ-USB开发系统中已经提供了底层驱动程序（GPD）接口函数，用户只需调用这些函数即可与USB设备连接。因此在DLL的编制中只需调用它提供的函数，大大节约了开发时间，提高了开发速度。创建的Usb.dll文件中包含了如下五个输出函数，功能说明如表1所示。

表1Usb.dll包含函数的功能说明

Control主机对USB设备的控制

ReadResult获取USB发送到主机的数据

StartIsoStream启动设备的同步传输流

StartThread得到标准设备的设备描述符

StopThread关闭设备的同步传输流

其定义如下：

LPSTR_declspec(dllexport)_stdcallControl(intinput);

int_declspec(dllexport)_stdcallReadResult(void);

int_declspec(dllexport)_stdcallStartIsoStream(void);

int_declspec(dllexport)_stdcallStartThread(void);

int_declspec(dllexport)_stdcallStopThread(void)；

开启设备和获取采集数据的过程如图2所示。它的主要功能有：开启或关闭USB设备、检测USB设备、设置USB数据传输管道（pipe）和端点（endpoint）、实时从USB接口采集数据、显示并分析数据。

数据采集篇4

随着测控技术的迅猛发展，以嵌入式计算机为核心的数据采集系统己经在测控领域中占到了统治地位。数据采集系统是将现场采集到的数据进行处理、传输、显示、存储等操作。数据采集系统的主要功能是把模拟信号变成数字信号，并进行分析、处理、存储和显示。

本论文工作所开发研制的数据采集系统由嵌入式微处理器、日历时钟芯片、模数转换器、非易失性存储器等器件组成。运用最小功耗设计理论设计，可以在电池供电的情况下长期采集和记录数据，可长时间处于工作状态。通过具有报警输出的日历时钟芯片等组成唤醒单元，可在设定时间开启电源。上电后，采用单片机控制数据采集、存储以及对时钟芯片的再设定等，而数码管作为设定指示和时间、采集到模拟量信号的显示。

系统通过仿真总线的方式扩展较大容量外部存储器，可存储的多次采集时间和采集数据。而利用更换存储器方式，或利用串行口通信方式可将存储器中的数据发送到便携式电脑中作进一步处理。

关键字：单片机，低功耗，数据采集，定时

摘要 1

Summary 2

第1章 文献综述 1

略………

第2章 定时采集系统的硬件设计 18

略………

第3章 定时采集系统的软件设计 38

略………

第4章 系统低功耗设计 48

略………

第5章 定时数据采集系统使用介绍 51

结论 56

致谢 58

参考文献 59

附录1 60（程序）

附录2 70（数字仪器）

附录3 76（Digital Instruments）

（附录不在论文字数内）

：33000多字的本科论文，适合自动化、电信与通信专业

有中英文摘要、目录、图、参考文献

400元

数据采集篇5

关键词：USB100；数据采集；ADμC812；At90s8515

中图分类号：TP334文献标识码：A文章编号：1009-3044(2008)30-0656-01

Design of USB Data Collecting System

WANG Jiang-zhou

(School of Continuing Education, Xi'an Institute of Post and Telecommunications, Xi'an 710061, China)

Abstract: In the field of industrial control, the application of the microprocessor is very general. In recent years, the universal serial bus (USB) is used widely in each field because of a good many merits, such as high speed transmitting and play-and-plug. Combination of them is suitable for on-the-spot data collecting. This paper introduces a kind of USB data colleting system that uses the single-chip computer as the microprocessor. It is swift to be developed and easy to be programmed, having certain practicability and advance.

Key words: USB100；data collecting；ADμC812；At90s8515

1 引言

现代工业生产和科学研究对数据采集的要求日益提高，在一些实时信号测量和图像处理等领域要进行高速精确数据采集，通用串行总线（USB数据总线）已经在各种计算机中得到普及，并成为计算机的标准外设，它具有安装方便、通用、高速传输、支持热插拔即插即用可开发成本低等优点。在工业控制领域经常需要采集数据并将数据传输到计算机中进行处理，工业控制中应用广泛的是微处理器。USB总线和微处理器结合，非常适合现场数据采集等，在工业控制中有广阔的应用前景。文中介绍一种USB采集系统，是二者有效结合使用的例子。

2 数据采集系统开发概述

USB控制器主要有两种：一种是带USB接口的单片机（MCU）；另一种是专用的USB接口芯片。本系统选择专用的USB接口芯片，这就必须有一个位处理器进行协议处理和数据交换。专用USB接口芯片的优点是价格便宜。接口方便和可靠性高，它尤其适合于产品的改型设计，硬件上仅需对并行总线和中断进行改动，软件则需要增加微处理器的USB中断处理和数据交换程序以及PC机的USB接口通信程序，无需对原有产品系统结构作很大的改动。

一般USB接口芯片都支持多种并行总线结构，可方便地与多种单片机接口。硬件设计中要注意USB接口芯片的时钟速度较高。如果芯片内部没有PLL倍频，则单片机晶体振荡频率应该注意与之匹配，USB设备的软件设计主要包括两部分：1）、USB设备端的单片机软件，完成USB协议处理与数据交换以及其他应用功能软件，完成USB协议处理与数据交换以及其他应用功能程序；2）、PC机端的程序由USB通信程序和用户服务程序两部分组成。用户服务程序通过USB通信程序与系统USBDI（USB device interface）通信，由系统完成USB协议处理与数据传输。PC端程序的开发难度较大，而文中介绍的系统不需要用户熟悉USB协议以及Windows体系结构等就可以很快开发。下面从硬件和软件两方面介绍一个便携式USB数据采集系统的开发。

3 硬件设计

对于USB接口芯片，选择了USB100，它是目前开发较方便的USB接口产品，不必为其编写驱动程序。USB100模块的数据通信速度最高为8Mb/s，它是完全集成化的USB通信接口模块，完全满足USB1.1标准。内部多达384字节的发送缓冲区和128字节的接收缓冲区，满足高速通信与单片机接口的需要。单片机可选择带A/D、D/A转换的类型，也可以选择普通单片机，然后再选择A/D、D/A模块。

数据采集篇6

1.1传感器电路设计外部电容与片内电阻一起构成一个低通滤波器，用于限制ADXRS646速率响应的带宽。3dB频率由和设置：可以精确控制该频率，因为在制造期间被调整至。在RATEOUT脚（1B，2A）和SUMJ引脚（1C，2C）之间连接的任何外部电阻将导致：由于陀螺仪的18kHz谐振频率会造成解调时的高频噪声，因此在陀螺仪的输出管脚由电阻和22nF电容（2.2kHz极点）组成低通RC输出滤波器，以衰减解调尖峰引起的高频噪声。

1.2控制电路与模数转换电路设计选用C8051F410单片机对整个系统进行控制，C8051F410具有与8051兼容的高速CIP-51内核，与MCS-51指令完全兼容。C8051F410资源丰富，具有24个I/O引脚，同时还具有时钟振荡器等功能模块。ADS1274是TI公司生产的24位无失码高性能模数转换器，具有最高144kSPS数据采样速率，功耗低，在52kSPS（高精度模式）采样速率下，单通道功耗仅为31mW，工作温度范围广，最低温度-40°C最高温度+125°C，非常适合应用于条件苛刻的工业控制领域。该芯片模拟前端具有4个单端输入通道,模拟部分采用5V供电，内核为3.3V或者1.8V供电。模拟输入电压为———0.3V~6V。采用THS4521作为AD转换器的驱动器，THS4521极低功耗轨至轨输出全差动放大器，带宽高达145MHz，数据转换速率高达490V/μs，直流开环增益为119dB，宽范围供电电压：+2.5V~+5.5V，单通道电流仅为1.14mA。C8051F410与ADS1274通过标准SPI接口进行通信，设计采用3线制的主、从方式。C8051F410控制ADS1274，C8051F410通过SCLK时钟管脚提供并控制ADS1274提供SPI的时钟信号。单片机的MOSI引脚与ADS1274的DIN引脚相连，向ADS1274发送数据，实现配置寄存器，设置工作模式等功能。C8051F410的MISO引脚与ADS1274的DOUT相连，接收AD转换的数据。ADS1274的RDY引脚与单片机的P0.3引脚相连，当ADS1274完成模数转换以后，RDY引脚有高电平变为低电平，通知单片机模数转换完成，准备读取数据。

1.3恒流电源电路LM2904系列运算放大器是TI公司生产的低功耗双运算放大器。ADXRS646型MEMS陀螺仪需要的供电电压为6V，由LM2904构成的放大电路可以产生两路稳定的6V电压，输出抖动小于5mV，输出电流可以达到40mA，满足MEMS陀螺仪的供电要求。由LM2904构成的基本电压放大电路。放大电路的输入电压5V，电压的放大倍数为1.2倍，由此可以得出两路输出A和B均为6V。

2软件设计

数据采集装置上电后首先对C8051F410进行初始化设置，通过配置寄存器，设置SPI通信模式、内部振荡器的工作频率以及看门狗的监测时间。然后对ADS1274进行AD采样率、工作模式和通信模式等模块的初始化。选择ADS1274的差分模拟输入通道AIN1、AIN2、AIN3进行数据采集，模拟电压输入范围为0~5V，数据寄存器配置为24位。向ADS1274发送开始转换命令，单片机开始计时，计时时间未结束，传输采集的数据；计时时间到，继续开始AD转换。采集后的角速率数据经过单片机简单处理后，由RS232串口输出。

3实验分析与结论

数据采集篇7

（一）利用被审计单位应用系统的数据转出功能。利用此功能的前提是转出数据格式符合审计人员的需求，或者转出数据经过处理后能够符合审计人员的需求。例如：被审计单位的财务系统使用的是浪潮国强财务软件，利用其自身的凭证和余额的查询功能将数据查询出，然后利用其“文件”菜单下的“数据转出”功能可将查询出的数据转存为.xls、.dbf、.txt文件，然后在笔记本电脑上就可以直接进行分析处理或者导入“AO”软件中进行分析处理。此方法简单易用，适用于一般的审计人员，特别是不熟悉后台数据库技术的同志。

（二）利用被审计单位业务系统所使用的数据库系统的转出功能。例如：利用sql数据库自身的“导入和导出数据”功能可以将sql数据库中的数据表全部或有选择转存为AO等审计软件所需要的格式。

（三）根据了解的系统的情况，直接将可利用的数据文件复制到审计人员的计算机中。例如：用友7.0至用友u8.12财务软件的数据库为access，则可以找到其文件存放位置，直接将ufdata.mdb文件拷贝出，再运用“AO”等专用审计软件导入进行数据分析处理。

（四）运用“ODBC”技术实现跨系统、跨平台的数据采集。ODBC（OpenDataBaseconnectivity），直译为开放式数据库互连接，是一个数据库访问库，它包含访问不同数据库所要求的ODBC驱动程序，如要访问Sybase，就用Sybase的ODBC驱动程序，要访问DB2数据库，就用DB2的ODBC驱动程序。总之，应用程序要访问不同类型的数据库，只要调用ODBC所支持的函数，动态链接到相应的驱动程序上即可。

在对被审单位进行审计时，审计人员可以采用ODBC技术使被审单位信息系统中的后台数据库和审计组自带的服务器或笔记本电脑中的数据库之间通过计算机网络直接相连（可直接接入其内部局域网，成为当中的一员；或者用交叉网线直接与服务器相连，最好采用前一种方法）。根据审计要求，就可以通过这一直接连接的数据接口，在被审单位信息系统的数据库中读取规定时间段、规定范围内的审计数据。

下面，以我局在近期的“五保专项资金审计”中使用SQLServer2000数据库管理系统访问被审单位小型机UNIX系统中Sybase数据库的实际工作经历为例，介绍一下运用ODBC技术实现跨系统、跨平台访问大型网络数据库的操作步骤及方法。

第一步，安装Sybase客户端及SQLServer2000软件。在审计人员的电脑中安装Sybase客户端及SQLServer2000数据库管理系统，并能够访问被审计单位UNIX服务器上的Sybase数据库。

第二步，新建数据库。开启SQLServer2000服务管理器，打开“企业管理器”，新建一个数据库，命名为“Sybase数据转换库”。

第三步，配置数据源。运行SQLServer2000的“DTS导入/导出向导”，选择数据源为“SybaseASEOLEDBProvider”，在“数据链接属性”选项卡中，输入各项连接信息：填入数据源名称（由被审计单位提供，它包含的就是Sybase客户端与后台数据库连接的配置信息），输入用户名称和密码，并在“输入要使用的初始目录”中，选择需要访问的数据库。

数据采集篇8

【关键词】 智能电表 数据采集 硬件设计 功能

“十一五”期间，我国经济和社会得到了高速的发展，人民生活质量不断提高，我国电力行业也在逐步推进市场化的进程，电力企业市场化的经营模式逐渐形成，城乡电网改造工程逐步实施，1户1表的政策得到了深入的贯彻执行，特别是近几年智能电网的发展，在配电网中广泛应用智能电表代替传统的电表。智能电表中核心的部件是其数据集中采集器，其主要实现了对电网中数据的有效采集及传输功能，为智能用电及智能配电网的建设奠定了基础。本文对智能电表数据集中采集器进行了分析。

1 当前的集中采集器综述

当前智能电表中的抄录系统主要是由3部分构成的，即数据集中采集模块，微机管理系统和数据集中器。其中集中器主要实现了对上下设备的数据汇总和分配，并且能够实现对电能表智能控制命令传输的作用，有利于电能采集数据的集中。

当前智能电表的数据集中器主要是利用上行的通道对远程系统所发出的命令进行接收，并能够实现有效动作的执行。其能够预先设定好的参数向通信服务器实现连接，这样就能够对电能采集信息进行传输，利用下行的数据通道可以完成数据的发送，综合上行和下行数据传输即可实现对智能电表的综合控制。通过以上分析我们可以看出，集中采集器能够有效实现数据采集命令的控制，并能够实现对智能电表所发出的数据进行存储的功能。

2 集中器功能总体设计

对智能电表数据集中器进行总体设计主要是利用其所对应的下行设备来支持645数据传输规约来实现的。其可采用RS-485总线规约进行通信，并依据645数据规约来实现数据的有效传输，相比与传统的智能电表数据采集器，本数据集中采集器具有以下功能：

（1）自动查找智能电表功能：在相关的应用地点安装数据集中器后，系统可进行具体的参数配置：首先对智能电表进行自动查找，自动地通过下行通道来发出找表的相关指令，且能够实现接收数据的自动分析。如果经过分析其接收的智能电表地址是正确的，则系统将对智能电表的地址进行存储。数据集中器的这项功能实现了智能电表地址的有效查找和分析，不但节约了时间，而且更具经济性和实用性，有利于提高系统的整体效率。

（2）主动校时功能：本文所提出的智能电表数据集中采集器能够实现主动校时，即当需要对数据集中器内的数据进行上传时，其会主动地构建与远程服务器的TCP连接，当连接建立完成后且还没有进行数据包的发送前，智能电表数据集中器会发送校时请求，在相关的服务器接收到校时请求的报文后，可以从中对返回的时间进行抽取，并根据所抽取的内容来系统地对RTC设备进行相关设置，这样就能够确保服务器与系统的时间保持同步，不但有助于对数据的实时性进行提高，而且还有利于智能电表数据的保存和上传。

（3）电能采集数据的存储和透传功能：智能电表数据集中采集器能够实现电能采集数据的存储和透传。该系统在所预设的工作时段利用下行信道对智能电表所发出的抄表命令进行存储，并能够根据所预设的通信地址、通信时间及端口号等相关参数有效实现数据服务器的TCP连接。

3 硬件设计

（1）选择合适的处理器。该智能电表数据集中采集器的硬件平台主要是以嵌入式的操作系统为基础的。由于嵌入式平台对整个嵌入式系统的应用性能至关重要，因此需要合理选择嵌入式处理器。要综合考虑处理器的性能、市场价格及调试开发工具等多种因素。

（2）设计高效的远程费控检测模块。本文所设计的智能电表数据集中采集器具有高效的远程费控检测模块，其利用核心的处理器-S3C241，具有性价比高，功耗小的技术优势，能够有效地对16的Thumb指令及32位的ARM指令进行支持。

4 软件设计

智能电表数据集中采集器采用嵌入式系统，其包含了底层的硬件设计、系统内核和文件系统，并能够支持多种通信协议，还能够实现操作系统下的函数开发及应用程序的嵌入。由于嵌入式系统具有高效的特点，其能够实现系统的专用性。该系统软件设计核心技术主要有：

（1）开发环境构建。本系统的开发环境主要由PC机和开发板两部分组成，其利用交叉编译的方式进行。其嵌入式开发环境是通过windows xp的模拟机VMware Workstation6.0构成的，并在Linux中进行应用，可以在宿主机上应用/etc/sysconfig/network-s/ifcfg-eth0命令来修改相关的IP、网关和子网掩码等，保证了目标板和主机在同一个子网内。

（2）终端构建。在windows系统中可以通过并行的通信工具实现嵌入式系统的通信，在终端设计中应用U-Boot作为系统调试内核的调试工具。在终端中应用MINICOM中实现信息与窗口的交互和相关参数的配置。

5 结语

本文所设计的智能电表数据集中采集器能够克服传统采集器的缺点，可利用上行通道及下行通道的数据传输特点，实现智能配电网电能信息的有效的采集。经过相关的系统调试，已在实际中进行了应用，效果良好，具有一定的推广使用价值。

参考文献：

[1]倪益民，奚后玮，许祖锋等.电力系统实时动态监测系统中数据集中器的设计与实现[J].电网技术，2006，10（30）：198-201.

数据采集篇9

关键词：GIS 数据采集；数字化测绘；空间数据；属性数据；精度要求；数据管理

中图分类号：P2 文献标识码：A 文章编号：

为地理信息系统采集地理信息或数据的工作统称为地理信息调查，又称为 GIS 数据采集，例如，目前广泛开展的城市部件调查、城镇地籍调查、电信资源调查和土地调查等都属于地理信息调查业务。

受传统测绘业务和惯性思维的影响，很多测绘专业技术人员都把 GIS 数据采集视为数字化测绘，尤其是为各种城市地理信息系统采集数据的工作。例如城镇地籍调查和城市部件调查等都是典型的GIS 数据采集项目，却都被视为数字化测绘业务，结果出现了很多诸如数据不符合相应地理信息系统要求等不应该出现的问题。本文在总结笔者长期从事地理信息工程和测绘工程经验的基础上，深入探讨了 GIS 数据采集与数字化测绘之间的异同之处。

1 GIS与数字化测绘概述

1.1GIS概述

GIS(Geographical Information System)地理信息系统，是一门以地理信息为核心，以计算机技术作支持，集空间科学、环境科学、遥感科学、地理学、地图学、信息学管理学于一体建立起来的综合技术与学科。自上个世纪60年代兴起以来，得到广泛关注和迅猛发展，目前已成为许多学科领域获取、存储、查询、分析、管理地理空间信息重要工具。GIS的核心是基于实测数据的数据库，除具有优良的数据库管理功能外，还具有超强的数字化制图系统，以及通过空间查询和空间分析后的辅助决策功能。空间分析功能是GIS的出发点和目标，GIS通过对原有信息的处理得到对决策具有指导和启发意义的新信息。例如，美国三里岛核扩散事件中，利用GIS系统在24小时内作出了各种可能扩散范围和损失的估计。全球大面积小麦估产，火山爆发预测，全球天气周期性分析等都是在GIS系统下进行的。2006年2月我国GIS系统--国家基础地理信息系统1：50000数据库通过验收，这是我国目前比例尺最大精度最高的GIS系统，目前该数据库已在国土规划、农林水电、交通国防等部门使用，产生了良好的经济效益和社会效益。

1.2数字化测绘概述

我国的测绘事业经过近几十年的快速发展，已经实现了从手工、模拟测绘到解析测绘，再到数字测绘的过渡。从古埃及的土地丈量到今天的航天遥感遥测，从传统的手描笔绘到现代的电脑编辑激光喷绘，反映的正是测绘生产的数字化发展进程。数字化测绘主要体现在测绘生产过程的数字化、测绘产品的数字化(包括大地网、坐标系、影像产品、地图产品)和测绘保障的数字化。

( 一) 测图自动化。传统测图方式依靠手工作业进行，在外业测量中人员需要通过手工的方式记录测量数据，绘制地形图，计算坐标、面积等数据。数字测绘技术实现了野外测量的自动化，不仅能够自动记录信息，并且可以自动解算、自动处理数据，使整个测图工作实现了自动化，大大提高了测图的工作效率和工作质量。另外，数字测绘技术还可以为用图者提供便于携带、存取的数字地形图软盘。

( 二) 图形自动化。数字测绘技术生成的数字地形图，不仅存储了符号、数字等数据信息，而且便于传输、使用。数字地图能够自动提取方位、面积、坐标等信息，并可供计算机辅助设计和地理信息系统使用。

( 三) 测图精度高。传统的测绘方式由于测定、展绘及视距等误差的存在，精度普遍不高，1: 1000 比例尺会存在 ±0.5mm 的误差，其中视距、刺点是主要的误差源。即便是使用经纬仪视距高程法在平坦地区测定高程，也存在较大的地形点高程误差，当倾角增大时误差也会进一步增加。数字测绘技术在野外采集数据时不存在精度损失，也不会因比例尺的关系而影响精度，因此数字测绘技术因其精度高的优势在地籍、管网、房产等测量中得到了广泛的应用。

( 四) 便于更新。传统的测绘方式在遇到实地有变化时，需要进行重新测量，否则将存在较大的误差，而数字测绘技术在面对这种问题时，仅仅需要输入新的坐标、代码等数据，再通过相关软件的编辑处理，便可以将成果进行更新，从而保证成果的现势性，可谓是一劳永逸的好办法。

( 五) 耐保存。传统的测绘方式将地图信息记载到图纸上，随着时间的推移，图纸难免会在使用、保存过程中出现变形，从而使地图信息产生误差。然而数字测绘技术不需要考虑这一因素，由于采用数字化的保存方式，不会受图纸变形的影响。

( 六) 输出形式多样化。由于数字测绘技术的成果由数字化媒介保存，可以通过计算机、打印机等设备将成果以多种方式进行输出，能够根据用户的实际需要调整输出的方式，为其实际使用提供了诸多方便。

( 七) 便于加工利用。由于数字测图采用分层存放的方式不受图面的限制，测绘成果的进一步加工利用十分方便，有利于测绘服务的拓宽。例如在 CASS 软件中能够定义许多层，可以根据需要定义房屋、道路、电力线等层，关闭、打开层便能方便地提取信息。

( 八) 为 GIS 提供信息。GIS 在数据采集方面的工作量最大，数字测绘技术可以将测绘成果转换为 GIS 数据库接纳的格式，使其得到补充和更新，从而保证 GIS 功能的充分发挥。

2 GIS 数据采集与数字化测绘的相同之处

GIS 数据采集与数字化测绘是 2 项性质不同的业务，但它们之间也有很多相同之处，具体说来包括以下 2 个方面。

2.1 对象相同

GIS 数据采集与数字化测绘的对象都是地球表面上的地理实体，虽然二者的侧重点不同( 前者侧重于某一行业或某种专题地理实体，后者则侧重于全部的地理实体) ，甚至有时对同一个客观实体的命名也不同，但二者都需要测量地理实体的空间位置和几何形状。

例如，在城市部件调查中，把各种井盖、路灯、电杆和绿地等地理实体统称为城市部件，测量这些地理实体的位置和形状，而在大比例尺数字化测图中，却把这些地理实体统称为地物，也需要测量它们的位置和形状。又例如，在城镇地籍调查中，把作为权属界线的各种围墙、栅栏、铁丝网和建筑物等线状地物的拐点统称为界址点，对它们进行测量定位，而在大比例尺数字化测图工作中，则把上述拐点统称为地物特征点，对它们进行测量定位。

2.2 技术相同

GIS 数据采集与数字化测绘都使用全站仪、GPS等测绘仪器，都采用解析法等测量和定位方法，都是在某一空间参考基准或坐标系统下开展工作，可以说 GIS 数据采集与数字化测绘采用相同的测量或定位技术。

例如，在城市部件调查中，需要在与调查底图同一个空间参考基准下开展城市部件空间数据的采集工作，而城市部件的空间位置与几何形状的采集既可以用全站仪采集，也可以用 GPS 接收机采集，且大都用解析法采集。同样，在城镇地籍调查中，界址点测量是城镇地籍调查采集宗地空间数据的基本工作，通常也都用全站仪和 GPS 接收机，也都采用解析法测量。

3GIS 数据采集与数字化测绘的不同之处

GIS 数据采集与数字化测绘虽有以上相同之处，但二者在工作目的、工作内容、选取和抽象的原则、工作难点、精度要求以及数据组织与管理的方法等方面有着明显的区别。

3.1 工作目的不同

GIS 数据采集与数字化测绘都需要采集与地理实体定位和形状等几何特征有关的空间数据，但前者是为了管理地理实体，后者则是为了在地图上表达地理实体。

GIS 数据采集是为地理信息系统采集数据的工作，地理实体作为地理信息系统管理的对象具有明显的空间分布特征，其定位和形状方面的信息是重要的地理信息，因此，需要采集地理实体定位和形状方面的数据，作为地理信息系统管理的重要内容。而数字化测绘则是测量和表达地理信息的技术，它测量地理实体特征点的位置，并将这些数据可视化，绘制成地图，其目的在于反映和表达地理信息。

例如，在城市部件调查中，城市部件的空间位置是其重要的地理信息，是城市部件出现问题后确定其位置的重要依据，在数字化城市管理系统中具有重要的作用。在城镇地籍调查中，界址点的空间位置决定了宗地的位置和面积，具有重要的法律效力，因此是城镇地籍信息系统重要的管理内容。

3.2 工作内容不同

GIS 数据采集的地理信息不仅包括空间数据，也包括属性数据。数字化测绘仅仅采集地理实体的空间数据。

例如，在城市部件调查中，不仅要采集城市部件的空间数据，还需要调查其管理部门、权属部门、维护部门和状态等属性信息。在城镇地籍调查中，除了要测量界址点的坐标来确定宗地的空间位置和面积外，还需要调查宗地的权利人、权属性质、土地利用类型和四至等属性信息。

3.3 选取和抽象的原则不同

测绘地图，尤其是测绘大比例尺地形图时，选取地物的原则： 一是地物的空间大小，二是地物的重要程度。通常情况下，比较大的和比较重要的地物都会被选取并绘制到地图上，而抽象的原则则完全是根据地物的空间大小与地图的比例尺来确定的，即空间尺寸大于比例尺精度的地物通常都会被依比例尺表达，而空间尺寸小于比例尺精度的地物通常都会被不依比例尺或半依比例尺表达为点状符号或线状符号。

采集 GIS 数据时，地理对象的选取原则完全取决于该地理对象是否是系统管理的对象，地理对象的抽象原则完全取决于系统管理的需要，而不管它的空间尺寸和重要程度。例如，在数字化城市管理系统中，建筑工地再大也被抽象为点，而绿地再小也被抽象为面。

3.4 工作难点不同

GIS 数据采集的难点是属性调查，而数字化测绘的难点是地物和地形的抽象及表达。地理实体的属性信息不像其空间特征那么直观，需要到相关的部门查阅资料和询问相关的人员，而且要保证调查得到的信息必须完整和准确。例如，在城市部件调查中，由于城市基础设施和公用设施建设的不规范或多样化，许多城市部件很难界定其名称，这样就更难以调查其他属性信息了。

在有些城市，即使是同一种城市部件，在不同的区域其管理部门、权属部门和维护部门等属性信息也不相同，给调查增加了难度。在城镇地籍调查中，权属界线的调查与核实是调查工作中最难的事情，既要确定权属界线的位置，又要求界线两侧的权利人认可并签字，有时由于土地权属纠纷的主观原因和找不到权利人的客观原因，调查工作就更困难了。

在数字化测绘工作中，地物和地形本身的形状就很复杂，从现实中抽象出其空间形状和特征点并测量其坐标就是一件困难的事情，而更困难的就是在地图上根据其特征点用地图符号将其表达出来，尤其是复杂地形的表达，以及复杂的综合地物的表达。例如，在城市大比例尺地形图测绘工作中，由于建筑和道路设计的多样化，许多建筑物和道路设施不仅难以抽象测量，更难以在图上用符号表达。

3.5 精度要求不同

GIS 数据采集和数字化测绘对地理实体定位测量的精度要求通常是不同的，与同一比例尺地形图测绘精度相比较，有些 GIS 数据采集精度要求较高，有些则很低。

在城市部件调查中，数字化城市管理系统对城市部件空间数据的定位精度与其调查底图的测绘精度相比，是非常低的。例如，城市部件调查对空间位置或边界明确的部件，如井盖、灯等点状部件的点位中误差的要求为不大于 ±0.5 m，而其调查底图 1∶500 地形图对点状地物的点位中误差的要求则为不大于 ±0.25 m。

在城镇地籍调查中，城镇地籍信息系统对界址点的定位精度与其调查底图的测绘精度相比，则是比较高的。城镇地籍测量对界址点测量的点位中误差的要求为不大于 ± 0．05 m，是其调查底图1∶500 地形图对地物特征点点位中误差要求的五分之一。

3.6 数据组织和管理方法不同

地图数据与 GIS 数据是 2 个相近的概念，地图数据强调对地理信息的描述或地理实体的表达，是以制作地图为目标的；而 GIS 数据则强调对地理信息或地理实体的管理，是以建立管理系统为目标的。虽然二者的空间数据都是几何数据，且生产方式相同，有时把地图数据与 GIS 数据都称为空间数据，但其组织方式和管理方法却不完全相同，前者通常采用面条数据或实体数据结构，而后者通常则使用拓扑数据结构，以便对地理实体的空间位置关系进行分析。

地图主要是用地图符号表达地理实体特征的，所以，地图数据主要表达地理信息的各类地图符号数据，其最大特点是只有几何数据( 或只有几何数据及其属性编码) ，没有属性数据，是用地图符号表达地理实体属性特征的。而 GIS 则是用属性信息表达地理实体的属性特征，所以，GIS 数据由 2部分组成，一部分是描述地理实体几何特征的几何数据，另一部分则是反映地理实体属性信息的属性数据。GIS 数据可以根据其属性数据将几何数据符号化后转换为地图数据，只是丰富了 GIS 数据，但它仍与地图数据有明显的差别。空间数据和属性数据因为特性不同，其管理方式也不相同，空间数据通常都是用文件方式进行管理的，而属性数据则是用数据库方式管理的。

结 语

地理信息系统由地理数据、GIS 软件、计算机硬件和用户 4 部分组成，其中地理数据犹如人体中的血液和汽车中的汽油，在地理信息系统中具有非常重要的基础作用。所以，地理信息调查或 GIS 数据采集是地理信息工程中一项重要的工作，是大部分地理信息工程中工程量最大的子工程。虽然为地理信息系统采集数据和数字化测绘都采用相同的测量或定位技术，但 GIS 数据采集并不等同于数字化测绘。所以在 GIS 数据采集工作中，应从管理地理对象或地理信息的角度抽象和测量地理实体，并组织和管理其数据。总之，深入探讨二者的相同之处和不同之处，对于当前广泛开展的地理信息工程，尤其是 GIS 数据采集工作具有重要的指导作用。

参考文献

[1]杨永崇，赵淑媛．基于 AUTO CAD 的 GIS 数据采集方法[J]．测绘科学，2007，32( 5)

[2]郭 岚． 基于 AUTO CAD 的数字地籍测量方法[J]．测绘技术装备，2002( 2)

[3]杨永崇，赵淑媛． 数字地图的分辨率[J]．测绘科学，2007，32( 4)

数据采集篇10

关键词：波高传感器，波高测试，造波水池

中图分类号：TP212文献标识码： A

一．引言：

在海上石油开发的过程中，对海上钻采平台的可靠性要求很高。为了海上钻采设备设计和研究的需要，目前国内外普遍采用的手段是按比例建造海浪模拟水池。在水池中进行钻采设备模型实验和研究。在实验过程中，要实时采集波浪高度和波浪形状。这个采集是利用波高传感器来实现的。波高传感器是一种电容式传感器，如图1所示，它是由壳体和两个平行的电极构成，壳体内有信号放大电路。两个电极之间相当于一个电容，在空气中，两极之间的电容很小，电阻为∞。当把两个电极插入水中时，两极之间的的电容和电阻随着水的深度的变化而变化。电路原理如图1所示。图中R和C是外加电阻和电容，水中两极之间的电阻为r，水中两极之间的电容为Cr。其中r和 Cr都是随着插入水中的深度H变化的。因此，Cr两端的电压U也是随H而变化的。实验表明，U不仅随H变化，而且也随着水温T的变化而变化。

图1

由于，水温的变化给波高传感器的标定带来了困难。波高传感器厂家提供的标定方法是：在常温下测量的结果乘上一个系数k，其k值在冬天时取一个值，夏天时取另一个值。在使用中我们发现，这种标定方法产生的误差较大。因而，我们通过实验方法来寻找传感器输出电压与水温及水深之间的关系。

二、实验曲线的确定：

为了寻找温度对传感器标定的影响，本文分别测出了水温T在8℃、22℃以及30℃时的电压U和沉没深度H的关系。

（1）在水温T为8℃时测出电压U和沉没深度H的关系如表1中第2行数据所示，拟合曲线如图2中的1所示。

根据表中的数据拟合出的方程为：

（2）在水温T为22℃时测出电压U和沉没深度H的关系如表1中第3行数据所示，拟合曲线如图2中的2所示。

根据表中的数据拟合出的方程为：

（3）在水温T为30℃时测出电压U和沉没深度H的关系如表1中第4行数据所示，拟合曲线如图2中的3所示。

根据表中的数据拟合出的方程为：

表3：

H(cm) 0 5 10 15 20 25

U(v)，T=8℃ 5 4．86 4．71 4．56 4．42 4．27

U(v)，T=22℃ 5 4．84 4．68 4．52 4．37 4．21

U(v) T=30℃ 5 4．84 4．67 4．50 4．32 4．15

图2

从图2的三个曲线中发现，随着水温的变化，系数k也发生变化。因而，寻找k随温度的变化关系是探求温度对传感器的影响的关键。

三、电压U与沉没深度H及水温T的数学模型

观察图3的三个曲线不难发现，随着水温的变化，系数k是变化的，于是根据k、T的数据，可以做出如图4所示的k-T曲线。k-T曲线描述的是k随温度的变化关系，通过对k-T曲线的分析，就可以得出k与T的关系式。

水温T=8℃时，k=0．028

水温T=22℃时，k=0．031

水温T=30℃时，k=0．034

在平面上，三个点近乎在

一条直线上。于是得到：

822 30

图4

将上式带入（1）式，得

上式就是波高传感器的电压U与沉没深度H以及水温T的数学模型。在水温20℃时，利用上述数学模型计算的数据以及实测的数据如表4所示。由表4可以看出，用式（5）作为波高传感器的输出电压与水深及水温的数学模型是比较精确的。

表4：

深度H(cm)

5

10

15

20

25

30

35

40

45

测量电压值U(v)

5．0

4．85

4．70

4．53

4．38

4．23

4．06

3．90

3．74

3．60

计算电压值U(v)

5．0

4．84

4．69

4．53

4．38

4．22

4．06

3．91

3．75

3．60

四．结束语

从数学模型的建立过程及其应用情况表明，该模型具有简单实用的特点。本文提供的考虑温度影响的数学模型要比利用所测值乘以一个比例系数精确得多，拟合温度以后所得的数学模型计算出的数据，与实际测量数据相比较误差较小。另外，本文提供的数学模型也非常适宜于数据的采集，在数据的采集过程中，首先，采集温度值，然后，计算机利用本文的拟合公式，以及A/D板采得的波高仪的测量值可以很容易地测算出在不同温度下造波机造出的波浪高度。

参考文献

1.刘楠; 陈广来; 李俊义; 郭金坤波高传感器与其监测电路的设计，天津理工大学学报，2013，29（5）：30-33

2.张福学.传感器应用及其电路精选，北京：电子工业出版社，1991

3.吴正毅著. 测试技术与测试信号处理，北京：清华大学出版社，1991，67~83