神经网络基本原理十篇

神经网络基本原理篇1

关键词：期货；主成分分析；rbf神经网络；预测 

1 引言

在对实际问题进行描述和处理中，为了能够获得更加全面的信息，我们经常需要统计多个变量的数据。但是这些多个变量之间经常存在一定的相关性，并不是每个变量都是我们所需要的，或者说它们携带的信息可能是重复的。因此我们希望用少数几个变量来代替原有的多个变量。主成份分析法的基本思想就是通过对原始数据的降维，将多个相互关联的变量转化为少数几个互不相干的变量的统计方法。

由于期货价格的变化是一个非线性的时间序列，利用传统的统计方法对期货的价格直接进行预测，所得到的结果不是很理想。而神经网络在非线性模式中具有优势,因而它不需要建立复杂的数学模型就可以完成期货价格预测。基于bp网络和rbf网络的预测都有较好的结果,但是相对bp网络而言,利用rbf神经网络不仅解决了常用bp网络易陷入局部最小的问题,而且训练时间更短,预测的精度也比bp网络高得多。本文提出使用基于主成分分析法的rbf神经网络方法对期货价格进行预测。通过主成分分析法对原始数据降维，然后,再用这些个数较少的新输入变量作为rbf神经网络的输入进行模拟预测。由于主成分之间是相互独立的,所以由各主成分组成的输入空间不存在自相关性,从而有效地简化了rbf网络在高维时难以寻找网络中心的问题,提高了预测精度。

2 主成分分析法简介及rbf神经网络算法概述

2.1 主成分分析法

主成分分析法的步骤如下：

（1）原始数据的标准化处理。

主成分分析法的目的就是使用较少的变量代替并综合反映原来较多的信息，综合后的变量就是原来多变量的主要成分，利用这些综合后的主要成分去代替原来的变量去解决实际问题。这里首先利用以下公式对原始变量进行标准化处理。其中原变量为xij，其含义为第j个变量的第i个值，则处理后的变量值为yij，

  

（3） 计算 矩阵r的特征根和特征向量。

利用r的特征方程|r-λi|=0求出其特征根，其对应的特征向量利用|r-λi|a=0和aa'=1求得。然后对所求得的特征根按照大小顺序进行排列。

（4）计算方差贡献率与累计方差贡献率。

利用公式ki=λi/∑ni=1代入所求的特征根λi，求出各个主成分的贡献率ki，其贡献率就代表了原数据信息量的百分比。

（5）确定主成分计算其得分值。

主成分的确定方法主要有两种：（1）当前k个主成分的累计贡献率达到某一特定值的时，则保留前k个主成分。一般采用超过85%以上。（2）选取特征值大于1的主成分。这两种可视情况进行选取，一般前者取得主成分要多，后者要少，通常情况下是将两者结合一起来进行使用。

2.2 rbf神经 网络 算法概述

径向基（rbf）网络是以函数逼近理论为基础构造的一类向前网络。其网络结构为三层，隐含层采用高斯函数为激励函数，理论上,只要隐含层中有足够的径向基神经元,径向基函数网络就可以逼近任何非线性函数。输出层为简单的线性加权函数，其网络结构如图所示。

其中w1i为每个隐含层神经元与输入层相连的权值向量，xq为输入矢量，b1i为阈值。则隐含层的第i个神经元的输入为：

kqi=j(w1ji-xqj)2×b1i

输出为：

rqi=exp((-kqi)2)=exp(-(||w1ji-xq||×b1i)2)

输出层的输入则为各隐含层神经元的加权求和。由于激励函数为线性函数，因此输出为：

yq=∑ni=1ri×w22

rbf网络首先通过无教师学习确定训练输入层与隐含层间的权值w2。再通过有教师学习,确定训练隐含层与输出层间的权值w1i。在rbf网络训练中，隐含神经元的数量确定是一个关键的问题。其基本原理是从0个神经元开始训练，通过检查输出误差使网络自动增加神经元。每次循环使用，使网络产生的最大误差所对应的输入向量作为权值向量w1i，产生一个新的隐含层神经元，然后检查新网络的误差，重复此过程直到达到误差要求或最大隐含层神经元为止。由此可见，径向基函数网络具有结构自适应确定、输出与初始权值无关等特点。

3 改进的rbf神经网络对期货价格的实例预测

3.1 主成分分析

期货的价格是受很多因素影响,如国家政策、季节气候、供求关系、战争等,所以其价格会上下波动,呈现出一个非线性时间序列。其交易价格本文选取2007年6月7日至8月29日燃油0801每个交易日的开盘价、最高价、最低价、收盘价、交易量、持仓量、前5日均价、前10日均价为初始变量，每个变量60个数据，前59个为训练样本，最后一个为检测样本。考虑到期货交易与股票交易的不同，其交易方式是双向交易，从投资者获利的角度考虑，其并不像股票市场一样单纯的考虑股票价格增长，加上每个星期正常的期货交易日仅为5天，所以在这里我们考虑选取后5日均价作为预测目标，这样的选择更有实际意义。在这里本文直接利用spss软件包，选择数据降维，再选用主成分分析，可以直接得到各个主成分的方差累计贡献率，如表1所示：

从表中我们可以看出，第一个主成分主要包含了开盘价、最高价、最低价、收盘价、以及前5日均价共五个变量的信息，第二个主成分主要包含了成交量和持仓量两个变量的信息，而第三个主成分则主要包含了前十日均价一个变量的信息。由此可以看出，通过数据降维，将原来的8个变量，转化为现在的3个变量了。

3.2 神经网络的设计及训练

现设计一个三层的神经网络，输入层有3个神经元，输出层神经元为1个。利用下式对输入、输出值进行标准化，可使得输入、输出值其均落在［－1，1］区间。

xn=2*(x-minx)/(maxx-minx)-1

在mat lab 的神经网络工具箱中用newrb函数设计这个径向基函数网络,用其作函数逼近时,可自动增加隐含层神经元,直到达到均方误差为止,利用语句:net=newrb(p,t,goal,spread)进行网络设计，其中goal为均方误差，这里取值为0.0001,spread为径向基函数的扩展速度,其值越大，函数的拟合就越平滑。经过试验,当其取0.058时，其预测效果最好。把2007年6月7日至8月28日的燃油0801选定的主成分作为输入的训练样本，标准化的后5日均价的值作为输出的训练样本，8月29日的数据作为测试样本， 计算 结果如下：

4 结语



由此可看出基于主成分分析法的径向基神经网络较一般的径向基网络有更简洁的网络结构，对于相对比较复杂的期货价格预测，基于主成分分析法的径向基神经网络得到的结果也更加精确。不过径向基神经网络本身对扩展速度的选择没有一个固定的标准，不同的值得到的结果有较大的偏差，这是该网络的一个缺陷，也是今后研究的一个方向。

参考 文献 

［1］黄颖,白玫,李自珍.基于主成分-bp神经网络的期货市场预测［j］.数学的实践与认识.2007,(7)：23-26.

［2］刘兴彬，万发祥.rbf神经网络主成分分析法在 交通 量预测中的应用［j］.山西科技,2001,(1)：54-56.

神经网络基本原理篇2

关键词： Hopfield神经网络； 二值矩阵； OSTU算法；识别率

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2013）21-4925-04

1 原理概述

1.1 Hopfield网络的拓扑结构

Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和-1，所以也称离散神经网络（DHNN，Discrete Hopfield Neural Network）。在离散Hopfield网络中，所采用的神经元是二值神经元，因此，所输出的离散值1和-1分别表示神经元处于激活和抑制状态。

5 结束语

本文在前人研究成果的基础上改进了对字符进行识别的算法，通过对大量随机图的仿真计算，最终的实验结果表明，离散型Hopfield神经元网络能有效地进行字符识别，并且识别速度快，自适应性能好，分辨率较高。通过实验验证，本算法达到了一定的识别率，能在实际生活中得到应用，但也存在一些缺点和不足，如对训练样本和识别样本有一定的限制（尽管是为了方便训练和识别），且神经网络的设计方法在理论上还不是很完善，因此，还有待提取出新的方法，进一步提高识别率，识别系统的性能关键与瓶颈仍然在于字符识别的核心算法性能上，最终目标是研究零误识率和低拒识率的高速识别算法。当然，我们也可以把此神经网络的原理运用在其他的领域，以检验其算法的有效性。

参考文献：

[1] Matlab中文论坛.MATLAB神经网络30个案例分析[M].北京航空航天大学出版社，2009.

[2] 许录平.数字图像处理[M].科学出版社，2007.[3] 张良均，曹晶，蒋世忠.神经网络实用教程[M].机械工业出版社，2008.[4] 张宏林.数字图像模式识别技术及工程实践[M].人民邮电出版社，2004.[5] 邓丽华，崔志强，张静.基于人工神经网络的手写体数字识别[J].三峡大学学报，2005（6）：255-256.

神经网络基本原理篇3

关键词：生物发酵 BP神经网络 算法研究

1 概述

现代意义上的微生物发酵工程是指在一定条件下使微生物增殖，从而产生对人类有价值的生物成份的过程[1]。发酵过程是一个基于微生物生长繁殖和控制的生物化学反应过程，和普通意义上的上的工业控制不同，具有非线性、时变性和时滞性等特点，内部机理非常复杂。因此对于发酵过程的控制一直都是发酵工业生产中的难点。随着科技进步，新的非线性控制技术的发展为控制发酵过程提供了有力的工具。

当前对于发酵过程的控制，其基本原理是将发酵过程中的主要控制因素采用一定的人工手段进行干预，以发酵过程中所产生的发酵液温度、PH值等关键因素为控制指标，并将其进行动态监测，从而将发酵过程控制在人们所期望的的范围内。由于发酵过程具有实时性，因此对于发酵过程的控制按时间特性可分为离线控制和在线控制两大类[2]。随着研究的深入，在线控制已经成为研究的重点。在线控制是一种基于反馈信息的过程控制方法。其原理是实时监测发酵系统的输出值期望值之间的误差，按照一定的过程控制算法进行调整，将发酵过程中关键的发酵指标控制在期望范围之内。本文将就发酵过程的在线控制方法和实践展开讨论。

2 发酵过程控制的硬件系统简介

对发酵过程的控制是建立在必要的硬件条件基础上的。发酵系统的组成主要由两部分构成：即发酵装置和控制器。对于发酵过程的控制关键是控制温度、溶氧、pH值等。这些因素都可以通过实时监测发酵装置传感器信息来实现。

本文中以大肠杆菌发酵产生类人胶原蛋白为例，需要监测的主要内容有四项：pH值、温度、溶氧量和尾气。监测设备分别为：pH电极、铂电极、溶氧电极和尾气分析仪。

对于发酵过程的智能控制，重点是实现对控制器的智能化，在下一节中将进行具体的讨论。在本文中所涉及的控制器软件的智能化设计基于silicoulab公司的片上系统芯片（SoC），发酵装置型号为NLF22机械搅拌式发酵罐，发酵罐罐体上装配有监测温度、溶氧、pH值等参数的传感器和尾气分析仪。这类实时数据的监测和控制在LabVIEW图形化编程软件设计的人机交互界面上进行。

3 BP人工神经网络控制原理

发酵过程具有高度的非线性特点，因此在本文中采用适合于给类问题的基于BP神经网络控制算法。该算法不依赖精确数学模型，具有非线性的映射能力，可以从大量实时监测数据中寻找输入和输出之间的非线性关系，计算出最优的控制量，从而实现对发酵过程的有效控制。

人工神经网络控制算法是建立在现代神经生物学和仿生学对人类大脑活动的认识模式研究的基础上，通过构造人工神经元形成的网络来模拟神经活动，是当前人工智能研究的热点和智能化控制的研究方向。

人工神经元是神经网络算法的基本信息处理单元，其输入输出关系可由式（1）和式（2）来描述：

Ii=■wijxj-θi （1）

yi=f(Ii) （2）

上式中，xj为来自于其他与本神经元相连接的神经元所传递的输入信息，wij为神经元I，j之间的信息权重；θi为阈值；函数f称为作用函数或转移函数。

目前在人工神经网络研究中已经有很多种网络模型，本文中所采用的是前馈式神经网络模型。BP算法（(Error Back Propagation)即属于这类前馈式网络模型，该模型以神经网络的误差平方和为目标函数，以某种优化算法（如梯度法）计算使得目标函数最小的控制值[3]。其拓扑结构可参考相关文献。

4 BP神经网络的应用

本文中以大肠杆菌发酵生产类人胶原蛋白过程为例，简介BP神经网络智能控制在其发酵过程控制中的应用。

4.1 输入层和输出层节点数分析 依据工神经网络运行的基本原理，输入层的节点数是由训练样本数据的维数来决定，输出层的节点数则取决于控制者的实际控制目标。在本文算例中，发酵过程的关键控制因素主要有4个，即酸碱度（pH值）、温度、溶氧度、搅拌速度和时间。这五类数据通过传感器数据可以方便的得到，因此将其作为训练样本，并得到样本数据的维数为5，输入层的单列节点数为4。对输出层而言，依据生产经验，在胶原蛋白的发酵过程中的关键因素为溶氧量，因此将其作为关键控制因素和最终控制目标，由此可得到输出层的节点数为1个。

4.2 隐含层层数和隐含层节点数分析 本文中设定隐含层的层数为1（原因可参照单隐含层对非线性函数的逼近特性[4]）。隐含层的节点数可由式（3）进行计算：

m=■+■ （3）

其中，m为隐含层的节点数，N表示输入层的节点数，L表示输出层的节点数，P表示新样本数据，α为1-10之间的常数。依据实测数据（此处从略），可计算得到隐含层的节点数为18。

4.3 程序实现 本文中采用Matlab编程实现上述BP神经网络控制，其基本步骤概述如下。

首先利用newff()函数来生成上述指定结构的神经网络，其参数设定如式（4）所示：

NET=newff(minmax(p)，[4]，18，1）{‘tansig'，'purelin'，}，'traingd

m) （4）

其次设定基于上述网络NET的训练参数，该步骤涉及到的函数的参数设定结果为：NET.trainParam.epochs=500、NET.train Param.goal=0.02、NET.trainParam.show=25、NET.trainParam.Ir=0.05。

最后采用命令[NET，tr]=train(NET，Fd，T) 训练上述神经网络。

5 结果分析

表1中对比了采用BP神经网络控制前后的利用大肠杆菌发酵产生类人胶原蛋白的产物湿重产量（g）。有表1可见，通过对发酵过程的BP神经网络控制后，胶原蛋白的产物湿重总体有明显的提高，表明该方法在这类发酵过程控制中是有效的。

6 结语

生物发酵过程是一个复杂的过程，具有高度非线性和难于用精确数学模型描述的特点。本文利用BP神经网络控制方法来综合控制发酵过程中的关键因素，以氧容量作为控制要点，经过网络训练后可提高对发酵过程中关键因素的控制效果，实践表明可大幅度的提高类人教员蛋白的产物湿重产量。上述结果表明利用智能算法控制这类高度非线性的生物发酵过程较之于传统方法具有明显的优势，是今后生物发酵过程控制中重要的研究方向。

参考文献：

[1]陶兴无.生物工程概论[M].北京:化学工业出版社，2011.

[2]谢玉龙.FF现场总线在泰乐霉素发酵控制系统中的应用[D].济南:山东大学，2009.

神经网络基本原理篇4

【关键词】沸点；饱和烃；模式识别；神经网络

引言

量子力学计算是了解性质与结构关系本质的最好方法，但由于条件限制要精确解方程组很困难，因此，我们应用经典的价键理论处理该问题，以了解分子中键的性质、原子间的结合顺序、分支的多少及分子的形状等拓扑信息，进而推出分子的一些物理性质。

1 模式识别与神经网络

1.1 统计模式识别的方法

统计模式识别包括：样本输入、样本统计、窗函数训练、监控与测试、识别及识别方法性能评价6部分。

1.2 神经网络的结构和模型

神经网络的结构是由基本处理单元及其互连方法决定的，一个人工神经网络的神经元模型和结构描述了一个网络如何令它的输入矢量转化为输出矢量的过程。其实质即体现网络输入及其输出间的函数关系。即通过选取不同的模型结构和激活函数，可形成各种不同的人工神经网络，以及输入和输出关系，进而达到不同的目的或完成不同任务。

1.2.1 人工神经元的模型

连接机制结构的基本处理单元与神经生理学类比往往称为神经元。每个构造起网络的神经元模型模拟一个生物神经元。

该神经元有多个输入，i=1，2，.. n和一个输出Y组成。中间状态由输入

信号权的加和表示，而输出为：式（1）中θj为神经网络的偏置，Wji为连接权系数，n为输入信号数目，yj为神经元输出，t为时间，f（）为输出变换函数，也叫做激发或激励函数。

1.2.2 激活函数

激活函数是一个神经元及网络的核，网络解决问题的能力与功效除了和网络结构有关，很大程度上取决于网络所采用的激活函数。激活函数往往采用0和I二值函数或S形函数，它们都是连续和非线性的。

1.2.3人工神经网络的基本类型

1.2.3.1人工神经网络的基本特性

人工神经网络由神经元构成；这种由许多神经元组成的信息处理网络具有并行分布结构。每个神经元具有单-输出，能够与其它神经元连接；具有诸多输出连接方法，每种连接方法对应一个连接权系数。严格地说，该网络每个节点存在一个状态变量、阈值并定义一个变换函数，且从节点j至节点i存在一个连接权系亥摧教。

1.2.3.2人工神经网络的基本结构

递归网络中，多个神经元互连而成一个互连神经网络。有些神经元的输出被反馈至同层或前层神经元。因此，信号能够从正向和反向流通。前馈网络具有递阶分层结构，由一些同层神经元间不存在互连的层级组成。从输入层至输出层的信号通过单向连接流通；神经元从一层连接至下一层。

3 神经网络计算饱和烃的沸点

采用三层拓扑结构为3-4-1的反向传播模型来建立预报导饱和烃沸点的人工神经网络。输入层以影响饱和烃沸点的3个参数为输入矢量，包括分子连接性指数，分子连接性指数，C原子数。训练时可根据计算误差自动地调整权重，待达到要求时即可固定权重值和偏置。

4 实验

4.1 实验步骤

拉制内径为1～1.2mm、一端封口、另一端有平整开口的毛细管做内管将待测液体式样装入微量沸点管的外管中，将一端封口的毛细管作为内管，开口朝下插入外管中，将外管固定在温度计上，试样部分位于温度计水银球中部。

将装好试样的沸点管用橡皮圈固定在温度计上，试样段靠在温度计水银球中部。将带有沸点管的温度计用一端有侧沟槽的单孔塞固定在盛有浴液的Thiele管内，温度计水银球位于上下侧管口中部。

以酒精灯加热Thiele管的倾斜部分，使浴液因温度差而形成对流从而使管中液体受热把带有沸点管的温度计放入熔点测定管内。加热熔点测定管，使温度均匀升高，见内管中有大量气泡冒出，则停止加热。当最后一个气泡缩回管内时，读取温度即为饱和烃沸点。

4.2 结果

通过实验测出19种饱和烃的沸点，经公式计算及实验测定得到的2组数据比较得出，神经网络模型所优化的数据的相对误差极小，精确到10-4，所做的图形和试验数据也是拟合的极好。

5 结论

神经网络模式识别的方法建立数据模型对饱和烃的沸点进行计算有着非常好的准确度，充分地利用了给出的参数。该模型在大大提高了计算精确度的同时并且具有很好的预测能力，而且其对于提高物质性质计算的效率和准确率有着重要的参考价值。

参考文献：

[1]杜红，刘强国.统计模式识别方法在录井油气评价中的应用[J].长江大学学报： 理工卷，2006（3）.

神经网络基本原理篇5

 

关键词：  人工神经网络; 类风湿关节炎; 预测

类风湿关节炎(Rheumatoid arthritis ,RA)是一种以关节滑膜发生慢性炎性病变的自身免疫性疾病，其病程多呈进行性进展，致残率高，治愈率低下[1]，早期临床表现不典型，单项自身抗体检测的灵敏度和特异性均有不足，类风湿因子的检出率也偏低，容易造成误诊[2，3]。因此医务人员主要是通过敏感性互补的几个检验指标和临床表现对类风湿关节炎作出诊断[4]，但在疾病的诊断中往往带有很多的主观因素。近年来发展起来的人工神经网络是种理论化的数学模型,是模仿人脑神经的网络结构及其功能而建立起来的一种信息处理系统，具有自行学习、联想记忆、错误容纳和强大的非线性处理能力[5]。因此人工神经网络常常被应用到临床医学疾病的诊断上。本研究结合类风湿关节炎诊断的8个主要指标，设计一种基于人工神经网络类风湿关节炎的诊断方法，通过对150例样本的网络运算，探讨了人工神经网络对类风湿关节炎诊断的可行性。

1 人工神经网络基本原理

人工神经网络可以通过对外界信息的学习，以特定的方式对这些信息进行处理和概括，从而具备了对这些信息的识别功能，并产生了一个相对应的结论。因此，再次给人工神经网络这样一个相似的条件时，神经网络就会根据已学到的知识，自行推理判断，得到一个我们需要的结果。

1.1 人工神经元

人工神经元是组成人工神经网络的基本处理单元，简称为神经元。如图1显示了一个具有r个输入分量的人工神经元模型[6]。

图1中p(r=1，2，…，r) 为该神经元的输入数据;Wr 为该神经元分别与各输入数据间的连接强度，称为连接权重，权重值的大小代表上一级神经元对下一级神经元的影响程度。b为该神经元的阈值，f(x)为作用于神经元的激励函数，通常采用的是S 型函数，其数学表达式见式(1)[7]：

f(x)=(1+e-Qx)-1(1)

a为神经元的输出数据。神经元将接收信息pi与连接权重wi 的点乘积求和构成其总输入, 在神经元阈值b的作用下经函数f(x)的作用,产生信号输出a。

图1 人工神经元模型

1.2 人工神经网络

人工神经网络是由多个不同的神经元连接而成，一般含有多个层次，每个层次又包含了多个神经元，上一层次的神经元只能对下一层的神经元产生作用，同层神经元间无相互作用[7]。根据神经元的不同连接方式，就形成了不同功能的连接网络模型。比如BP神经网络，Kohonen神经网络，Hopfield神经网络等等，多达数十种。在医学中应用比较广泛的是BP神经(Back Propagation)，也就是误差逆向传递网络[8]，本研究中采用的也是BP神经网络。BP神经网络一般由输入层，隐含层和输出层构成，其结构模型如图2所示。

神经网络输入层的神经元是接受外界信息的端口，不包括数据运算功能，他将外界的输入数据通过一个连接权重传递给下一隐含层的神经元。隐含层是神经网络的核心部分，数量上可以有一个或多个层次，随着层次的增多，网络结构变得更复杂，网络数据处理功能也增强。网络的最后一层是输出层，输出层接收到隐含层的各项信息，然后经过转换把信息传给外界。

输入层 隐含层 输出层

图2 BP人工神经网络模型

神经网络基本原理篇6

《人工神经网络原理》介绍了人工神经网络的基本理论，系统地阐述了六种典型的人工神经网络模型，即早期的感知机神经网络、自适应线性元件神经网络、误差反向传播神经网络、Hopfield神经网络、B0ltzmann机和自适应共振理论神经网络，以及它们的网络结构、学习算法、工作原理及应用实例，为读者深入了解和研究人工神经网络奠定了基础。

（来源：文章屋网 http://www.wzu.com）

神经网络基本原理篇7

关键词：神经网络；无线网络；故障节点定位；干扰处理

随着科学技术的高速发展，无线传感网络的应用领域不断扩张。但是无线传感网络中的节点受到自身以及外界因素的干扰，会出现较多的故障，导致传感网络质量降低[1⁃2]。传统无线网络故障节点定位方法，无法有效处理节点功率波动以及模糊环境对故障节点定位精度的干扰，具有较高的局限性。因此，寻求有效的方法对故障节点进行准确定位，具有重要的应用意义。

1基于小波神经网络的无线网络故障节点定位技术

1.1小波神经网络在节点故障定位的作用形式

根据小波神经网络在节点故障定位中作用，将小波神经网络在故障节点定位过程作用划分成如下三种形式：（1）将小波神经网络当成分类器，将节点输出当成小波神经网络的输入值，用“1”和“0”描述节点存在故障以及不存在故障，并将节点状态当成网络输出[3]，通过不同的故障模式对小波神经网络实施训练，采用训练好的小波神经网络分类器对无线网络故障节点进行定位。该方法的定位原理如图1所示。（2）将小波神经网络当成观测器，基于大量的隐层，小波神经网络可对系统输入/输出样本实施自主学习，逼近真实的动态系统[4]。基于传统观测原理塑造小波神经网络观测器，通过正常工作情况下的数据对小波神经网络进行训练，采用训练好的小波神经网络观测器形成故障残差，完成无线传感故障节点的定位[5]。定位原理如图2所示。络塑造传感网络节点的预测模型，小波神经网络的输入值为节点的前一时刻输出值，网络输出是节点的输出预测值，对比该预测值同节点的真实输出值，产生残差实施故障节点定位。该方法的定位原理如图3所示。在对孤立节点进行故障定位时，将小波神经网络当成观测器，将节点当前时刻的输入当成神经网络的输入，逼近节点当前时刻的正常输出为神经网络的输出[6⁃7]。融合形式1和3定位冗余节点故障，将小波神经网络当成预测器，将前一采样时刻的正常输出当成小波神经网络的输入，预测节点当前采样时刻的输出，获取差值信号，再同预先设置的阈值实施对比，则高于阈值的差值信号对应的节点为故障节点。

1.2无线传感器网络冗余节点故障定位

无线传感器网络冗余节点故障定位示意图见图4.其由无线传感网络、小波神经网络预测器以及信息定位方案构成。无线传感网络中有n个检测值存在冗余关系的传感器节点，x1,x2,⋯,xn-1,xn用于描述n个传感器节点的输出值。采用图3描述的结构图，将小波神经网络当成预测器，获取节点后续时刻的正常输出。本文方法定位无线网络故障节点前，需要塑造n个小波神经网络预测器，并训练这些预测器。在无线传感网络簇中全部节点的运行状态都是正常时，采集训练样本。通过交叉训练方法对训练样本实施训练[8]，交叉训练k个小波神经网络预测器的过程如图5所示。其他预测器的训练方式也采用该交叉训练方式。由图5可知，若无线传感网络节点的采样时刻是t0,t1,t2,⋯,tn，传感节点在t0,t1,t2,⋯,ti(i<n)时刻正常运行，则基于t0,t1,t2,⋯,ti(i<n)时刻的节点输入/输出塑造训练样本，交叉训练n个小波神经网络预测器，在对无线传感网络的故障节点进行定位[9⁃10]。

2实验验证

实验采用本文提出的基于小波神经网络的无线网络故障节点定位方法，对某无线传感测温系统中的温度传感节点故障进行定位分析，检测本文方法的性能，实验设置阈值为0.5℃。实验将归一化的检测样本输入到训练好的小波神经网络预测器内，并对其输出进行反归一化处理，同温度节点故障检测样本进行对比，获取温度节点产生1℃偏差故障、0.05倍数故障以及短路故障的残差曲线，分别如图6、图7所示。分析图6可得，无线传感网络温度传感节点存在1℃附加故障后，其残差曲线高于报警阈值，有效定位出了故障。能看出当无线传感网络节点存在附加故障，小波神经网络预测器在其残差高于阈值下，准确定位出该故障节点。图7所示的无线传感温度节点的倍数故障是平稳波动的故障，随着采样节点的增加，节点同小波神经网络预测器输出形成的残差也逐渐提升，如果残差高于报警阈值，则小波神经网络预测器可定位出故障节点。

3结论

神经网络基本原理篇8

关键词：神经网络 BP网络

中图分类号：TP3 文献标识码：A 文章编号：1672-3791（2014）01（c）-0240-02

神经网络是一门发展十分迅速的交叉学科，它是由大量的处理单元组成非线性的大规模自适应动力系统。神经网络具有分布式存储、并行处理、高容错能力以及良好的自学习、自适应、联想等特点。该模型对于拟合现实复杂世界有着重要的实用价值。

1 神经网络简介

人工神经网络（Artificial Neural Network，ANN），亦称神经网络（Neural Network，NN），是一种应用类似于大脑神经突触连接结构进行信息处理的数学模型，它是在人类对自身大脑组织结合和思维机制的认识理解基础之上模拟出来的，它是根植于神经科学、数学、统计学、物理学、计算机科学以及工程科学的一门技术。心理学家Mcculloch，数学家Pitts在20世纪40年代第一次提出了神经网络模型，从此开创了神经科学理论的研究时代，此后半个世纪神经网络技术蓬勃发展。神经网络是一种计算模型，由大量的神经元个体节点和其间相互连接的加权值共同组成，每个节点都代表一种运算，称为激励函数（activation function）。每两个相互连接的节点间都代表一个通过该连接信号加权值，称值为权重（weight），神经网络就是通过这种方式来模拟人类的记忆，网络的输出则取决于网络的结构、网络的连接方式、权重和激励函数。而网络本身通常是对自然界或者人类社会某种算法或函数的逼近，也可能是一种逻辑策略的表达。神经网络的构筑理念是受到生物的神经网络运作启发而产生的。人工神经网络则是把对生物神经网络的认识与数学统计模型向结合，借助数学统计工具来实现。另一方面在人工智能学的人工感知领域，我们通过数学统计学的方法，使神经网络能够具备类似于人的决定能力和简单的判断能力，这种方法是对传统逻辑学演算的进一步延伸。

2 神经网络模型及训练

2.1 生物神经元模型

人脑是自然界所造就的高级动物，人的思维是由人脑来完成的，而思维则是人类智能的集中体现。人脑的皮层中包含100亿个神经元、60万亿个神经突触，以及他们的连接体。神经系统的基本结构和功能单位就是神经细胞，即神经元，它主要由细胞体、树突、轴突和突触组成。人类的神经元具备以下几个基本功能特性：时空整合功能；神经元的动态极化性；兴奋与抑制状态；结构的可塑性；脉冲与电位信号的转换；突触延期和不延期；学习、遗忘和疲劳；神经网络是由大量的神经元单元相互连接而构成的网络系统。

2.2 人工神经网络模型

人工神经网络，使通过模仿生物神经网络的行为特征，进行分布式并行信息处理的数学模型。这种网络依靠系统的复杂度，通过调整内部大量节点之间相互连接的关系，从而达到信息处理的目的。人工神经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入输出数据，分析两者的内在关系和规律，最终通过这些规律形成一个复杂的非线性系统函数，这种学习分析过程被称作“训练”。神经元的每一个输入连接都有突触连接强度，用一个连接权值来表示，即将产生的信号通过连接强度放大，每一个输入量都对应有一个相关联的权重。处理单元将经过权重的输入量化，然后相加求得加权值之和，计算出输出量，这个输出量是权重和的函数，一般称此函数为传递函数。

2.3 神经网络的训练

当神经网络的结构确定以后，接下来的工作就是训练和学习。神经网络不是通过改变处理单元的本身来完成训练和学习过程的，而是依靠改变网络中各神经元节点的连接权重来完成的。因此若处理单元要学会正确的处理所给定的问题，唯一用以改变处理单元性能的元素就是连接权重。

2.4 神经网络的分类

神经网络按照不同的结构、功能，以及学习算法，对网络进行分类，可以分为：（1）感知器神经网络：最简单的神经网络类型，只有单层的神经网络结构，采用硬限值作为网络传递函数，主要适用于简单的线性二类划分问题，在此类问题中处理的效率较高。但不适合本论文的课题。（2）线性神经网络：单层结构的神经网络，采用线性函数作为网络的传递，主要也是用于解决线性逼近问题。

3 BP神经网络

目前应用最为广泛的网络，具有多层网络结构，可以由一个或者多个隐含层。BP网络采用Widrow―Hoff学习算法和非线性传递函数，典型的BP网络采用的是梯度下降算法，也就是Widrow―Hoff算法所规定的。BP，即Back Propagation，就是指为非线性多层网络训练中梯度计算是采用信号正向传播、误差反向传播的方式。通过采用非线性传递函数，BP网络能够以仁义的精度逼近任何非线性函数，由于采用隐含中间层的结构，BP网络能够提取出更高阶的统计性质，尤其是当输入规模庞大时，网络能够提取高阶统计性质的能力就显得非常重要了，结合本文的课题，将采用BP神经网络及其改进算法进行组合集成实验，用以解决财务预警的实际问题，在后面的章节会采用相关实验证明组合集成的BP神经网络的优势。

4 径向基神经网络

径向基神经网络又称为RBF网络，它与BP网络同为多层前向网络，也能够以任意的精度逼近任何非线性函数，只是它与BP网络采用的传递函数不同，BP通常采用的是Sigmoid函数或线性函数作为传递函数，而RBF网络则采用径向基函数作为传递函数。本文后面将采用径向基函网络与BP网络进行对比。

5 竞争神经网络

竞争神经网络的特点是它的各个神经元之间是相互竞争的关系，众多神经元之间相互竞争以决定胜出者，或胜神经元决定哪一种原模型最能代表输入模式。

6 反馈神经网络

BP神经网络（Fredric M.Ham Ivica Kostanic Principles of Neurocomputing for Science―Engineering 2007）BP神经网络具有sigmoid隐含层以及线性输出层，具有很强的映射能力，本节我们对BP网络神经元和网络结构进行介绍。神经网络方法的具体步骤是：向网络提供训练例子，即学习样本，包括输入和期望的输出。确定网络的实际输出和期望输出之间允许的误差。改变网络中所有连接权值，使网络产生的输出更接近于期望输出，直到满足确定的允许误差。下图给出了一个具有N个输入的基本的BP神经元模型结构。途中每一个输入都被赋予一定的权值，与偏差求和和后形成神经元传递函数的输入。

我们来看看三层BP神经网络模型的数学表达，首先我们来确定途中各个参数所代表的涵义：

（1）输入向量：X=（x1，x2，…，xi，…，xn）T；

（2）隐层输出向量：Y=（y1，y2，…，yj，…，ym）T；

（3）输出层输出向量：O=（O1，O2，…，Ok，…，Ol）T；

（4）期望输出向量：d=（d1，d2，…，dk，…，dl）T；

（5）输入层到隐层之间的权值矩阵：V=（V1，V2，…，Vj，…，Vm）；

（6）隐层到输出层之间的权值矩阵：W=（W1，W2，…，Wk，…，Wl）。

BP神经网络就是通过构建上述变量来完成网络的描述。

我们从上至下，从输出层开始看BP网络的工作原理，对于输出层：

k=1，2，…，l （1）

k=1，2，…，l （2）

对于隐层：j=1，2，…，m （3）

j=1，2，…，m （4）

其中的是传递函数我们可以采用单极性Sigmoid函数： （5）

（1）网络误差与权值调整

输出误差E定义：

（6）

（7）

在这一步的基础上，进一步展开至输入层：

（8）

j=0，1，2，…，m；k=1，2，…，l （9）

i=0，1，2，…，n；j=1，2，…，m （10）

式中负号表示梯度下降，常数η∈（0，1）表示比例系数。在全部推导过程中，对输出层有j=0，1，2，…，m；k=1，2，…，l，对隐层有i=0，1，2，…，n；j=1，2，…，m

（2）BP算法推导

对于输出层，式（9）可写为：

（8）对隐层，式（9）可写为：（10），对于隐层，利用式（7）：

可得： （11）

将以上结果代入式（8），并应用式（5）：，得到：

（12）

（13）

至此两个误差信号的推导已完成。将式（12）代回到式（8），得到三层前馈网的BP学习算法权值调整计算公式为：

（14）

神经网络基本原理篇9

关键词：人工神经网络 反向传播算法 故障诊断

1 引言

随着经济的发展，空调系统得到了越来越广泛的应用，空调设备已成为重要的生活必备品之一。这就要求空调系统可靠性高且功能齐全，而且在故障诊断维修服务方面达到一定的水平。国内目前的大部分空调系统中无故障诊断系统，当空调系统出现故障后，维保人员往往不能及时、准确地了解系统出现故障的原因及相关信息，空调系统无法得到及时修复，这种情况急需得到改善。

2 关于故障诊断技术

故障诊断FD(fault diagnosis)是一种了解和掌握设备在使用过程中的技术，确定其整体或局部是否正常，早期发现故障及其原因并能预报故障发展趋势的技术。在诊断过程中，必须利用被诊断对象表现出来的各种有用信息，经过适当地处理和分析，做出正确的诊断结论。在制冷暖通空调领域，1987年在彦启森教授的建议下，才开始了故障诊断专家系统在制冷暖通空调领域的研究应用[1]。

3 人工神经网络用于空调系统故障诊断的基本原理

人工神经网络(Artificial Neural Network．简称ANN)正是在人类对其大脑神经网络认识理解的基础上人工构造的能够实现某种功能的神经网络。它是理论化的人脑神经网络的数学模型，是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统。它实际上是由大量简单元件相互连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。

典型的神经网络结构如图1所示。

在众多的人工神经网络模型中，最常用的是BP(Back Propagation)模型，即利用误差反向传播算法求解的多层前向神经网络模型[2]。BP网络在故障诊断、模式识别、图像识别、管理系统等方面都得到了广泛的应用。本文讨论利用神经网络中的BP模型进行空调系统的故障诊断。

首先需要进行知识的获取。由专家提供关于各种空调系统故障现象(征兆集)及相应的故障原因(故障集)实例作为学习样本。将数据分为两部分，一部分用于训练网络，另一部分用于测试。将训练网络的数据按一定顺序编码，分别赋给网络输入、输出节点，通过神经网络学习算法对样本进行学习，经过网络内部自适应算法不断修正权值，直到达到所要求的学习精度为止。此时在大量神经元之间联结权值上就分布着专家知识和经验。训练完毕后，再将测试网络的数据从初始状态出发，向前推理，将显示出的故障结果与实际的测试数据结果相比较，如果误差很小，说明网络的权值建立正确；如果误差较大，说明网络的权值建立有误，需要重新进行网络的训练。

将训练样本训练完毕后，即可进行空调系统的故障诊断。只要实际输入模式接近于某一个训练时的学习样本的输入模式，则可产生出接近学习样本的输出结果，也就是所谓的自联想功能。同时，由于网络计算上的大量并行性，当机器运行状况改变，出现网络学习未考虑的情况时，系统亦能给出正确分类结果。同时将新数据并入网络，实现系统的自适应。一般来说，学习的故障实例样本越多，诊断结果的准确率越高。

4 BP学习算法

BP算法因其简单、易行、计算量小、并行性强等优点，是目前神经网络训练采用最多也是最成熟的训练算法之一。BP算法的实质是求解误差函数的最小值问题，由于它采用非线性规划中的梯度下降法（Gradient Descent），按误差函数的负梯度方向修正权值 [3]。其主要思路是如果求出训练网络的指标函数误差：

一般的BP算法称为标准误差逆传播算法，也就是对应每一次输入都校正一次权值。这种算法不是全局误差意义上的梯度下降计算。对各个神经元的输出求偏导数，那么就可以算出误差对所有连接权值的偏导数，从而可以利用梯度下降法来修改各个连接权值。真正的全局误差意义上的梯度下降算法是在全部训练模式都学习完后才校正连接权和阈值。其计算流程如图2所示：

5 故障诊断实例 5.1 空调系统故障诊断的BP网络建立

空调系统故障模式及故障机制分析[4]如表1所示

表1 空调系统故障模式及故障机制分析 表示

符号

表示

符号

房间温度均偏高

1.冷冻机产冷量不足

2.喷水堵塞

3.通过空气处理设备的风量过大，热交换不良

4.回风量大于送风量

5.送风量不足（可能空气过滤气堵塞）

6.表冷器结霜，造成堵塞

相对湿度均偏低

7.室外空气未经加湿处理

系统实测风量大于设计风量

8.系统的实际阻力小于设计阻力

9.设计时选用风机容量偏大

房间气流速度超过允许流速

10.送风口速度过大

神经网络基本原理篇10

1．1采用计算机模拟技术建立模拟模型

对BP神经网络模拟模型建立的基础，人们是这样认为的，因为影响工程造价的因素，大多数人们都是没办法确定的，所以我们不需要把这个值具体是多少确定下来，而是从另一个方面考虑，根据这个项目的基本情况，估计实际的造价落在某个范围的机会会大一些，这个思想就是计算机模拟技术建立模拟模型的理论基础。

1．2人工智能模型

工程造价估算专家系统，是通过人工智能，加上知识库技术而建立起来的，可是这种人工智能模型主要靠专家的知识，来对工程造价进行估计计算的，但是估算的结果是被估算人员的主观意识所影响的，不同专家的性格，知识面的宽窄，经验丰富与否、都是不确定因素，几乎可以会所不一样的估算专家所得出的结果都不会一样。这种方法很容易带有个人偏见和片面性。受专家的主观偏见性较强。

2BP神经网络模型构造与算法

2．1人工神经网络的基本原理

1985，D•E•Rumelhart等人组成的PDP小组提出的一种神经网络模型，这就是我们今天所说的BP神经网络，BP神经网络结构是利用误差反向传播来消除误差的，它有三个层次，有一个输入层，第二个是隐层，最后一个当然就是输出层。在训练估算中，我们可以通过计算输出值和我们预期的期望值，他们之间所产生的误差，逆向思维，去求解输出层单元的一般化误差，然后再把误差进行反向传播，把隐含层单元的一般化误差求解出来，并最终调整输出层和隐含层，包括输入层之间的连接权，还有连接权与隐含层和输出层的阈值，最终目的就是让系统误差达到我们可以接受为止。当先前的系统误差达到我们所需求的时候，权值和阈值就变成了固定不变的了，这样我们再通过反向逆推，就可以测出我们这个项目的未知信息。这就是人工神经网络的基本原理。

2．2BP神经网络模型建立的步骤

(1)我们首先确定模型输入层，隐含层还有输出层的神经元个数。并且以此为依据，确定BP神经网络模型的结构参数;(2)神经网络只能处理－l～l之间的数据，所以在输入网络时，我们不仅需要对原始数据进行规范化处理，还要对隐含单元和各个单元输入信息进行求和;通过反向逆推之后得到本单元的输入信息。所以对原始数据，隐含单元输入模块规范化细致化是非常重要的;(3)隐含单元的输出值可以根据神经网络操作模型得出，只要我们把net信号经过一次激发函数的处理，可以得到这个隐含单元的输出值;(4)对于输出单元节点，我们只要对前一层的隐含层单元输入信息，并且加权求和后，就能得到该单元的输入信息。操作起来非常方便快捷;(5)对权矩阵的调整，因为人工神经网络可以近似实现任意空间的数学映射。所以我们假设，如果神经网络输入单元数为M，输出单元为N，则在m维欧式空间尺中会有一个有界子集A，存在着一个到n维欧式空间，那么R中一个有界子集F(A)的映射。

3基于BP神经网络的工程造价估算模型

3．1定量化描述工程特征的因素

什么是工程特征，在BP神经网络中所说工程特征，就是指不但能表示工程特点，而且还能反映工程的主要成本构成的重要因素。，我们可以通过参照历史工程资料的统计和分析，进行工程特征的选取工作。选取完成之后，再根据专家的经验来确定，这样就可以万无一失了。首先我们可以通过典型住宅工程的造价组成进行分析，然后对建筑结构参数的变化和别的工程做一下对比，通过以上两点得出的结果，分析这些因素对造价的影响，依照以上的理论方法，我们进行了实践性的研究，最终把础类型，结构形式，建筑层数，门窗类型，外墙装饰还有墙体材料以及平面组合等，这7种因素作为工程的主要特征。不同的建筑工程有着不同的类型，比如说结构，可以是砖混结构和框架结构等;砖条基和钢筋砼条基础等都可以作为基础特征，对于这样的特征选取的多样性我们称之为特征类目，通过工程特征不同类目的列举，再跟据定额水平，工程特征对造价影响的相关性，这些对平方米造价的改变，对工程定量化的描述可以主观的给出对应的量化数据。

3．2建立估价模型

工程造价估算的指标体系到该项目的单位造价的非线性映射，就可以统称为是建设项目工程造价的估算问题。BP网络可以根据人们的需求以任意的精度去逼近任意映射关系，究其原因就是上文说的BP网络采用的是三层BP神经网络结构，不同于其他的电脑估算网络。不仅是因为该模型的输入单元为7个，还有他们的项目样本特征也不尽相同。神经网络可以根据已经经过我们优选的模型特征，做为参考估算要素，然后再通过项目工程造价估算中，我们所提供的一定数量的已知样本，采取对样本的神经网络训练，最后根据以往的大的数据库，提取类似的项目估算值，然后才能对其它特征的项目进行估算。这样我们只需要输入指标体系的各指标值，BP神经网络就可以在该项目的单位造价的非线性映射中给出该项目的单位造价。

3．3检测结果的分析

上面我们通过大量的实际实验得知了这两个固定不变的数字，然后我们可以用程序值被收敛后的网络，对现在要进行求解的数据进行检测，在测试后，如果发现总体误差比率较小，那么就满足我们初步设计的概算需求了，同时对工程可行性研究的投资估算需求也已经基本符合了，这些结果能有好的保证，全是依赖我们所选择的模型的宽度够用，模型在所有的因素中具有广泛的代表性。所以估价模型的计算才较为成功。几个工程估算的好坏也不能代表所有的项目都是完美的，也有个别工程造价估算误差大，因为电脑毕竟是人在给其输入程序，电脑的经验，还有就是对一些特征的学习不够用，本身的知识储备还是有局限性的。因为对样本数量的学习始终是有限，不可能面面俱到，而且挑选的样本也不可能针对这个工程而言都是符合这个项目的特性。虽然说BP神经网络模型有这样无法控制的缺点，但是和其他的造价估算模型相比，BP神经网络模型的优点还是可圈可点的，其优点和其他的造价模型相比较优点还是非常明显的。在以后的估算中，随着样本的不断充实，数据的不断积累，经验的不但丰富，其估算的误差也将不断缩小，这些方面的补充，在以后的估算中，必定会取得非常完美的成绩。

4总结