人工神经网络改进十篇

人工神经网络改进篇1

关键词： BP算法； 入侵检测； 神经网络； 随机优化算子

中图分类号： TN915.08?34； TP393.08 文献标识码： A 文章编号： 1004?373X（2017）11?0091?04

Research on BP algorithm based on neural network and its application

in network intrusion detection

LUO Junsong

（College of Information Science and Technology， Chengdu University of Technology， Chengdu 610059， China）

Abstract： By analyzing the problems of BP neural network applied to the detection system， the automatic variable?rate learning method， forgetting factor and random optimization operator are introduced into the BP algorithm on the basis of traditional BP algorithm. The BP algorithm is applied to the network intrusion detection system. The simulation results show that the improved BP neural network algorithm applied to intrusion detection has the characteristics of fast speed and easy convergence， and can quickly obtain the target accuracy of 0.02. The detection rate， missed detection rate and false alarm rate of the improved BP neural network algorithm can reach up to 96.17%， 3.83% and 4.15% respectively， whose detection rate is 11.65% higher than that of the traditional BP algorithm， the missed detection rate is 10.66% lower than that of the traditional BP algorithm， and the false alarm rate is 4.07% lower than that of the traditional BP algorithm. The superiority of the algorithm is obvious.

Keywords： BP algorithm； intrusion detection； neural network； random optimization operator

0 引 言

随着通信技术和计算机技术的快速发展，计算机的网络规模越来越大，通信系统也越来越复杂，由于计算机网络本身具有漏洞，同时还有黑客对网络进行攻击，因此计算机网络受到的威胁和攻击日益增加[1?3]。网络安全形势越来越严峻。通过入侵检测技术可收集计算机网络中的若干关键点信息，同时对这些信息进行分析，并对网络是否遭到袭击、是否存在违反安全策略行为进行检查，并做出及时响应，对网络连接进行切断并报警等[4?6]。目前倾向于通过入侵检测技术结合人工智能算法进行相关研究，对于各种入侵行为，采用人工智能算法通过自学习、自适应能力进行识别、检测[7]。

作为一种重要的模式识别方法，人工神经网络具有自学习、自组织、推广能力强等特点[8]。在入侵检测系统中，应用人工神经网络方法可使系统能较好地识别已知攻击，同时还具有对未知攻击进行检测的能力[9]。但是在异常入侵检测系统中，应用标准BP算法存在收敛局部极小值、学习速度慢等缺点，这在很大程度上影响了入侵检测系统的性能[10]。本文在对原有BP神经网络算法进行改进的基础上，研究了优化的神经网络BP算法及其在网络入侵检测中的应用。

1 BP神经网络

BP神经网络是一种多层前馈神经网络，包括输入信号前向传递和误差反向传播两个过程，在结构上一般由输入层、隐含层、输出层三层构成，每一层的神经元状态只影响下一层神经元状态。它被广泛应用在BP神经网络预测模型中。网络结构一般只需单个隐含层就能以任意精度逼近任意有理函数。训练样本的输入、输出向量的维数分别决定了网络的输入、输出层神经节点个数，典型的只有单个隐含层、单个输出的BP神经网络结构如图1所示。

图1 BP神经网络拓扑结构

图1中，为BP神经网络的一组输入向量；为网络的目标输出值；为输入层与隐含层之间的连接权值；为隐含层c输出层之间的连接权值；分别为隐含层和输出层的节点阈值。若设隐含层节点个数为则在前向传递中，输入信号向量从输入层经隐含层逐层传输，最后到输出层，通过各层连接权值矢量、阈值矢量和每一层相应的激励函数进行计算。得到输出层的预测输出值若预测值与目标值之间有误差，则误差部分转入反向逐层传递，沿误差减小方向调整网络各层连接的权值、阈值。反复执行以上过程，使得BP神经网络的预测值不断逼近实际输出值。

2 入侵检测算法

网络入侵检测通过分析系统数据，一旦有网络攻击行为、非授权网络访问时，入侵检测系统就会报警，同时对入侵线路进行切断。入侵检测系统应具有监视系统、用户的活动，对系统、用户活动进行分析，对异常行为模式进行分析，对已知进攻模式进行识别，审计系统弱点、构造，跟踪管理系统审计，对系统、数据文件完整性进行评估，对用户违反安全策略行为进行识别。常见的攻击手段目前包括非授权获得权限、非授权访问、探测、拒绝服务等。在实际中，这些攻击手段变异很大，入侵检测难度较大。BP神经网络具有较强的自学习和自组织能力，经过训练后，对以前观察到的入侵检测行为模式，BP神经网络会进行归纳和总结，可识别出已观察到的攻击和已知攻击变异的新攻击，图2为网络的入侵检测过程。

3 改进的BP神经网络入侵检测

3.1 BP神经网络用于检测系统存在的问题

BP神经网络采用分布式存储，但传统的BP算法存在一些不足，包括极小的局部，较慢的学习收敛速度，缺乏理论隐含层节点的选取，已经学完样本会受到新加入样本的影响，每次样本的输入必须具有确定相同的特征数目。

在入侵检测中，BP神经网络的实现方式主要是与现有系统结合进行，BP神经网络与应用模式识别系统相结合使用，例如与专家系统结合。在这种方式中，BP神经网络可作为系统组成部分，通常是作为信息过滤模块或信息预处理模块，当信息输入系统后，神经网络会对信息做过滤处理。另外，神经网络可规则自动生成模块，进而更新入侵检测系统规则库、模式库。这种方式的优点是能将入侵检测系统的工作性能提高，缺点是这种方式神经网络的真正优势不能得到充分发挥。

3.2 改进的神经网络算法

在信号检测、非线性处理、模式识别等领域，人工神经网络应用较多，这是因为人工神经网络自组织性、自适应性非常好，同时其非线性特性明显，信息存储为分布式模式、可进行大规模的并行处理。实质上BP神经网络算法属于非线性优化的梯度算法，在收敛性上，该算法存在不足，也就是说该算法的学习结果有可能落入到均方误差全局最小点，也有可能落入到局部极小点，造成算法不收敛，使工作模式陷入错误。

入侵检测系统的主要功能是对入侵计算机网络的行为和计算机系统进行检测，包括数据聚类、数据采集、分析判断行为、对入侵行为进行响应、报警等。BP网络各层神经元仅连接相邻层神经元；在各层内部，神经元间无连接；同时各层神经元间也无反馈连接。在信号输入后，传播到隐节点经变换函数再将信息传播到输出节点，经过处理，输出结果。本文将改进的BP 神经网络用于入侵检测系统，其检测模型见图3。

3.2.1 采用自动变速率学习法

传统BP算法在梯度基础上，采用最陡下降法LMS学习问题，学习步长为一个较小值，并且这个值是固定不变的，对网络收敛无益处。因而选择基于梯度方向自动对学习速率进行调节。通过梯度对学习方向做最终确定，在梯度方向上，学习步长由速率决定。若相邻两次梯度方向是相同的，表明该方向的收敛有利；若相邻两次梯度方向是相反的，表明该方向的收敛不稳定。根据这个规律，通过两次相对梯度的变化确定学习步长。当两次梯度为相同方向时，学习步长增大，该方向上学习速度要加快；在两次梯度为相反方向时，学习步长减小，整个网络收敛速度要加快，自适应速率调节方法如下：

（1）

（2）

式中表示在时刻和时刻梯度的乘积。

3.2.2 引入遗忘因子

根据相邻两次梯度变化，通过自适应变速率学习法对学习步长算法进行确定。变化单纯学习速率，这时收敛速度不能完全保证，但不会有振荡产生，因此考虑变速率学习法，在权值调节量上，加一个量，这个量正比于前几次的加权，权值调节量采用式（3）计算：

（3）

式中：表示遗忘因子，引入遗忘因子项，在学习过程中可通过对学习速率进行等效微调的效果进行说明。遗忘因子的作用是缓冲平滑，并使调节的平均方向朝底部变化。

3.2.3 引入随机优化算子

BP神经网络算法在引入遗忘因子，采用自动变速率学习法后，虽然可微调学习速率，但BP神经网络的不足和限制仍存在，为了进一步对BP神经网络进行优化，本文引入随机优化算子，当网络权值误差迭代达到一定次数后，收敛不明显或连续几次发生系统误差函数梯度变化，这种情况表明网络进入疲乏状态，要借助外界推动力对网络进行激活。当出现这两种情况时，与权值维数相同的随机数就产生了，直接将权值和随机数相加，对系统误差变化进行判断，若误差未降低，继续产生随机数，进行权值修改，当误差出现减少时停止，然后再从新权值继续开始BP算法，随机优化算子可随机变化搜索方向，局部极小点就摆脱掉了，图4为改进的BP算法流程图。

4 仿真实验

本文的仿真实验在Matlab 7.0实验平台进行，以此来验证提出改进的BP神经网络算法是否能达到较好的效果，本文同时给出采用未改进的BP算法网络入侵检测和改进的BP神经网络算法网络入侵检测模型仿真实验结果。

图5为两种算法得到的训练精度。从两种算法的实验仿真结果可看出，将改进的BP神经网络算法用于入侵检测，速度快、易收敛，目标精度0.02很快达到。在规定周期内，未改进的BP算法不能达到规定的目标精度，易陷入局部极小，本文提出的改进的BP算法所用训练周期较短，学习时间缩短显著，效果良好。

评价检测模型的标准为漏报率、误报率、检测率，其定义分别如下：

表1为未改进的BP算法与改进的BP算法的比较结果，从表1中可看出，改进的BP神经网络算法的检测率、漏报率、误报率分别为96.17%，3.83%，4.15%，检测率比未改进的BP算法要高出11.65%，漏报率比未改进的BP算法要低10.66%，误报率比未改进的BP算法要低4.07%。

表1 两种算法的入侵检测结果

[算法 训练周期 /s 检测率 /% 漏报率 /% 误报率 /% 基本BP算法 480 84.52 14.49 8.22 改进的BP算法 480 96.17 3.83 4.15 ]

5 结 语

本文在对原有BP 神经网络算法进行改进的基础上，研究了改进优化的BP神经网络算法及其在网络入侵检测中的应用。通过分析BP神经网络用于检测系统存在的问题，在传统BP算法基础上，采用自动变速率学习法，引入遗忘因子、随机优化算子，并将其用于网络入侵检测系统。仿真实验表明，改进的BP神经网络算法用于入侵检测，速度快易收敛，目标精度0.02很快达到。本文算法具有明显的优越性，各种入侵行为检测率得到明显提高，系统误报率也降低了，入侵检测系统性能得到有效改进，本文算法优越性明显。

参考文献

[1] 宋玲，常磊.变异粒子群优化的BP神经网络在入侵检测中的应用[J].智能系统学报，2013，8（6）：558?563.

[2] 刘伉伉，谢福，郭雪雪.基于BP神经网络的云计算入侵检测技术研究[J].计算机与数字工程，2014（12）：2357?2361.

[3] 黄煜坤.基于BP神经网络算法的入侵检测技术[J].电子制作，2015（10）：60?62.

[4] 沈夏炯，王龙，韩道军.人工蜂群优化的BP 神经网络在入侵检测中的应用[J].计算机工程，2016，42（2）：190?194.

[5] 王玲.基于BP 算法的人工神经网络建模研究[J].装备制造技术，2014（1）：162?164.

[6] 王俊士，李江涛.一种改进的BP神经网络算法在入侵检测中的应用[J].电脑知识与技术，2014，10（3）：614?617.

[7] 颜谦和，颜珍.遗传算法优化的神经网络入侵检测系统[J].计算机仿真，2011，28（4）：141?144.

[8] 汪洁.基于神经网络的入侵z测系统的设计与实现[J].计算机应用与软件，2013（5）：320?322.

人工神经网络改进篇2

关键词: 人工神经网络BP算法改进BP算法倒立摆小车

1.引言

倒立摆系统是时变的、非线性、多变量和自然不稳定系统,在控制过程中,它能有效地反映可镇定性、鲁棒性、随动性和跟踪等许多控制中的关键问题,是检验各种控制理论的理想模型。人工神经网络BP算法,在多变量输入情况下具有精度高、实现快、算法简单、鲁棒性好等优点,从而满足了系统的要求[1]。

2.人工神经网络BP算法简介

人工神经网络(ANN)由于具有信息的分布存储、并行处理和自学习能力等优点,在信息处理、模式识别、智能控制等领域得到了越来越广泛的应用。近年来,已有多种ANN模型被提出研究,80%―90%的人工神经网络模型是采用BP网络或其改进形式,它是前向网络的核心部分,体现了网络最精华的部分[2]。标准的BP网络是根据Widrow―Hoff规则,采用梯度下降算法,主要由信息信号的正向传播和误差信号的反向传播两部分组成。

但BP网络存在需较长的训练时间、收敛于局部极小值等缺点,为此人们对BP算法进行了许多改进。改进主要有两类:一类采用启发式技术,如附加动量法、自适应学习率法;另一类是采用数字优化技术,如共轭梯度法、拟牛顿法、Levenberg―Marquardt(LM)法[3]。由于LM算法收敛速度最快,精度较高,且经过大量仿真实验分析比较,LM效果最好,故我们采用LM法对网络进行训练。

LM优化方法权重和阈值更新公式[4]为:

其中J为误差对权值微分的雅可比矩阵,e为误差向量,μ为一个标量。依赖于μ的幅值,该方法光滑地在两种极端情况之间变化,即牛顿法(当μ0)和著名的最陡下降法(当μ∞)。

3.神经网络控制器设计

3.1训练样本的选取

BP神经网络在未经任何训练的情况下,不能作为系统控制器使用。在实际仿真过程中,我们选择极点配置控制为BP网络的教师进行学习,经过试探训练,样本数为2000时结果较为合理,此时样本数据能够反映系统的基本特征,可以得到预期的仿真结果。极点配置-2+5i-2-5i-5+4i-5-4i;A=[0 1 0 0;0-0.0883167 0.629317 0;0 0 0 1;0-0.235655 27.8285 0];B=[0 0.883167 0 2.35655]’;C=[1 0 0 0;0 1 0 0;0 0 1 0;0 0 0 1];D=[0 0 0 0]’;p=[-2+5i-2-5i-5+4i-5-4i]; K=acker(A,B,p)。

3.2 BP网络结构

BP网络设计时,增加层数主要可以进一步降低误差,提高精度,但却使网络复杂化。而增加隐含层的神经元数也可提高误差精度,且训练效果更易观察和调整。为了使误差尽可能小,我们要合理选择初始权重和偏置,如果太大就容易陷入饱和区,导致停顿,一般应选为均匀分布的小数,介于(-1,1)。

根据需要,在网络初始化时,BP采用0.5*Rands函数初始化权值,权值初始值选在(-0.5,0.5),选取训练目标误差为0.0001,训练次数上限为5000次。通过多次仿真实验性能比较,选取[4 9 1]的单隐层神经网络结构,隐含层、输出层分别采用Tansig、Purelin函数,仿真实验表明变学习率训练算法训练时间长,5000次还不能达到所要求的精度,且系统容易发散,控制倒立摆效果不好,采用改进的LM训练算法对网络进行学习训练可以得到较好的控制效果且训练时间短。在实际仿真过程中,BP网络经过53次训练即达到了训练目标。

4.BP网络训练结果

图1分别给出了倒立摆小车位移、摆角和控制力的BP算法与极点配置算法仿真曲线对比图,仿真结果表明:相较极点配置,BP算法精度高、实现快、鲁棒性好,倒立摆小车在BP算法下只需2.5s左右就可以达到所设定精度的稳定效果,且超调量很小,满足了系统的要求。

5.结论

通过对人工神经网络BP算法的分析,笔者进行了倒立摆小车改进BP算法的控制系统仿真实验。仿真表明该改进BP算法收敛性好、计算量小,尤其在非线性和鲁棒控制等领域具有良好的应用前景。BP神经网络从理论上可以逼近任意非线性函数,所以它特别适合控制像倒立摆这样的严重非线性、多变量系统。

参考文献:

[1]于秀芬,段海滨,龚华军.基于人工神经网络BP算法的倒立摆控制研究[J].测控技术,2003,22(3):41-44.

[2]张志华,朱章森,李儒兵.几种修正的自适应神经网络学习算法及其应用[J].地球科学,1998,23(2):179-182.

[3]苏高利,邓芳萍.论基于Matlab语言的BP神经网络的改进算法[J].科技通报,2003,19(2):130-135.

人工神经网络改进篇3

1BP神经网络简介

1986年，Rumelhart，Hinton和Williams完整而简明地提出一种ANN的误差反向传播训练算法（简称BP算法），系统地解决了多层网络中隐含单元连接权的学习问题，由此算法构成的网络我们称为BP网络。

1.1BP神经网络的基本原理

BP网络的基本思路是将训练过程分为两个阶段，第一阶段正向传播，输入信息从输入层经隐含层单元处理后传向输出层，每一层神经元的状态只影响下一层神经元状态。倘若在输出层得不到希望的输出，则转入第二阶段反向传播，将误差信号沿原来的神经元连接通路返回。通过修改各层神经元的权值，逐次地向输入层传播进行计算。这样，反复地运用这两个过程，使得误差信号最小，最后使得信号误差达到允许的范围之内。

1.2BP神经网络的神经元模型

BP神经元的结构模式如图1所示，基于以下几点假定：其一，每一个神经元是一个多输入单输出的信息单元；其二，突触分兴奋性和抑制性两种类型；其三，神经元输出有阈值特性；其四，神经元输入与输出间有固定的时滞；其五，忽略时间的整合和不应期；其六，神经元本身是非时变的。BP神经元的三个重要功能：一是加权-可对每个输入信号进行不同程度的加权；二是求和-确定全部输入信号的组合效果；三是转移-通过转移函数f（.），确定其输出。1.3BP神经网络的结构BP神经网络的主要功能决定于两个方面：一是网络的组成结构形式，也就是BP神经网络的连接方式；二是网络的学习和运行规则，及网络中连接权值的调整规则。如图2和图3所示，BP神经网络多层网络有单层网络级连而成，即网络中下一层各神经元接受前一层各神经元的输出。输入层各神经元负责接收来自外界的输入信息，并传递给中间各隐层神经元；每一个隐层是神经网络的内部信息处理层，负责信息变换；最后一个隐层将信息传递到输出层，输出层将信息进一步处理后即向外界输出信息处理结果，完成了一次从输入到输出的信息处理。由输出层构成多层网络时，各层间的转移函数应是非线性的，否则多层网络只相当于一个单层网络，其映射和存储能力丝毫不比单层强。

2BP神经网络在钢铁工业中的应用

2.1BP神经网络在钢铁冶炼中的应用

近年来，BP神经网络以其并行运算及强大的非线性处理能力被广泛应用于转炉炼钢控制中，随后转炉人工智能静态控制模型被成功开发，使终点命中率有了很大提高。因此，国内外许多学者进行了大量的基于神经网络的转炉控制研究［8，9］。AmlanDatta等［10］报道了在转炉炼钢过程中开发BP神经网络模型来预测钢水中硫含量。模型经40个样本学习后，现场应用的实际相关系数为0.87。水城钢铁（集团）有限责任公司炼钢厂的张毅［11］采用3层BP神经网络来预测炼钢成品的C、Si、Mn成分，根据炼钢的实际生产数据选取铁水、废钢、供氧、吹氩、硅锰合金、增碳剂等28个因素作为输入变量，对输入参数进行归一化处理，采取附加动量项和自适应学习步长的措施，解决了BP神经网络局部收敛和学习时间过长的问题，提高了神经网络预报的准确率。杭州电子科技大学的朱亚萍［12］针对转炉炼钢静态模型终点命中率较低的问题，分析了影响转炉炼钢终点命中率的各种因素包括铁水量、铁水温度、铁水各项化学成分含量等共17个变量，确定了BP神经网络（BPNN）的拓扑结构，并依此建立了转炉炼钢静态模型，该研究提高了转炉炼钢静态模型的终点C含量和温度预测精度。宝钢的杨志勇等［13］针对铁水预处理粉剂模型，设计了BP人工神经元网络数学模型，并给出了在系统中的应用方案，使脱硫效果提高8%，符合现场实际生产需求，由于模型精确度大幅提高，脱硫生产操作过程能够得以稳定，极大地减轻了高炉和转炉的脱硫负担。

2.2BP神经网络在钢铁轧制中的应用

AMukhopadhyay，AIqbal等［14］采用三层BP神经网络预报了低碳热轧板的极限强度、屈服强度和延伸率，并研究了不同网络结构对预报准确率的影响，该模型采用121组数据进行验证，验证值与实测值吻合良好。该模型已在印度塔塔钢铁公司热轧厂成功在线应用。山东莱芜钢铁集团有限公司板带厂的王洪彬［15］利用所建BP神经网络卷取温度预设模型提高了卷取温度的控制精度，能够给出不同厚度规格时的可靠的预设定值，从而减轻了反馈控制的负担，提高了卷取温度的控制质量。重庆钢铁集团公司的朱颖杰等人［16］利用BP神经网络的方法预测SPCC冷轧带钢产品力学性能并以现场得到的化学成分（C、Si、Mn、P、S、Al）和工艺参数（退火温度、轧制速度）正交试验数据为基础，采用离线学习的方法得出网络的预报值，BP神经网络具有良好的预报性能，实测值与预报值之间的偏差不超过8%。昆明理工大学的栗景树等人［17］以昆钢热轧产品Q235为例，对热轧板带的质量预测进行研究。利用BP神经网络理论建立以化学成分、轧制参数为输入，以力学性能为输出的质量预测模型-BP热轧板带质量模型，并利用训练好的BP神经网络质量模型，对产品的力学性能进行预测，98%的预测输出与实际输出误差在5%以下。北京科技大学的吴晋斌等人［18］以0.33%C，0.40%Si，1.50%Mn，0.099%V的中碳含钒微合金钢在应变速率为0.005～30s-1、温度为750～1050℃条件下的单向热压缩变形实验数据为样本数据，用商用软件matlab6.5构建BP人工神经网络模型。适用于预测一定温度与应变速率范围内（0.1～0.9）应变处的热变形流变应力，与常用的表征稳态或峰值应变处的流变应力与温度和应变速率关系的Arrhenius方程相比，应用范围更广。东北大学的邱红雷等人［19］为了提高中厚板轧机轧制力的预报精度，采用轧制力模型自适应与人工神经元网络相结合的方法进行中厚板轧制力的在线预报。应用结果表明，采用本方法预报轧制力时精度优于传统的数学模型，相对误差可以控制在±3%以内。

2.3BP神经网络在漏钢预测中的应用

连续铸钢生产过程中漏钢是最严重的事故之一，在20世纪70年代后期，为尽可能降低连铸过程中发生漏钢事故所造成的损失，研发了连铸漏钢预报技术［20，21］。20世纪90年代，神经网络开始应用于漏钢预报系统中［22-24］。目前，国内外工程中获得实际应用的神经元模型大部分是BP网络模型。田陆等人［25］提出了一种基于前馈反向传播（BP算法）神经网络的漏钢预报系统。通过神经网络分析漏钢前一段时间结晶器的温度特征曲线，提前诊断出漏钢的可能性，做出及时的预报，防止漏钢的发生。此系统得到了广泛的应用。东北大学的厉英等人［26］建立了BP神经网络漏钢预测模型，增加了BP神经网络参数，改变了传统只考虑温度因素的方式，将拉速和中间包钢水温度作为输入参数，扩大了漏钢因素的考虑范围，提高了预报的准确性，对某钢厂现场实际数据进行训练和预测，实验测试结果准确率为100%。2.4BP神经网络在钢材组织及性能中的应用钢的力学性能与其化学成分和工艺参数间呈现高度的非线性关系，难以用数学模型精确描述，但人工神经网络特别适合描述非线性关系，在钢的力学性能的研究中有重要作用。近年人工神经网络在钢的性能预测方面得到了广泛的应用，取得了令人满意的结果。C觟l等人［27］采用广义回归神经网络（GRNN）对一种APIX65微合金化钢的韧性进行预测。网络的输入为化学成分（C、Nb、Ti、N），冶炼工艺参数（钢液总量，硬硼酸钙石、石灰、FeMn、FeSi、Al、CaSi加入量，吹Ar量，吹Ar时间），加工工艺参数（保温温度、保温时间、出炉温度、变形率、终轧厚度、终轧温度、卷取温度），网络的输出为冲击功。预测结果表明GRNN能有效地预测冲击功，相关系数为0.984，平均相对误差为3.04%。XuLiujie等［28］采用BP网络根据淬火温度和回火温度预测高钒高速钢（HVH-SS）残余奥氏体量、硬度、磨粒磨损强度；采用贝叶斯正则化与LevenbergMarquardt算法结合的改进的BP网络，改进后的BP网络能精确预测奥氏体量、硬度、磨粒磨损强度，并能用于研究热处理工艺对性能的影响规律，从而确定最佳热处理工艺。改变该钢中V、C含量后采用与上述相同的BP网络对磨损失重进行预测，该BP网络能精确预测磨损失重并反映化学成分与磨损失重间的关系，从而确定了V、C的最优加入量［29］。FWMargrave等用超声波探伤仪，对含有裂纹、线缺陷、穿孔、夹渣、气孔等缺陷的试样进行探伤，测得能表征缺陷的不同形状、位置、尺寸、服役条件（应力）等情况的回波信号，再将这些信号处理后作为BP神经网络的输入，输出端为上述5种缺陷和无缺陷共6个输出变量。缺陷的识别准确率大于90%。

3BP神经网络在钢铁工业中的局限及发展前景

BP神经网络存在学习收敛速度慢、学习时间长和数据依赖性强等局限性，因此寻找合适的算法与BP神经网络相结合，解决上述问题，是BP神经网络发展的重要研究方向。多年来，围绕BP神经网络陷入局部极小值的问题，国内外的研究者做了大量的工作。解决这一问题，必须彻底摆脱依赖梯度信息来指导数值调整方向，引进其他算法与BP算法相互结合。因此，模拟退火法、单纯形法、趋化性算法、随机学习算法、动量算法以及递推最小二乘（RLS）技术等方法应运而生。针对学习时间长这一问题，现在一般采用离线学习、在线预报作为变通手段。BP神经网络的发展为冶金工作者提供了一个全新的知识获取和处理手段。与其它传统模型（如数学模型、回归模型、时间序列模型及经验分析模型）相比，它具有较强的抗噪声和非线性问题处理能力。另外，它的实时性又使其能对过程实现在线响应。基于此，它被越来越多地收入到专家系统中，同时，其结构价值也在专家系统的功能应用中得到体现。

人工神经网络改进篇4

关键词：电加热炉；BP神经网络；PID控制

中图分类号：TP23文献标识码：A文章编号：1672-3198（2008）05-0322-02

1 基于BP神经网络的PID控制

BP算法是在导师指导下，适合于多层神经元网络的一种学习，它是建立在梯度下降法的基础上的。理论证明，含有一个隐含层的BP网络可以实现以任意精度近似任何连续非线性函数。

BP神经网络结构如图1所示，由三层(输人层、隐含层、输出层)网络组成，使输出层的神经元状态对应PID控制器的三个可调参数Kp、Ki、Kd。通过神经网络的自学习、加权系数调整使神经网络输出对应于某种最优控制律下的PID控制器参数。

图1 BP网络结构

基于BP(Baekpropgation)网络的PID控制系统结构如图2所示，控制器由常规的PID控制器和神经网络两部分组成，常规PID控制器直接对被控对象进行闭环控制，并且其控制参数为Kp、Ki、Kd在线调整方式；神经网络根据系统的运行状态，调节PID控制器的参数，以期达到某种性能指标的最优化，使输出层神经元的输出对应于PID控制器的三个可调参数Kp、Ki、Kd。通过神经网络的自学习、加权系数的调整，使神经网络输出对应于某种最优控制规律下的PID控制器参数。

图2 神经网络PID控制器结构图

2 改进型BP神经网络

基本BP神经网络主要存在以下两个缺陷：其一，传统BP网络是一个非线形优化问题，不可避免的存在局部极小问题。网络的权值和阀值沿局部改善的方向不断修正，力图达到使误差函数 最小化的全局解，但实际上常得到的是局部最优点；其二，学习过程中，误差函数下降慢，学习速度缓，易出现一个长时间的误差坦区，即出现平台。

目前已有不少人对此提出改进的方法。如在修改权值中加入“动量项”，采用Catchy误差估计器代替传统的LMS误差估计器等。本文在此探讨通过变

换梯度来加快网络训练的收敛速度的共轭梯度算法,利用这种算法改善收敛速度与收敛性能。改进共轭梯度算法在不增加算法复杂性的前提下可以提高收敛速度，并且可以沿共轭方向达到全局最优即全局极值点。它要求在算法进行过程中采用线性搜索，本文采用Fletcher-Reeves线性搜索方法，以保证算法的收敛速度。

将改进共轭梯度法应用于BP网络的控制算法如下：

1)选取初始点w(0)和初始搜索方向d(0)=-g(0)；

2)对k=0，1，2，…，n-1,BP网络的权值修正公式为

w(k+1)=w(k)+α(k)d(k)(1)

式中：α(k)为学习速率，使式(1)取得极小；d(k)为第k次迭代的共轭方向。

3)计算新的梯度矢量g(k+1)；

4)若k=n-1，则用w(n)代替w(0)，并返回步骤(1)；否则转步骤(5)；

5)计算第(k+1)迭代的共轭方向

d(k+1)=-g(k+1)+β(k)d(k)(2)

式中

β(k)=gT(k)g(k)gT(k-1)g(k-1)（Fletcher-Reeves公式）(3)

6)如果dT(k+1)g(k+1)>0，则用w(n)代替w(0)，并返回步骤(1)；否则转步骤(2)。

3 仿真试验

本文以电加热炉为控制对象，其数学模型可以用一阶惯性环节加上一个大的纯滞后环节来表示，传递函数为：

G(s)=KpTps+1e-τs=148286s+1e-200s

构造两个3-5-3结构的BP神经网络，以误差、误差的积分、误差的微分为网络的输入；选取学习速率η=0.01、惯性系数α=0.04，加权系数初始矩阵取区间［0 0.5］上的随机数，传统与改进的BP神经网络的加权系数分别使用负梯度法、改进共轭梯度法进行自整定。

由于电加热炉是温度参数的定值控制，且存在干扰和对象参数变化的情况，为验证改进BP神经网络PID控制的效果，分别对其跟踪设定值特性、及适应对象参数变化的能力进行仿真研究，并与基于传统BP神经网络PID控制器的控制效果进行比较分析。图3为单位阶跃响应曲线，图4为过程对象单位阶跃响应曲线是在控制器参数不变的情况下改变对象G(S)参数的仿真结果。(注:以下各图中实线或“I”均表示改进BP神经网络PID控制结果，虚线、点线或“T”表传统BP神经网络PID控制器的控制结果;A、B、C分别表示G(S)三种参数变化了的模型)

从仿真结果看，改进BP神经网络PID控制器比传统BP神经网络PID控制器在控制性能上有了一定程度的提高，尤其是在系统稳定时间和抗干扰性方面的优化较为明显。这主要是因为在BP算法中采用了改进共轭梯度法，加快了BP算法的收敛速度，从而保证了系统稳定时间较短，又具有较好的泛化能力，因此，具有较强的抗干扰和适应参数变化的能力

4 结论

改进共轭梯度BP算法在不增加算法复杂度的情况下，通过梯度的共轭方向来寻求网络的全局最优值，从而避免网络陷入局部极小值。本文将其替代传统的BP算法构造智能PID控制器，并进行了以电加热炉为模型的控制系统仿真。结果表明，这种改进算法能够有效提高网络的训练速度，改善网络的收敛性能，避免网络陷入局部极小值，取得了良好的控制性能。

参考文献

［1］陈巍, 吴捷. 具有辅助调节功能的递归神经网络自适应PID控制［J］. 信息与控制, 2000, 29(5): 461-470.

［2］李奇, 李世华. 一类神经网络智能PID控制算法的分析与改进［J］. 控制与决策, 1998, 13(4): 312-316.

［3］李士勇著. 模糊控制、神经控制和智能控制论［M］. 哈尔滨: 哈尔并工业大学出版社, 1996.

［4］高隽. 人工神经网络原理及仿真实例［M］. 北京:机械工业出版社, 2003, 7-20.

人工神经网络改进篇5

关键词：矩阵式红外热电堆；RBF神经网络；惯性权重因子；粒子群算法

DOI：10.16640/ki.37-1222/t.2017.04.220

1 引言

常用的人体入侵检测方法有视频监测、超声波、机电检测、红外检测等，而它的准确性和可靠性对人的生命财产安全起确定性的作用。本文采用的是Melexis（迈来芯）的一套矩阵式红外热电堆温度采集装置，其中传感器MLX90621是一款采用16*4像素的红外阵列传感器，可以检测出一副画面中64个点的温度，可以提供的视角范围是，配合电机，它的检测范围可以达到，因此它每一帧可以测得的温度数据有个。相比于传统的检测方法，虽然它的检测像素低，但是在后面的算法计算中，它的计算量会降低，它的优势在于成本低、体积小易于隐蔽，而且不易受环境因素的影响，比如黑夜、电磁干扰等。在人体识别部分，本文采用的是改进RBF神经网络算法，RBF神经网络是一种采用局部接受域来执行函数映射的人工神经网络[1]。而如何确定RBF神经网络的隐层基函数的个数、中心向量以及宽度是训练RBF神经网络的关键所在。假如设定的隐层基函数的个数偏多会造成训练和测试的时间加长，不仅容易产生过拟合[2]，而且还会造成网络的泛化能力下降。相反，设定偏少的话会造成神经网络的收敛误差变大。一般采用K-mean聚类算法来确定径向基函数的个数和中心向量，但其依赖初始中心的选择，只能获得局部最优解[3]。

粒子群算法（PSO）是基于群体智能的优化算法，通过粒子间的合作与竞争的群体智能理论的优化搜索，它可以记忆所有粒子都共享的迄今为止问题的最优解[4]。PSO的优势在于简单且易于实现。但基本PSO的缺点在于其参数是相对固定的，会导致在优化某些函数时，造成精度差、收敛速度慢等。因此本文针对基本PSO的缺点，提出了结合惯性权重模型，将适应度择优选取引入基本PSO算法的方法进行改进。RBF神经网络首先采用最近邻聚类算法来确定隐层基函数的个数，中心向量即为聚类的的均值。同时将改进的粒子群优化算法来优化最近邻聚类算法的聚类半径，从而确定出RBF神经网络最优的隐层基函数和中心向量，使其不用依靠初始中心的选择，减少了现有算法中人为因素的影响，从而有效地提高了RBF神经网络的精度和收敛速度。独立训练特定的RBF网络并合成其预测结果，可以有效得提高神经网络表达对象的准确性[5，6]。将改进PSO优化RBF神经网络的方法应用于人体入侵检测识别中，通过实测数据验证，准确率相对基本RBF神经网络有了显著的提高。

2 RBF神经网络设计

2.1 RBF基本原理

RBF 神经网络，即径向基神经网络，是前馈神经网络的一种，具有三层结构，如图 1 所示。它的基本思想是用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接（即不需要通过权链接）映射到隐空间，当RBF神经网络的中心确定之后，映射关系也就随之确定了。隐含层的作用是把向量从低维映射到高维，这样低维线性不可分的情况到高维就线性可分了，隐含层空间到输出空间的映射关系是线性的。

（1）假设已经有个聚类中心，分别为：，分别计算与它们之间的距离，。

（2），即到中心的欧式距离最小。

（3）比较与的大小，如果，则就会被设定为一个新的聚类中心，如果，则按照更新，。

（4）重新选取下一个输入的样本数据，返回1）。

（5）所有的输入数据取完则结束。

从上面的算法步骤来看，可以得出，隐层基函数的中心的确定，最主要的因素是聚类半径，若过大，会造成基函数的中心个数较少的情况，从而导致网络的收敛误差偏大，反之则会造成基函数的中心个数较多的情况，从而导致网络的泛化能力下降。因此本文在最近邻聚类算法中选取合适的聚类半径时，采用改进的粒子群算法，最后可以确定出最优的RBF神经网络的隐层基函数的中心向量。

3 粒子群优化算法

3.1 基本粒子群优化算法

粒子群优化算法（PSO）是由Kennedy和 Eberhart于1995年提出的一种通过模仿鸟类群体捕食行为研究的群体智能算法[7]。粒子群优化算法的基本思想是通过群体中个体之间的协作和信息共享来寻找最优解[8]。它的优势在于简单容易实现并且没有许多参数的调节[9]，目前已被广泛应用于函数优化、神经网络训练、模糊系统控制以及其他遗传算法的应用领域。在由 m 个粒子组成的粒子群中，每个搜索空间中的潜在的解由粒子的位置来确定，新的个体在取值时主要由粒子的当前速度、粒子群中的最优个体以及当前粒子的历史最优解3个因素来决定，其中粒子的当前速度控制着搜索的步长，算法的全局以及全局搜索能力由其决定，对PSO的收敛速度和质量有着重要的影响；后两者则主要用于控制搜索的方向，反映了可利用的梯度信息[10]。粒子根据如下三条原则来更新自身状态：（1）保持自身惯性；（2）按自身的最优位置来改变状；（3）按群体的最优位置来改变状态。

算法描述：在一个 n维的搜索空间中，是由m个粒子组成的粒子群，其中，为第个粒子的位置为，为速度。其中，为个体极值，为种群的全局极值。接下去粒子会根据公式（6）不断更新自己的速度，根据公式（7）不断更新自己的位置。

3.2 惯性权重因子的引入及其改进

为改善粒子群算法的搜索性能，以及基本PSO参数固定优化某些函数时精度较差的问题，Shi和Eberhart对基本PSO算法进行了改进，在粒子的速度进化方程中引入惯性权重[11]。一般地，较大的权重有利于提高算法的全局开发能力，而较小的权重则能增强算法的局部搜索能力[12]。因此惯性权重因子对当前速度的大小起决定性因素，提升PSO性能的关键一环是惯性权重因子和调整策略的合理设置[13，14]。将代入公式（6）可得：

上式中，和分别代表第个粒子和最优粒子在第次迭代时相应的函数值。的计算是用来判断目标函数的平整度[16]。由图2可以看出，在迭代时变化越明显，表明目标函数越不平整，相反则表示越平整。通过跟随的变化而变化，以此来实现的动态变化。

4 基于改进PSO算法的RBF神经网络训练

前面提到RBF神经网络基函数个数和中心向量难以获取最优的缺点，本文将改进PSO算法应用到RBF神经网络的训练学习中，有效地提高了RBF神经网络的精度和收敛速度，大大地增强了网络的泛化能力。粒子群算法的神经网络训练过程如图3所示。具体的优化步骤如下：

1）首先对样本进行归一化处理。

2）初始化。由参数，，组成粒子群，然后随机赋上初始值，并根据这些S机值来初始化粒子群的位置和速度。

3）计算适应度值。根据得到的RBF神经网络输入输出值，应用公式：

来计算粒子群的适应度值，以此来确定和。其中和分别为训练样本数和输出神经元个数，、分别为第个样本的第个分量的输出值和期望输出值。

4）根据公式（8）更新粒子的位置和速度，得到新的粒子群。

5）判断优化目标是否满足终止条件，若满足，则结束算法；否则返回到（3）。

5 实验验证及结果分析

本文在对上述改进PSO算法训练的RBF神经网络算法进行寻优测试后发现，改进后的RBF神经网络算法在寻找最优值时，收敛速度和精度上都优于基本RBF神经网络算法，且大大提高了网络的泛化能力。然后将改进后的RBF神经网络运用到实际的人体识别检测中来进行验证。在实验中，通过MLX90621红外阵列传感器配合电机采集一个空间在不同情况下的温度数据作为实验数据，每一帧有16X36个温度数据，共测得297组数据用于训练。下面附上其中一张实测数据结果验证图（见图4）：

图中坐标轴中显示的温度数据就是实测的空间温度数据，绿色区域为热源干扰物，红色区域为目标。根据采集获得的温度数据将其分为最高温度、最低温度、平均温度三类，在正常情况下，由于人体的正常温度存在一个绝对范围，因此结合这个绝对范围并将分割处理后的图像一起作为训练的特征值对改进PSO算法训练的RBF神经网络进行训练，实现了对人体目标的检测，然后利用训练好的RBF神经网络直接对新的温度数据进行分类，检测并判断每一帧是否有人。

下面分别采集无人无干扰和无人有热源干扰的两种情况下的空间温度数据，用这两组数据作为训练样本对基本RBF神经网络和改进PSO算法训练的RBF神经网络进行训练，训练结果如表1所示：

从训练结果来看，改进后的RBF神经网络算法的训练效果有了很大的提高，无论在无人无干扰还是无人有热源干扰的数据中，测得的无人的准确率都高于基本RBF神经网络。最后用测得的有人有热源干扰的空间温度数据用来进行结果验证，验证结果如表2所示：

重新在一个空间中测得99组有人有干扰的温度数进行结果验证，在基本PSO的基础上引入惯性权重因子，对基本RBF神经网络的训练效果有明显的提升，改进PSO算法训练的RBF神经网络算法测得有人的准确率明显高于基本RBF神经网络。

6 结论

对人体识别算法进行了研究，最终确定使用RBF神经网络作为研究对象，并使用最近邻聚类算法来确定RBF神经网络的中心向量，成功地消除了操作时人为因素的参与。本文通过引入动态惯性权重因子对基本PSO算法进行改进，将改进PSO算法训练的RBF神经网络与基本RBF神经网络进行对比，对比训练的过程及结果可以得出，改进后的RBF神经网络在训练效果上有了很大的提升，精度、收敛速度以及稳定性都优于基本RBF神经网络。最后将改进后的RBF神经网络应用到人体入侵检测识别中，经过实测数据验证，虽然改进PSO算法训练的RBF神经网络在排除干扰的问题上提升不是非常明显，但是识别的准确率有了很大的提高，说明改进后的RBF神经网络更加适用于低精度且计算量少的人体入侵检测识别中。

参考文献：

[1]SimonHaykin.Neural Networks：A comprehensive Foundation，SecondEdition[M]. U.S：Prentive Hall，1988.

[2]段其昌.一种改进PSO优化RBF神经网络的新方法[J]计算机仿真，2009，26（12）：126-129.

[3]Y Moddy and C J Darken. Fast learning in network of locally tuned processing unites [C] .Neural Computation，1989（01）：281-294.

[4]Kennedy J and R C Eberhart. Particle swarm optimization[C]. Conf.Neural Networks.1995.1942-1948.

[5]王桂洋，张亚庭.基于APSO优化算法的 GCHP 系统神经网络预测控制[J].计算机测量与控制，2014，22（01）：106-108.

[6]谭子平.基于白适应权值神经网络的 PID 参数优化[J].计算机光盘软件与应用，2014，17（07）：97-98.

[7]皮倩瑛，叶洪涛.一种动态调节惯性权重的粒子群算法[J].广西科技大学学报，2016，27（03）：26-31.

[8]胡珀，娄渊胜.改进粒子群优化算法在服务组合中的应用[J].计算机工程，2011，37（17）：130-133.

[9]任圆圆，刘培玉，薛素芝.一种新的自适应动态文化粒子群优化算法[J]. 计算机应用研究，2013（30）11：3240-3243.

[10]于海鹏，翟红生.基于混合策略的自适应粒子群优化算法[J].计算机工程与设计，2014，35（07）：2552-2556.

[11]Shi Y，Eberhart R C.A Modified Particle Swarm Op-timizer[C]/ / Proceedings of the IEEE Congress onEvolutionary Computation.Now York： IEEE，1998：303-308.

[12]罗金炎.粒子群优化算法惯性权重的一种动态调整策略[J]沈阳化工大大学学报，2013（04）：371-375.

[13]De Silva I J，Rider IM J，Romero R，et al.Transmission network expansion planning with security constraints[J].IEEE Proc Gener Transm Distrib，2005，152（6）：828-836.

[14]左浩，李雯.混沌粒子群与模糊聚类在图像分割中的应用[J].计算机工程与应用，2012，48（02）：194-196.

[15]田雨波.混合神经网络技术[M].北京：科学出版社，2009.

人工神经网络改进篇6

随着科技时代的到来，越来越多的技术手段走进人们生活的方方面面。其中，人工神经网络技术是（简称：ANN）是一种全新的系统控制技术。可以通过互联网进行动态的模拟，建立模型，控制互联网的系统等，随着技术的成熟，ANN技术应用越来越广泛。本文主要探讨的是ANN技术的应用，并简要分析了ANN技术在未来的发展趋势。

【关键词】人工神经网络技术 应用 发展趋势

ANN技术主要指的是通过具有基础功能的人工神经元通过对于生物的神经元进行模拟，并依照有区别的方式进行联结，最终形成一个较为完整的网络。最近几年，对于ANN技术的研究不断的深入，获得了巨大的成就，ANN技术的运用领域涉及到方方面面，主要包括数学、生物、电子科学以及计算机科学等等。

1 ANN技术的应用

ANN技术不仅在其结构上十分具有优势，同时，在信息处理方面也具有很高的效率。所以，ANN技术被各个领域广泛应用，运用ANN技术具有很多功能，比如，对图像进行处理、对信号进行处理、自动监控、使用机器人监控以及智能识别等等。它改变了人们的生活，使得交通、军事以及电力部门的工作更加便捷。接下来，我们对ANN技术几个主要的神经网络的具体应用进行简要分析。

1.1 BP神经网络

BP神经网络主要在预测、分类以及函数逼近等方面的应用广泛，例如，可以通过BP网络对人的心电图以及胃电图等进行分类，对函数最小二乘做逼近分析，整理一些在生产过程出现的数据，预测电力系统所具备的一些负荷量，并对相关的数据优化分析等等。除了这些，BP网络在时间中的序列预测也起到了十分明显的作用。BP网络还可以处理经济发展过程中的数据。对比于其他ANN技术的网络来看，BP网络较为简单，难度低，应用广泛。在一些系统内，它可以形成对于系统的有效控制，其优点主要体现：利用BP网络可以迅速的对系统出现的一些故障进行的判断，具有较高的工作效率。而这种网络也存在着一定的不足，主要体现为在故障的检测以及判断时，所表现出来的准确性较差，收敛的速度比较慢，缺乏完整的理论配套等，这些都对其使用造成了影响。

1.2 ART神经网络

ART网络具有十分强大的图像、语音以及文字识别的功能，在相关领域应用广泛。除此之外，ART网络在很多工业生产中也具有普遍的应用，主要体现在对于工业生产系统的控制方面。比如，对工业生产中存在的故障进行监测判断，对于事故进行预警等，通过挖掘相关的数据，解决繁琐的生产过程中出现的问题。ART网络的优势性在于，它能够对于复杂的变化进行较为稳定的分析，所提供的算法也非常简单，十分快速。而ART网络的缺点则是整个网络的完整性还需要完善。

1.3 RBF神经网络

RBF网络主要应用于建立模型、划分类别、近似函数、系统识别以及处理信号等，相比于其他网络，RBF网络具有较为简单的结构，在显示非线性关系时具有明显的效果，具有较快的收敛速度，可以体现对于整体的收敛。但是，RBF网络同样存在缺陷性。主要表现在它对于函数的逼近不够完整，需要继续改进。

1.4 Hopfield神经网络

Hopfield网络是神经网络反馈的一种，可以自动的对连接性高神经网路集中进行计算，在我国目前的工业生产中应用十分广泛。Hopfield网络最为突出的优点是减少了计算线性问题时应用的数学方法的繁琐性，实现数学模型转化的时候，可以快速准确的运行。

1.5 模糊神经网络的应用

模糊神经网络将神经网络的优势以及模糊理论的优势有机的结合，具有十分独特的应用性质，是当今社会人们普遍研究的热点。模糊神经网络在对工业机器人进行控制以及对于窑炉的控制方面应用效果明显。但是，模糊神经网络也存在着缺陷性，首先，这种网络的自我调整能力和自我适应能力较差，对于一些干扰能力的抵抗性弱，无法对系统进行实时的操作和控制；其次，这种网络的实用型平台有待开发，对于网络的应用形成限制。

2 ANN技术在未来的发展趋势

随着科学技术的发展，ANN技术逐渐渗透到人们的生活之中，ANN技术得到了越来越多的关注，但是，我们也不能忽略其在发展中还存在的不足之处。必须得到不断的改进和创新。ANN技术是对于人脑的模拟，随着时代的变化，人脑的认识也有了一定的提升，ANN技术必须也要符合时代潮流，更加大胆的作出改变和突破，实现自身的加速发展。除此之外，必须注重ANN技术与其他科技成果的结合，实现更为广泛的发展空间。

3 结束语

ANN技术在社会发展的各个方面已经具有十分广泛的应用，并随着时代的发展，实现了与更多领域的科学技术的结合，随着ANN这项技术的不断完善，世界的发展更加体现出其科技化的特性，只有不断的对ANN技术进行发展和创新，才能够使其更加符合于社会发展的潮流，更好的为人类创造财富。

参考文献

[1]王津，张华，陈婉如.人工神经网络技术及其应用的探讨[J].电子技术与软件工程，2015（02）：29.

[2]汤素丽，罗宇锋.人工神经网络技术的发展与应用[J].电脑开发与应用，2009（10）：59-61.

[3]陈跃波，吉书龙.人工神经网络发展的基础和研究方法[J].桂林电子工业学院学报，1991（02）：25-30.

[4]吴蒙，贡璧，何振亚.人工神经网络和机械故障诊断[J].振动工程学报，1993（02）：153-163.

[5]王鸿斌，张立毅，胡志军.人工神经网络理论及其应用[J].山西电子技术，2006（02）：41-43.

[6]张红兰.人工神经网络技术的应用现状分析[J].中国新通信，2014（02）：76.

人工神经网络改进篇7

论文关键词：内燃机 人工神经网络 辅助方法

论文摘要：针对汽车发动机设计和性能评测当中有关参数计算的特点，提出应用人工神经网络方法进行辅助计算，以提高数据计算的结构化程度和处理速度。通过对具体数据的实际操作表明，应用本方法能够很好地表达原图表数据关系，所得结果的精度能够满足计算要求。

汽车发动机的性能包括动力性、经济性、生态特性——排放与噪声、可靠性及耐久性等多个方面，这些参数要通过在一定条件下的测试计算来获得。当发动机在非标准环境下运转时，其相关计算要通过参数进行修正，比如发动机的有效功率和燃油消耗率的计算。当发动机在非标准环境下运转时，其有效功率及燃油消耗率应修正到标准环境状况，当然也可由标准环境状况修正到现场环境状况，其中的有效功率和燃油消耗率修正系数在gb1105..1-87中以图表的形式给出，使用很不方便，本文应用人工神经网络对此图表信息进行处理，提高了数据计算的结构化程度和处理速度，取得了满意的效果。

1.神经网络的识别原理

在神经网络系统中，其知识是以大量神经元的互连和各连接的权值来表示的.神经网络映射辩识方法主要通过大量的样本进行训练，经过网络内部自适应算法不断调整其权值，以达到目的.状态识别器就隐含在网络中，具体就在互连形式与权值上.在网络的使用过程中，对于特定的输入模式，神经网络通过前向计算，产生一输出模式，通过对输出信号的比较和分析可以得出特定解。目前神经网络有近40多种类型，其中bp(back propagation,即反向传播)网络是最常用和比较重要的网络之一，本文就应用一种改进型的bp网络进行相应数据图表的识别映射。

bp网络由输入结点、输出层结点和隐层结点构成，相连层用全互连结构.神经网络的工作过程主要有两个阶段：一个是学习期，通过样本学习修改各权值，达到一稳定状态；一个是工作期，权值不变，计算网络输出。

b

p网络的学习过程由正向传播和反向传播两部分组成。在正向传播过程中，输入信息从输入层经隐层单元逐层处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入反向传播，将误差信号沿原来的路径返回，通过修改各层神经元的权值，使得误差信号最小。

当给定一输入模式x=(x1,x2,….,xm)和希望输出模式y=(y1,y2,…..,yn)时，网络的实际输出和输出误差可用下列公式求出：

隐含层输出：

式中——输入层至隐含层，隐含层至输出层的连接权；

——隐含层结点、输出层结点的阀值；

m、h、n——输入层、隐含层、输出层结点数；

f—— s型函数，f(x)=(1+e-x)-1.

如果误差太大不能满足要求，则需要用下列公式修正各连接权和阀值

为网络提供一组特定的训练模式，随机产生初始连接权和阀值，不断币复上述计算过程，直到网络全局误差小于给定的极小值为止.

由于bp网络的高识别能力，应用中采用了此结构形式.同时为提高其识别效果，加快网络的训练速度，缩短工作周期，应用了附加动量项和自适应速率的改进算法.

附加动量项法使网络在修正其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响，其作用如同一个低通滤波器，允许网络上的微小变化特性，使网络陷入局部极小值的可能性大大减少。自适应速率是通过改变学习率，提高bp算法的有效性和收敛性，缩短训练时间.

2具体应用

根据以上理论，采用改进的bp神经网络形式，动量因子取0.9，对有效功率校正系数和燃油消耗率校正系数与指示功率比和机械效率的关系同时进行识别，采用双输入双输出的2-10-2结构、2-15-2结构、2-20-2结构进行训练，识别情况分别如表3-5所示。

从实际的应用效果来看，2-15-2和2-20-2的逼近能力相似，2-15-2的速度快于2-20-2结构，而2-20-2结构的识别能力要远低于前两种结构，采用更少的隐层结点数就会使训练的时间过长，甚至使训练过程无法进行.因此最后选择2-15-2的bp网络结构作为最终的神经网络形式。如图1所示为训练次数与误差平方和之间的关系曲线，表4为部分网络输出与实际数值的比较.

通过以上计算分析可见，神经网络的映射输出能力是相当强的，通过合理的网络结构选择和具体的参数应用，完全可以满足优化设计的计算要求，大大缩短优化当中的计算迭代时间，提高计算效率。

3结论

（1）人工神经网络有很强的数据映射能力，能够很好地识别所给数据之间的对应关系，映射的精度可以满足一般设计计算要求.

（2）对于包含无规律图表数据的有关计算问题，应用神经网络是一个很好的加快运算速度的解决方法.

（3）在数据的映射识别当中，网络的结构形式和参数选择对于问题的求解精度和速度都是致关重要的’同时应当注意数据的过度训练问题.

（4）智能算法的应用为具体的工程计算提供了更方便、有效的手段，寻找有效的计算方法，以及多种算法的混合应用将是摆在设计人员的一个课题.

参考文献

[1]焦李成.神经网络系统理论[m]西安:西安电子科技大学出版社，1990.

[2]焦李成.神经网络的应用与实现[m].西安:西安电子科技大学出版社，1993.

[3]王文成.神经网络及其在汽车工程中的应用[m].北京:北京理工大学出版社，1998.

[4]张成宝，丁玉兰，雷雨成.人工神经网络在汽车变速器齿轮故障诊断中的应用[j].汽车工程,1999,21(6) 374-378.

[5]watanahle y, sharp h s. neural network learning control of automotive aotic-e suspension systems.lnternational,lournal of vehicle design[j]，1999，21(2/3):124一147.

人工神经网络改进篇8

关键词:BP神经网络;远程抄表技术;数字识别

1、引言

为了克服传统人工定期现场抄表技术复杂、信息不及时、人为误差大、管理不方便、人力物力浪费等缺点，随着经济的发展，迫切需要研究开发出一种智能远程动态抄表系统，保证电力运营商进行电能经济合理的计量管理。本文利用改进BP神经网络强大数据分析处理、模型自动学习预测等功能，对视频扫描获得的远程电能数据进行集中模块化“学习”训练，获得相应的模块约束值和预定值，并通过计算机程序自动进行图像数据，最终形成动态的电能数据表格，为电能远程自动采集提供了丰富的理论技术。

2、抄表技术概况

2.1 传统人工抄表

传统人工抄表是通过电力运营商雇佣相应电能抄表员登门查表，完成电能抄表校对工作。随着电网规模的扩大，加上电力用户分散，给供电企业抄表带来的巨大的困难。抄表员需要花大量的时间进行抄表和电能数据校对工作，大大增加了电力运营商的负担，造成了大量的人力浪费，同时由于人为误差的存在，给电力用户带来了许多不便，整个电能的抄录过程在时间上存在着明显的离散性，不利于电力运营商的统一管理。

2.2 远程自动抄表

随着电力电子技术和计算机通信技术的不断成熟，远程自动抄表技术已经逐步取代传统人工抄表技术，成为电力运营企业电能抄表的核心技术。远程抄表系统一般由电能检测表计、视频数据采集模块、数据储存模块、数据通信模块、计算机综合数据管理模块五大部分构成，整个系统采用集散式典型结构，具有明显的树型综合通信结构，利用综合通信技术实现了对电能数据的实时动态采集，便于电力运营商进行电能的检测、综合数据分析管理和收费自动化的要求的实现。

3、改进BP神经网络

改进BP是一种基于误差反馈综合比较的神经网络，由于该模型不需要具有精确的数学模型，只需要将外界已知的原始数据作为系统的输入，对整个网络模型进行“学习”训练，网络层通过输入层(INPUT)获得相关的数据信息，通过中间层(Recurrent)进行数据信息处理，再通过输出层(OUTPUT)获得对应的数据信息。

4、图像识别

数字识别技术包括图像处理和数据识别两项重要的任务，是利用计算机对图像分析处理的核心，在目前较多的图像识别、图像复原、图像预测等领域得到了广泛的发展。

4.1 图像采集模块

图像采集器由视频监控单元、COMS图像传感器单元、环境照明、数据初步处理单元(DSP)及RS-485通信网络单元。图像采集模块的系统结构图如图1所示:

图1中，利用低端COMS图像传感器对电能数据进行采集，当采集系统核心单片机系统收到通信网络传输的上级电能数据读取命令时，通过内部控制立即打开COMS图像传感器，在照明灯的帮助下，实现对电能数据的拍摄。单片机数据处理中心进行对刚拍摄的电能图像数据进行裁剪和压缩，形成系统默认的图像格式，并通过RAM储存模块进行保存，完成对电能数据的实时动态采集。当单片系统获得上级发出的图片传送命令时，就会用串行方式通过RS485网络将电能图像数据传输给改进BP神经网络系统，进行相应的数据分析，获得实时动态的电能数据。

4.2图象特征提取

通过图像采集器采集到的电能数据图像，需要通过数据提取技术将图像中所包含的数据信息从模拟化状态提取为实际计算机默认的二维代码，供给改进BP神经网络系统进行学习判断。在图像特征值提取过程中，广泛采用字符分割和数据归一化等技术，将不规则的图像信息转变为规则整齐的数据信号，并作为特征向量矩阵供给改进BP网络系统进行训练，就可以实现改进BP网络的图像字符的识别。

5、实例分析

5.1 仿真结果

为了验证基于改进BP网络电能预测系统的可靠性，利用已采集的图像和图像中所包含的实际电能数字作为改进BP神经网络的学习样本。将图像中实际数字作为输出矩阵， 原始图像信息作为神经网络的输入数据，采用反馈误差最小思想对改进BP神经网络进行“学习”训练，通过系统自动学习获得模型的权值和阀值。本次实验采用10组数据进行分析，其结构如表1所示。

从表1中所获得结构可知，通过改进BP神经网络对视频采集到的电能数据图片特征进行分析识别，其获得对应电能数据的识别率高达99%以上，且整个系统的误差都在10-2量级以内，说明了整个系统的建模精度十分的高，可以满足图像识别技术的要求，达到了电能数据远程采集、自动传输、数字识别等功能，给电能远程采集提供了一个新的研究思路。

6、结束语

改进BP神经网络具有明显的非线性数据处理能力，能够对图像特征数字等进行预测判断，可以有效提高电能数据的处理效率和精度。利用COMS图像采集单元，将远程的电能数据信息通过摄像功能进行拍摄，通过单片机进行图像的预处理，变成系统默认的图片格式，并通过RAM储存器进行图片信息保存，在上级命令的驱动下自动采集和传输电能数据图像。并通过RS485传输给神经网络系统，通过系统自动识别完成对电能数据的分析，实现电能数据的综合分析。基于改进BP神经网络的远程电能采集系统实现远程电能数据采集、分析判断和统一管理，提高了运营商的电能合理经济的计量管理水平。

参考文献

[1] 李国华等.身份证号码的自动识别系统[J].华南理工大学学报，2002，(3):94-96.

[2] 崔政.一种在线图像编码识别系统的设计[J].微计算机信息，2006，22(2):243-245.

[3] 张有顺，冯井岗.电能计量基础[M].北京:中国计量出版社，2002.

人工神经网络改进篇9

关键词：神经网络；短期负荷预测；BP算法；动量项

1 概述

电力系统负荷预测实质是对电力市场需求的预测，短期电力负荷预测是电力部门的重要工作之一。目前主要的负荷预测方法有传统预测、灰色预测、混沌理论预测、智能技术预测、优选组合预测等，其中智能预测中最典型的就是人工神经网络。

人工神经网络是一个极其复杂的非线性动力学系统。它的自学习功能对预测有着重要的意义，能通过学习已存在的历史负荷数据，来反映出输入变量和输出变量之间的非线性关系。由于很多因素都会对电力负荷造成影响，所以可以把神经网络算法引用到负荷预测中来，提高电力负荷的预测精度。本文针对短期电力负荷预测的问题，采用了一种增加动量项改进BP算法的负荷预测方法，并对某城市的有功负荷进行短期负荷预测仿真。

2 传统BP算法及其改进

2.1 传统BP模型及其学习过程

传统BP算法的实质是求均方误差函数的最小值问题，常选择Sigmoid型函数作为激励函数。如图2-1所示即为典型的三层BP神经网络的结构图，从左至右依次为输入层、隐含层、输出层。一般情况下，输入层单元数与输出层相等，隐含层比输入层多，一般多取2n-1，其中n为输入层单元数。

[图2-1 三层BP神经网络结构图]

令输入模式向量为Xk=（x，x，…，x）T，（k=1，2，…，m），m是学习模式对的个数，n为输入层单元数；对应输入模式的期望输出模式向量为Yk=（y，y，…，y）T，q为输出层单元数；中间隐含层的净输入向量为Sk=（S，S，…，S）T，输出向量为Bk=（b，b，…，b）T，p为隐含层单元数；输出层净输入向量为Lk=（l，l，…，l）T，实际输出向量为Ck=（c，c，…，c）T；输入层至隐含层的连接权值为W={wij}（i=1，2，…，n，j=1，2，…，p），隐含层到输出层的连接权值为V={vjt}，（j=1，2，…，p，t=1，2，…，q）；隐含层各个单元的阈值为θ={θj}（j=1，2，…，p），输出层各个单元的阈值为γ={γt}（t=1，2，…，q）。

中间隐含层各个神经元的净输入和输出：

S=wijs-θj j=1，2，…，p b=f（s） j=1，2，…，p

输出层各个神经元的净输入和实际输出：

l=vjtb-γt t=1，2，…，q c=f（l） j=1，2，…，q

依据给定的期望输出值，得到输出层各个神经元的校正误差：

d=（y-c）f′（l） t=1，2，…，q；隐含层各个神经元的校正误差：

e=[vjtd]f′（S） j=1，2，…，p修正隐含层和输出层神经元之间的阈值γ，其中α为学习速率，0

Δvjt=αdd i=1，2，…，p，t=1，2，…，q Δvjt=αdb i=1，2，…，p，t=1，2，…，q

Δγt=αd t=1，2，…，q

修正输入层与隐含层的连接权值和隐含层神经元的阈值θ，其中β为学习速率，0

Δwij=βex i=1，2，…，n，j=1，2，…，p Δθj=βe j=1，2，…，p

直到全部m个学习模式对训练完毕，然后判断该神经网络的全局误差E是否满足训练精度要求。

2.2 BP算法的改进

传统BP算法在调整连接权值时，只考虑了此次调整的误差梯度下降方向，因而经常会使训练过程发生振荡，收敛速度缓慢。本文通过增加动量项调整连接权值来改进传统BP算法，进而克服这些缺点。

为了提高神经网络的训练速度，可以在对连接权值进行调整时，以一定的比例加上前一次学习时的调整量，即动量项，带有动量项的连接权值调整公式为：

Δwij（n）=-β+ηΔwij（n-1）

其中ηΔwij（n-1）为动量项，n为学习次数，η为动量系数，0

3 基于BP算法的短期电力系统负荷预测及其仿真分析

3.1 负荷预测的基本思想

利用BP神经网络预测未来时日的数据，主要思想是以过去的历史数据作为网络的训练数据，当网络训练完毕，就可通过输入新的时序数据来预测未来数据。因各种因素都会对短期负荷造成一定影响，于是便可建立如图3-1所示的电力系统负荷预测的模型。

3.2 BP神经网络的设计

将一星期内的每一天看成是相同的负荷类型，每隔两小时对电力负荷进行一次测量，得12组整点测量的负荷数据，记为输入变量，输出变量为预测日当天的12个整点的电力负荷值，中间层取神经元位数为25。网络中间层和输出层神经元的激励函数均采用S型函数。

3.3 实例分析

参考文献[2]中的数据，以某城市2009年6月13日到6月23日的12个整点电力负荷值，作为该网络的样本数据，预测6月24日的电力负荷值。分别采用传统和改进的BP算法对这些数据用matlab进行编程仿真，预测结果如表1所示，预测结果仿真图及误差曲线图分别如图3-2、3-3所示。

由以上仿真结果可知，传统BP算法电力负荷预测的最大误差为0.4857%，平均绝对值相对误差为0.0760%；改进BP算法电力负荷预测的最大误差为0.0548%，平均绝对值相对误差为0.0213%。综合图3-2和3-3的比较可得，加入动量项改进后的BP算法在预测精度上明显优于传统BP神经网络算法，故该神经网络满足应用要求。

4 结语

电力系统短期负荷预测对供输电以及电力系统安全分析具有重要的意义。本文在传统BP神经网络的基础上，提出了加入动量项改进BP算法，克服了传统BP算法的一些缺点和不足之处。仿真结果表明，该方法具有较高的预测精度，可以为电力系统提供有效的决策依据。

参考文献：

[1]马锐.人工神经网络原理[M].北京：机械工业出版社.2010：45-57.

[2]米阳，朱旺青，李正辉.改进的BP算法在短期负荷预测中的应用[J].上海电力学院学报，2011，27（1）：14-18.

[3]潘雪涛.基于改进BP神经网络算法的短期负荷预测[J].上海电力学院学报，2012，28（4）：388-391.

[4]高隽.人工神经网络原理及仿真实例[M].北京：机械工业出版社.2007：43-53.

[5]王小川，史峰，郁磊等.MATLAB神经网络43个案例分析[M].北京：北京航空航天大学出版社，2011：4-9.

人工神经网络改进篇10

关键词：神经网络；时间序列；猪肉价格预测

一、引言

猪肉是中国民众食物消费的主要畜产品，其价格变化关乎国计民生。市场上猪肉数量、价格的高低直接影响老百姓的生活水平和社会稳定，一旦市场出现大的波动，必然会导致社会生产总量的剧烈变化，进而影响市场供给。猪肉价格预测也能有效防止生猪生产的市场风险，价格预测也有利于制定科学的价格计划，提高物价工作水平。所以，提高预测能力和水平，是价格监测工作应追求的更高境界，也是当前价格监测事业建设应抓好的重中之重。

现有的价格预测算法有很多种，应用最广泛的是灰色系统预测算法GM（1，1）与BP神经网络算法：（1）灰色预测法，是由中国学者邓聚龙教授于1982年提出的。（2）BP神经网络算法是人工神经网络算法中的一种，也称为反向神经网络传播算法。

二、BP神经预测法及其改进

人工神经网络就是模拟人思维的一种方法。其特点是信息的分布式存储和并行协同处理。神经网络算法BP，作为人工神经网络的一种算法，分为信息的正向传播和误差的逆向传播两个部分。

可以看出，2013年7月份到2013年12月份的凉州区价格预测结果与实际值极为相近，得出均方误差MSE=0.557，说明所建模型科学合理，可以用来预测凉州区猪肉价格。

四、结论

论文对猪肉价格本身变化趋势进行研究，通过利用2012年7月到2014年4月的凉州区猪肉价格数据来预测2014年5月到10月的猪肉价格。建立了基于时间序列的神经网络模型，将样本数据分为两大部分：训练样本集和测试样本集。利用所有猪肉价格数据预测出2014年5月份到10月份的凉州区猪肉价格。由于猪肉价格受外部诸多因素影响，所以模型不能够精确地预测猪肉价格。产生一定误差是不可避免的，若考虑其他影响因素，预测精度会进一步提高。

参考文献：

[1] 郑丽敏，田立军，朱虹等.基于MATLAB的BP神经网络在猪等级评定中的应用研究[J].计算机应用研究，2008，25（6）：1642-1644

[2] 张磊，王娜，谭向勇.猪肉价格形成过程及产业链各环节成本收益分析-以北京市为例[J].中国农村经济，2008，（12）14-26

[3] 阎平凡，张长水.人工神经网络与模拟进化算法[M].清华大学出版社，2009.112-421

[4] 袁曾任.人工神经网络及其应用[M].清华大学出版社，2011.116-361

[5] 刘祸耕.多层前馈人工神经网络研究[J].湖南师范大学自然科学学报，2005（4）：222- 261

[6] 苏高利，邓方萍.论基于MATLAB语言的BP神经网络改进算法[J].科技通报，2003.99-109

[7] 丛爽.面向MATLAB工具箱的神经网络理论与应用（第二版）[M].中国科学技术大学出版社.2003.

[8] 许东，吴铮.基于MATLAB6.X的系统分析与设计神经网络（第二版），西安电子科技大学出版社.2002.

[9] 赵志勇.基于MATLAB的BP神经网络计算铁矿产品成本[J].河北理工学院学报，2003（4）：78-79