神经网络降维方法十篇

神经网络降维方法篇1

【关键词】图像分类深度 卷积神经网络 加权压缩近邻

1 研究背景

手写数字识别是一个经典的模式识别问题。从0 到9这10 个阿拉伯数字组成。由于其类别数比较小，它在些运算量很大或者比较复杂的算法中比较容易实现。所以，在模式识别中数字识别一直都是热门的实验对象。卷积神经网络 （Convolutional Neural Networks，CNN），在手写体识别中有着良好的性能。卷积神经网络的神经元是局部连接，神经元之间能够共享权值。深度卷积神经网络不但可以解决浅层学习结构无法自动提取图像特征的问题，并且提高了分类的泛化能力和准确度。

2 深度卷积神经网络

深度卷积神经网络是一种具有多层监督的神经网络，隐含层中的卷积层和池采样层是实现深度卷积神经网络提取特征的核心模块，并通过使用梯度下降算法最小化损失函数来进行权重参数逐层反向调节，再经过迭代训练提高分类精确度。

深度卷积神经网络的首层是输入层，之后是若干个卷积层和若干个子采样层和分类器。分类器一般采用Softmax，再由分类器去输出相应的分类结果。正常情况下，一个卷积后面都跟一个子采样层。基于卷积层里权值共享和局部连接的特性，可以简化网络的样本训练参数。运算之后，获得的结果通过激活函数输出得到特征图像，再将输出值作为子采样层的输入数据。为了实现缩放、平移和扭曲保持不变，在子采样层中将之前一层对应的特征图中相邻特征通过池化操作合并成一个特征，减少特征分辨率。这样，输入的数据就可以立即传送到第一个卷积层，反复进行特征学习。将被标记的样本输入到Softmax分类器中。

CNN 能够简化网络的样本训练参数，降低计算难度。这些良好的性能是网络在有监督方式下学会的，网络的结构主要有局部连接和权值共享两个特点：

2.1 局部连接

深度卷积神经网络中，层与层之间的神经元节点是局部连接，不像BP 神经网络中的连接为全连接。深度卷积神经网络利用局部空间的相关性将相邻层的神经元节点连接相邻的上一层神经元节点。

2.2 权重共享

在深度卷积神经网络中，卷积层中每一个卷积滤波器共享相同参数并重复作用，卷积输入的图像，再将卷积的结果变为输入图像的特征图。之后提取出图像的部分特征。

在得到图像的卷积特征之后，需要用最大池采样方法对卷积特征进行降维。用若干个n×n 的不相交区域来划分卷积特征，降维后的卷积特征会被这些区域中最大的或平均特征来表示。降维后的特征更方便进行分类。

3 实验结果

为了验证卷积神经网络的有效性，本实验中使用以最经典的MNIST 和USPS 库这两个识别库作为评测标准。手写数字MNIST数据库有集60000 个训练样本集，和10000 个测试，每个样本向量为28×28=784维表示。手写数字USPS 数据库含有7291 个训练样本和2007 个测试样本，每个样本向量为16×16=256 维。

表1给出了卷积神经网络在MNIST 和USPS 库上的识别结果。从表1中可知，深度卷积神经网络对MNSIT 库识别率能够达到97.89%，与用BP 算法得到的识别率94.26%相比，提高了两个多百分点。对USPS 库识别率能够达到94.34%，与用BP 算法得到的识别率91.28%相比，也提高了三个多百分点。

因此，使用深度卷积神经网络算法训练在图像识别中获得更高识别率。因此，深度卷积神经网络在识别手写体字符时有着较好的分类效果。

4 总结

本文介绍深度卷积神经网络的理论知识、算法技术和算法的结构包括局部连接、权重共享、最大池采样以及分类器Softmax。本文通过深度卷积神经网络对两组手写识别库实验来验证CNN 有着较低的出错率。

参考文献

[1]赵元庆，吴华.多尺度特征和神经网络相融合的手写体数字识别简介[J].计算机科学，2013，40（08）：316-318.

[2]王强.基于CNN的字符识别方法研究[D].天津师范大学，2014.

[3]Krizhevsky A，Sutskever I，Hinton G E.ImageNet Classification with Deep Convolutional Neural Networks.Advances in Neural Information Processing Systems，2012，25（02），1097-1105.

[4]郝红卫， 蒋蓉蓉.基于最近邻规则的神经网络训练样本选择方法[J].自动化学报，2007，33（12）：1247-1251.

作者简介

关鑫（1982-），男，黑龙江省佳木斯市人。硕士研究生学历。现为中国电子科技集团公司第五十四研究所工程师。研究方向为计算机软件工程。

神经网络降维方法篇2

关键词：玉米种子；品种识别；人工神经网络；支持向量机

中图分类号：S513；S326 文献标识码：A 文章编号：0439-8114（2016）09-2366-04

近年来，假种子事件频发，给农业造成巨大损失，农民由于缺乏识别种子的能力和设备，往往不能有效区分各个品种，迫切需要一种快速的种子识别方法。数字图像识别作为一种快速识别技术而被广泛应用，在水稻、小麦和花生等作物种子识别上都有成功应用的报道。

现代玉米种植和水稻一样，广泛杂交育种，不能自留种，增大了不法商家贩卖假种子的空间。为了有效鉴别玉米种子的真伪和类别，郝建平等、杨锦忠等通过数十个外观特征，采用图像处理的方法识别种子：韩仲志等研究了对种子识别起关键作用的特征提取方法，如子粒的胚部特征和果穗DUS测试特征的提取方法：另外杨锦忠等针对玉米果穗形态研究了品种识别问题，对关键特征进行了选择优化。

在玉米识别相关算法和系统工程应用之前，需要对品种识别过程中的关键因素进行有效的性能与效率测试。由于人工神经网络方法广泛应用于识别问题，本研究拟针对不同的神经网络模型进行比较研究，进而考察各种模型的效能，为将来品种识别软件的开发与工程应用提供算法支持。

1 材料与方法

1，1 试验材料

供试玉米品种共11个，均是北方黄玉米品种，种质来源为青岛农业大学种质资源库，每个品种50粒种子。采用平板扫描仪采集图像（图1）。基于Matalb2010b编程，采用子粒区域标记的方法将图像中各个子粒的子图（SubImage）提取出来。然后进行特征提取。

1.2 特征提取

提取的特征包括颜色、形态和纹理3大类，见表1，相关定义参见文献。从二值图上提取形态特征，从RGB和HSV彩色图获取颜色特征，依据灰度图像获取纹理特征。

1.3 特征优化

随着统计指标的增加，统计特征的维数相应增加，因此也需要进行必要的降维和特征优化。传统的特征降维与优化是基于二阶统计量进行的主分量分析（PCA）方法。PCA是统计学中分析数据的一种有效的方法，其目的是在数据空间中找一组向量以尽可能地解释数据的方差，将数据从原来的R维空间降维投影到M维空间（R>M）。降维后保存了数据中的主要信息，从而使数据更易于处理。PCA方法是沿数据集方差最大方向寻找一些相互正交的轴，主成分分析方法是一种最小均方误差下的最优维数压缩方法，特征提取和优化后，特征维数将进一步减少。

1.4 品种识别

基于表1中的特征可实时进行品种识别。人工神经网络是模拟人的神经感知结构，寻找非线性情况下的一种最优映射，由于所提取的特征与玉米类别之间存在着非常复杂的非线性映射关系，所以特别适合采用此方法进行品种识别。由于神经网络的初始权值由系统随机给出，所以往往带来结果的不稳定，通常的做法是多次测试取最优实现。基于提取的特征数据即可进行种子检验和品种识别，本研究涉及的神经网络模型包括7种，即BP、rbf、grnn、pnn、compet、sofm，以及一个BP（backpropagation）神经网络的改进型，即极限学习机ELM。其中神经网络BP算法是最典型的神经网络分类方法。支持向量机（SVM）模型是近几年发展起来的优秀的识别模型，在农作物种子识别领域已经被证明比神经网络识别模型具有更为稳健的性能。

2 结果与分析

图2是6种神经网络识别模型的识别结果，图3是BP神经网络的改进型极限学习机（ELM）与支持向量机（SVM）模型识别结果。表2为上述8种识别模型在不同主分量及不同特征下的识别效果。

2.1 不同模型的识别性能

比较6种神经网络识别模型可以发现（图2、表2），首先从识别率上，基于60个原始统计特征，6种神经网络识别模型和1种改进型识别模型的识别性能从高到低为grnn>ELM>pnn>rbf>BP>compet>sofm，决定系数R2从大到小为grnn>rbf>ELM>BP>pnn>compet>sofm，所耗时间上从少到多为ELM

鉴于极限学习机ELM是广泛应用的BP神经网络的改进型，且其识别效果优越，将其作为神经网络模型的代表与支持向量机模型进行比较。图3列出了两种模型的识别效果，部分数据在表2中有所体现，可以看出支持向量机（SVM）模型的识别效果较好，且效果更为稳定。

2.2 特征优化对模型的影响

由于分类性能严重依赖特征的选取，这就表明某种特征的组合可能具有更优秀的分类能力，此时主分量是一个很好的选择，它不仅可以进行数据降维，还可以寻找对所有类都尽量适应的优化特征组合。表3列出了不同数目PCA情况下8种识别模型的识别性能。从表3可以看出，从识别率看，神经网络模型表现极其不稳定，识别率并不是随着PCA数目的增加而增加，但总体上还是呈增加趋势，这种不稳定性与神经网络初始权值的随机赋值有关，同时由于神经网络的隐含层神经元数目到目前为止缺乏理论指导，所以只能通过经验给出，故要得到较为稳定的结果可通过多次训练得到较为稳定的识别模型为止：但比较来看，支持向量机模型表现出更为稳定的识别效果，且随着PCA数目的增加。识别模型的总体识别率呈上升趋势。另外从模型的决定系数和识别模型的时间上来看，支持向量机模型都是较为优秀的模型。其中决定系数R2越接近于1，识别的时间越短，说明模型越优秀。在这些模型中compet表现的效果最差，不仅识别的效果最差。且识别的时间最长。

3 小结与讨论

从本研究的识别结果看。识别结果非常不稳定，这种不稳定的结果与两个因素有关，一是神经网络的不稳定，与确定神经网络初始权值时随机给出有关，二是采用的交叉验证法是随机给出，随机将训练和测试样本进行分组，每次试验选用了不同的训练集和测试集。

PCA是一种优秀的特征优化和数据降维方法，通过PCA降维可以在很大程度上提高运算速度，减少计算量，特别适合在线监测。另外从比较结果可以看出，支持向量机是一种优秀的分类模型，特别适合于对小样本进行分类，其效果要优于神经网络模型，且结果稳定。支持向量机和神经网络虽然都用来进行品种识别，但所依据的理论基础和识别机理均不相同。支持向量机普遍认为其泛化能力要比人工神经网络强：支持向量机模型理论基础是结构风险最小化理论。也涉及模型参数优化问题：另外支持向量机可以得到识别决策函数的解析表达式，而神经网络不能明确地得到一个解析解。

神经网络降维方法篇3

关键词：信用风险预警； 模糊神经网络； 模因算法； 粗糙集

中图分类号：TP301.6 文献标识码：A文章编号：2095-2163（2013）06-0010-05

0引言

近年来，人工神经网络已广泛应用于信用风险预警等金融风险管理领域，研究表明神经网络预测准确性优于统计判别分析等传统预警方法，但其中的“黑箱”操作等缺陷却也导致了神经网络在信用风险管理领域的应用遭到多方质疑[1-2]。源自模糊理论与神经网络相融合的模糊神经网络（Fuzzy Neural Network，FNN）提高了网络的透明性、启发性及鲁棒性，在一定程度上克服了神经网络的“黑箱操作”，然而FNN也存在“维数灾难”、结构复杂、学习算法冗长、局部早熟等问题，由此也限制了其在金融风险管理领域中的应用[3]。据此，本文试图在对模因算法（Memetic Algorithms，MA）进行改进的基础上，结合粗糙集（Rough Set，RS）和模糊神经网络提出一种模因进化型粗糙模糊神经网络（MA-RSFNN）模型，旨在利用模因算法进行模糊神经网络的训练学习，发挥模因算法的全局优化能力，消减网络陷入局部早熟的可能性，使网络具有进化和学习的双重智能，同时借助粗糙集知识约简精炼训练集、降低输入维度，避免“维数灾难”现象。

1模因算法

模因算法（Memetic Algorithms，MA）由Moscato和Norman等人于1992年提出，是一种超启发式全局搜索混合算法，主要思想源自道金斯的文化进化思想和达尔文的自然进化法则[4]。其原理是在全局搜索策略中有机集成局域搜索策略，利用局部搜索策略的局部寻优能力提高算法的性能和收敛速度。相关研究表明模因算法在搜索过程中兼顾深度和广度，不仅有较强的全局寻优能力，同时算法收敛速度快，在许多问题上的求解获得了比遗传算法收敛速度更快[6-9]。

经典的模因算法通常采用遗传算法作为全局搜索策略，因此算法流程与遗传算法类似。根据文献[5]，模因算法的流程如图1所示。

2模因算法改进

模糊神经网络的训练学习是一个连续函数优化过程，以遗传算法为基础的模因算法能有效求解组合优化问题，但对连续空间问题的求解则效率不高。粒子群算法是一种源自对鸟类等生物群体觅食行为进行模仿的实编码优化算法，其概念简单、结构简洁，是求解实编码优化问题的有力工具。本文提出一种以粒子群算法为全局搜索策略，BP算法为局部搜索策略的改进型模因算法，以期设计出一种高效的模糊神经网络学习算法。

粒子群算法（Particle Swarm Optimization ，PSO）是一种基于群体智能的全局优化算法，其灵感源自鸟群、蚁群等生物群体的觅食过程[10-11]。目前，具有概念简单、算法简洁、隐含并行及全局收敛等优点的粒子群算法已广泛应用到决策分析、知识发现等领域[12-13]，并取得了丰硕研究成果。基本粒子群算法的数学描述如下[10]。

假设一颗微粒代表寻优空间中的一个解，算法初始化时随机生成一定数量的微粒构成种群，而后通过不断随机有向迭代寻求问题最优解。在迭代过程中，微粒通过跟踪个体及种群历史最优值，按式（1）、（2）不断调整个体的速度和位置以实现向最优解靠拢。

其中，式（3）为速度vij的调整量；速度vij为位置xij的调整量；w∈[0.4，0.9]为惯性因子；c1=c2=2.0为学习因子； r（·）∈（0，1）为随机数；pij和pg分别为个体及群体历史最优值。

2.2改进型模因算法

改进型模因算法基本流程如图2所示。

3模因进化型模糊神经网络

3.1网络结构

信用风险预警通常为多输入单输出的问题，参照文献[14-15]设计的模糊神经网络拓扑结构如所图3所示。

3.2网络学习算法

（1）编码。微粒的坐标值代表了模糊神经网络的模糊参数与权值，其编码如图4所示。

其中，yi为实际输出；yi为期望输出，P为群体规模。

（3）算法步骤。学习算法的主要步骤如下：

步骤一：初始化。设置全局搜索策略和局部搜索策略的相关参数，随机生成种群。

步骤二：BP算子。采用BP算法对每个个体进行局部寻优。

步骤三：算法终止判断。如果算法满足终止条件则跳转步骤六，否则跳转步骤四。

步骤四：PSO算子。①根据式（4）计算每个个体的适应值；②个体及群体历史最优位置调整；③按式（1）调整微粒速度；④按式（2）调整微粒位置。

步骤五：BP算子。采用BP算法对每个个体进行局部寻优，产生新群体，跳转步骤三。

步骤六：算法结束。

其中，算法终止条件：① MSE最大进化代数。

BP算子的目标函数为式（4）所示的适应值函数，学习过程中，网络参数与权值按以下数学公式作调整：

上述模因进化型模糊神经网络采用模因算法对网络进行学习与训练，使得模型具备了学习与进化的双重智能，但该模型也存在一般模糊神经网络的“维数灾难”现象。为此，采用粗糙集知识约简对模型输入数据进行前置处理，简化训练集、减少输入维数，从而降低网络结构的复杂程度，避免“维数灾难”现象。前置处理的主要步骤如下：

（1）指标初选和数据预处理

在考虑数据可获取性的前提下初步建立预警指标体系，指标体系要求涵盖各方面的信息，力图从全方位、多层次反映信用风险特征。

数据预处理主要是根据指标的特性，对连续型预警指标的数据进行离散化处理。数据离散化的原则是保持数据集分类或决策能力不变的前提下尽可能压缩数据。

（2）建立决策表

以指标初选和数据预处理后的数据为基础，建立如表1所示的决策表。

（3）知识约简

对建立的决策表进行约简处理，得到条件属性的相对约简，选取相对约简所代表的预警指标组成指标集作为模型的输入指标体系。

5模型在信用风险中的应用

从商业银行的角度看，信用风险是指借款人的违约而造成的损失可能性。本文从商业银行的企业贷款违约方面研究模型在信用风险评估中的应用，以检验模型在金融风险管理领域中的应用成效。

5.1指标初选与数据采集

在研究国内外相关成果的基础上，参考相关商业银行的企业绩效评价指标体系[16-19]，选择涵盖企业盈利能力、偿债能力、成长能力及营运能力等方面的共21个指标构成初选指标集，如表2所示。

5.2粗糙集前置处理

（1）数据离散化与决策表的建立

采用等频率划分算法在保持数据分类能力的前提下对数据进行离散化处理，断点集数k可通过试验获得，一般取k=3。在数据离散化的基础上，以初选指标为条件属性，属性Bc（1：贷款违约公司，0：贷款正常公司）为决策属性，建立信用风险预警的决策表，如表3所示。

（2）属性约简

5.3模型训练学习

学习算法的相关参数初始化如下：

（1）模糊子集数设为3（代表高、中、低），则该模型为6-18-3-1结构的模糊神经网络，输出Y为企业违约信号（1：违约；0：不违约）。

（2）参数初始化。网络的模糊参数及权值随机初始化，隶属中心∈[-1，1]，隶属宽度∈（0，1]，耦合权值∈（-1，1）。

（3）模因算法的参数设置。PSO算子随机生成规模M=30的种群，w=0.729， c1=c2=1.49，[Vup，Vdown]为[-1，1]，Vmax=0.3，BP算子的学习率η=0.005。

（4）训练终止条件：①适应值10 000。

在Matlab7.0环境中，编程实现上述的模型与算法，采用训练数据集的150份数据对模型进行训练学习，训练过程误差变化如图5所示。经过3 000多代的进化，MSE达到了0.000 281。

采用测试集的数据对预警模型进行仿真实验，表4汇总了三类模型的实验结果，从中可以看出MA-RSFNN模型的预测准确率高达90%，相比BP神经网络及单纯模糊神经网络均有了大幅度提高。无论是第一类错误还是第二类错误MA-RSFNN模型的表现都最好。

6结束语

模糊神经网络具有启发性、透明性等特征，可处理模糊信息，能避免神经网络的“黑箱操作”，但其存在“维数灾难”现象、结构复杂及收敛性差等缺陷。本文所提出的MA-RSFNN模型将模因算法和粗糙集理论融入模糊神经网络，发挥模因算法的全局搜索能力提升模糊神经网络的学习能力，借助粗糙集知识约简的降维消冗能力对训练数据进行降维消冗处理，从而精简网络结构，避免网络陷入“维数灾难”。应用实例的结果表明了新模型的有效性，可望为金融风险管理提供一种新方法和新思路。

参考文献：

[1]MIN J H， LEE Y C. Bankruptcy prediction using support vector machine with optimal choice of kernel function parameters[J]. Expert Systems with Applications， 2005， 28 ：603-614.

[2]BAHRAMMIRZAEE A. A comparative survey of artificial intelligence applications in finance： artificial neural networks， expert system and hybrid intelligent systems[J].Neural Comput & Applic，2010，19：1165-1195.

[3]HAMDANI T M， ALIMI A M， FAKHRI K. Enhancing the structure and parameters of the centers for BBF fuzzy neural network classifier construction based on data structure[A]// Proceedings of the International Joint Conference on Neural Networks[C]. Piscataway NJ： IEEE， 2008： 3174-3180.

[4]MOSCATO P. On evolution， search， optimization， genetic algorithms and martial arts： towards memetic algorithms[A]//Tech. Rep. Caltech Concurrent Computation Program [C]. Pasadena， California， USA， 1989： 1-67.

[5]NORA S，CHRISTIAN S， ANDREAS Z.A memetic clustering algorithm for the functional partition of genes based on the gene ontology[C]//Proc of the 2004 IEEE Symposium on Computational Intelligence in Bioinformatics and Computational Biology.San Diego，USA，2004：252-259.

[6]DAWKINS R. The selfish gene[M].UK：Oxford University Press，1976.

[7]MOSCATO P， NORMAN M G. A memetic approach for the traveling salesman problem-implementation of a computational ecology for com-binatorial optimization on message-passing systems[C]// Proceedings of the International Conference on Parallel Computing and Transport Applications. Amsterdam：IOS Press，1992： 177-186.

[8]RADCLIFFE N J， SURRY P D. Formal memetic algorithms[J]. Evolutionary Computing， 1994，865： 1-16.

[9]XU Xin，HE H G.A theoretical model and convergence analysis of memetic evolutionary algorithms[C]//Proc of Int Conf on Natural Computation.Changsha，2005：1035-1043.

[10]KENNEDY J. EBERHART R C. Particle swarm optimization [A]// Proceedings of IEEE， International Conference on Neural Networks [C]. Piscataway NJ：IEEE， 1995： 1942-1948.

[11]KENNEDY J. The particle swarm： social adaptation of knowledge [A]//Preceedings of Evolutionary Computation [C] ，Indianapolis： IEEE， 1997：303-308.

[12]EBERHART R C， SHI Y H. Particle swarm optimization： developments， applications and resources [A]//Proceedings of the IEEE Congress on Evolutionary Computation [C]. Piscataway， USA： IEEE Service Center， 2001：81-86.

[13]吴启迪，汪镭. 智能微粒群算法研究及应用[M]. 南京：江苏教育出版社，2005-04.

[14]AKAGI T， SUGENO M. Fuzzy identification of systems and its application to modeling and control[J]. IEEE Transactions on Systems， Man， and， Cybernetics， 1985，15（1）： 116-132.

[15]黄福员. 金融风险预警的MPSO-FNN模型构建与应用[J]. 计算机工程与应用，2009，45（14）：210-212.

[16]ALTMAN E I， MARCO G， VARETTO F. Corporate distress diagnosis： comparisons using linear discriminant Ana analysis and neural networks[J]. Journal of Banking and Finance， 1994， 18： 505-529.

[17]李志辉， 李萌. 我国商业银行信用风险识别模型及其实证研究[J]. 经济科学， 2005（5）： 61-71.

神经网络降维方法篇4

【关键词】计算机网络连接 增强优化 神经网络算法

计算机网络是一种先进的科技技术，自出现以来就极大程度的改变了人们的生活生产方式，带来了非常大的便利。我国现阶段的计算机网络连接相对比较薄弱，存在很多不完善的地方。因此，有必要采取措施优化计算机网络连接，进而维护计算机网络连接的安全稳定，营造良好的上网环境。

1 计算机网络连接增强优化

1.1 计算机网络连接增强优化的必要性

网络连接对于计算机网络的重要性不言而喻。如果出现网络连接断开的问题，就会导致计算机设备无法与通信网络进行有效的信息沟通。因此，必须优化计算机网络连接，拓扑扩展计算机网络，提升信息交流的有序性和有效性，降低影响所带来的损失。因此，在现有的网络环境中，加入合适的结点，进而完善计算机网络连接的有效率，以及提高网络容量，拓展现有网络结构，使得信息交流的交互性进一步增强，最终实现计算机网络连接的优化目的，拓扑扩展了计算机网络。现阶段，存在非常多的措施能够提升计算机网络连接的效率，扩展网络容量，以及上网环境的优化。但是，很多方法措施需要投入大量的资金作为支持，不具有实用性和经济性。而计算机网络应用要求计算机网络连接优化措施适当合理，在最小的经济支出情况下解决问题，因此，只有采取增强优化下的神经网络算法。

1.2 计算机网络拓扑结构

计算机网络拓扑结构主要是指，网上计算机或设备与传输媒介形成的结点与线的物理构成模式。通信子网直接影响计算机网络拓扑结构的形式，拓扑结构能够在一定程度上保证网络信息数据系统的安全性、可靠性、完整性，此外能够对数据信息进行共享、处理以及交换等内容。根据网络拓扑结构框架分析，可以清楚的明确计算机网络结构是由链路和节点所组成，也可以这样理解，计算机网络拓扑是由计算机组成的，网络之间设备的分布情况以及连接状态所形成的拓朴图。通常情况下计算机网络用G= 来表示，V指的是网络结点集，E指的是链路集。如果增加结构中的结点集用Va表示，增加的连接集用Eb表示，进而得出计算机网络结构为G’=。

2 基于计算机网络连接优化中的神经网络算法

2.1 神经网络算法

思维学普遍认为，人类大脑的思维分为抽象思维、形象思维和灵感思维三种基本方式。而抽象思维是一种逻辑化思想，形象思维是一种直观化思想，灵感思维是一种顿悟性和创造性思想。而神经网络思维，就是通过对上述理论的分析实践，模拟人类大脑思维的第二种方式。人工神经网络，是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。 相对人工神经网络来说，人工神经网络应用系统更加高级，通过对网络算法以及网络模型的合理运用，合理处理信号，或者识别某种运行模式，最终形成一套独立完善的专家系统，或者智能化的机器人。

现阶段，社会中越来越多的领域开始应用人工神经网络，在生产领域上取得了明显效果。人们也越发提高对人工神经网络算法的重视程度，神经网络算法是在此基础上逐渐发展完善的，是监督性的学习算法。但是在实际应用过程中，人工神经网络算法还存在一些不足之处，没有合理解决收敛速度缓慢的问题，无法控制收敛程度到最小点，因此增加了计算机网络记忆和学习的不稳定性，同时计算机网络连接效果也受此影响。

2.2 均场神经网路算法

通过建立科学合理的场均神经网络模型，有利于进行计算机网络连接增强优化中的均场神经网络算法研究工作，进而评判网络效果。需要注意的是，利用函数法构建模型时，应当加强目标函数的构建问题工作，可以用以下方式表现构建模型：Hopfield计算网络中的神经元状态，可以用Fi进行表示，如果Fi=1，那么表示网络选中了连接i，能够正常连接；如果Fi=0，那么表示网络没有选中连接i，不能正常连接。之后可以利用罚函数法结构，创建网络模型，保证Z=max（ΣPi*Xi） 和 ΣMi*Xi ≤ A成立，需要对目标函数进行控制，主要有I = ?γ/2*[∑ρiFi]2+ψ/2*[a ?∑mifi]2，其中a=（γripi-ψmimi）d，Ii=βami，γ和ψ表示Lagrange 参数，构造Lyapunov能量函数为：E = ?1/2*∑∑AiFiFi ? ∑ IiFi，Hopfield神经网络结构为：Fi=1/2*[1+tanh（Bi/T）]，Bi=∑AiFi + I。利用均退火技术，将随机变量函数的均值由随机变量均值的函数替代，可以得出：〈Fi〉=1/2*[1+tanh{}]，〈Bi〉=〈∑AiFi + Ii〉=∑Ai Fi + Ii。如果随机变量均值〈Fi〉由均场变量Ri替换，可以得出均场网络结构：Ri=1/2[1+tanh（∑AiRi+Ii/T）]，均场网络的能量函数为：E（v）= ?1/2∑∑AiRiRi ? ∑ IiRi。通过对算法步骤的简单分析，可以看出：第一、根据问题设置参数；第二、初始化，Ri=rand（d，1-d），i可以是大于零的整数；第三、重复以上操作，知道满足停止规则。

3 总结

总而言之，计算机网络在社会各个领域中，都在发挥的无可替代的作用。如果计算机网络连接出现问题，将会严重影响相关企业或者设备的正常运转，进而降低经济效益。因此，必须提高计算机网络连接的重视程度，进一步完善优化连接效率，维护网络连接的稳定性和可靠性，为我国计算机事业的未来发展奠定坚实的基础。

参考文献

[1]陈竺.计算机网络连接增强优化中的神经网络算法[J].电子技术与软件工程，2014（19）：16-16.

[2]王颖华，金爱花.计算机网络连接增强优化中的均场神经网络算法[J].硅谷，2013（15）：61-62.

[3]李盼池，许少华.基于过程神经网络和遗传算法的系统逆向过程求解[J].计算机测量与控制，2015（10）：948-950.

神经网络降维方法篇5

关键词： SOM神经网络； 网络训练； 自适应； 聚类

中图分类号：TP391.4 文献标志码：A 文章编号：1006-8228（2014）04-09-03

Abstract： The vehicle information collected by RFID could identify laws of the commercial vehicles' operation. Using this approach can find out private cars which have similar operation laws， and judge them as suspected illegal vehicles. When using SOM neural network to cluster， various parameters need to be set when initializing the network. A self-adaptive method is introduced for determining the network training times， which uses weights derivative to determine whether to stop training. After the test and comparison of the traditional and the improved network by taking advantage of UCI datasets， it turns out that the improved network is better than the traditional network. Finally， when the improved network is used in identification of the vehicle， an expected recognition results can be reached.

Key words： SOM neural network； network training； a self-adaptive method； cluster

0 引言

RFID技术作为一种新兴的车辆监控技术，正在被广泛地应用于交通领域，重庆市目前正在建设全球最大规模的以UHF RFID技术为基础的车联网，已建设RFID数据采集点300余处，给利用RFID数据来进行非法营运车辆的识别提供了可能。项目前期已经得到了模拟城市某点的RFID对各种机动车辆仿真的数据，其中包括营运车辆和非营运车辆。营运车辆包括：公交车、长短途客运车辆和出租车；非营运车辆是私家车。识别的任务就是找到非法的营运车辆。在识别过程中采用了SOM神经网络对各种车辆进行聚类，从而识别运行规律与营运车辆类似的私家车，并将其标记为疑似非法营运车辆，提高交通行政执法人员的目的性和执法效率。

所谓自组织映射网络（SOM）是由芬兰学者Kohonen教授在1981年提出的，也称作Kohonen网络[1]。网络通过把复杂、多维的输入数据投射到一维或者二维的输出空间来进行对复杂数据的研究。SOM网络的应用和研究都非常广泛，例如利用模糊概率SOM神经网络来进行人脸识别[2]，利用改进的自组织网络进行概率密度估计与分类[3]，设计自生长的批处理SOM网络以及确定它的停止条件[4]，这里的停止条件是指获胜者的近邻加权平均失真误差发生收敛时停止训练网络等。

项目前期得到RFID点采集到的信息包含：车辆车牌号、车辆经过时间和经过地点，再将数据导入SQL Sever数据库进行数据的预处理，处理后得到的数据包括：车辆车牌号，统计周期内的车辆平均通过时间、通过时间的方差、通过时间间隔、通过时间间隔的方差、通过频次、高峰通过占比等相关信息，而后经过PCA降维处理去掉不同维数据之间的相关性并剩下最终的六维数据，将这六维数据作为网络的输入数据。

使用MATLAB神经网络工具箱[5]对SOM网络进行聚类时发现，对SOM网络的初始参数的确定有很多局限性，这些初始参数包括：网络权值和阈值、训练次数、训练样本的顺序、学习率等[6-7]，但目前暂时还没有找到一种有效的方法来解决这些初始参数的设定问题。本论文对网络的训练次数的设定方式进行一些改进。

1 论述

1.1 SOM网络的基本模型及原理

SOM网络由输入层和输出层构成，输入层是一维的神经元，神经元个数由输入向量的维数i确定，表示网络的输入信号；输出层也是竞争层，一般是一维或二维的神经元组成的网络，其中每个神经元表示不同的输出模式。其连接方式如图1所示。对于每一个输出神经元j，它和每一个输入神经元通过一个权值连接，这个权值组成的向量如式⑴：

其中i表示输入向量的维数，即输入层的神经元个数，j表示第j个输出神经元，输出层共包含M*N个输出神经元，如图1所示为4输入神经元，4*4输出神经元构成的SOM神经网络[5]。

SOM网络的运行分为训练和工作两个阶段[1]。训练阶段，对网络输入数据，输出层将有某个神经元产生最大的响应而获胜。获胜神经元周围的神经元也因此产生较大的响应，于是将获胜神经元及其领域（以某种方式定义的一个获胜神经元周围的区域）内的所有神经元以某种方式将其权值向量进行修改。网络通过自组织方式，用输入数据调整网络权值，最后使输出层各神经元的权值向量成为某类的聚类中心，确定好后训练结束。网络训练结束后，输出层各神经元与输入模式的特定关系就完全确定了，因此可以工作了，当输入一个模式时，网络输出层代表该模式的特定神经元会产生最大的响应，在所有神经元中竞争成功，从而自动将该输入归类。

在训练阶段，训练次数需要根据经验并反复对比确定一个合理的值，但对于一个陌生的问题，并不能够在短时间内很好地确定训练次数的最佳值，若训练次数设定过小，可能造成训练不充分而使得到的结果正确率不高；若训练次数过多，又会造成训练过度而使结果不准确，且会浪费大量的时间。故训练次数确定过程很繁琐，不够简便，而且确定最佳训练次数时 花费的时间较多，针对这个问题本文提出了一种解决方法。

1.2 SOM神经网络的训练过程

传统SOM神经网络的训练过程主要包括以下几步骤[6]：

⑴ 初始化网络：首先确定输出神经元的数目，二维的输出矩阵可以表示为M*N，往往要比预测的聚类数目多，初始化权值向量如式⑵：

⑵ 确定获胜神经元：对于每一个训练样本x，使用最小欧式距离准则来寻找离样本向量最近的神经元c，作为获胜神经元，并把它添加到该获胜神经元的类型VC中。决策条件如式⑶：

⑶ 更新权值：对优胜邻域内所有节点按照式⑷

来调整权值。其中学习率η（t，N）是训练时间t和邻域内第j个神经元与获胜神经元之间的拓扑距离N的函数，且η随着t和N的增加减小。

⑷ 检查结束：SOM网络的训练是以学习率η（t）是否减小到0或某个特定的值，或者训练次数t是否达到某一设定的值为条件，满足这个条件就退出训练，否则继续对网络进行训练，返回步骤⑵。

1.3 SOM网络的改进

在SOM的训练过程中，权值一开始是一系列的随机的小数，随着训练过程的进行，权值不停地改变，更加靠近每一个输出神经元的聚类中心，直到达到一个设定的训练次数或学习率衰减到一定的值。但设定的训练次数往往需要多次实验才能确定；而学习率最后衰减的阈值需要靠经验来确定，如果设定为0，会使网络陷入亚稳定状态[1]，设置合适的阈值需要适应不同的实际情况。故提出一种利用权值导数来判断何时该停止训练的方法。

每个神经元都代表一个聚类中心，而在传统的聚类过程中，类中心是随着聚类的过程不断地靠近每一类数据中心，而在SOM神经网络中，聚类中心的表征形式又是各个输出神经元的权值向量[Wj1，Wj2，…，Wji]（j=1，2，…，M*N），所以定义每一次训练后权值的变化，如式⑸：

来表示类中心的变化情况。其中其中Wn表示当前训练后的权值，Wn-1表示前一次训练后的权值，ΔW是一个i*j维的向量。其中i是输入神经元的个数，j是输出神经元的个数M*N。

权值变化量ΔW的一范数如式⑹：

一范数即为列模，这里符合权值的定义，每一列代表一个聚类中心，ΔW的一范数就是变化最大的类中心的变化量。最终的目的即判断在训练次数为何值时权值W收敛。采用函数值的下降量充分小[8]为收敛准则，即最大的类中心变化值ΔW1小于某一给定值ε时，即：

来判断收敛。ε为事先给定的收敛条件。

在网络的训练过程中，学习率仍采用SOM网络经典的函数，即指数函数，这里所用的是：

2 实验

为了评估训练次数自适应的SOM改进算法对网络性能的影响[10]，本文对改进算法与传统算法进行了对比分析。采用UCI数据集对数据进行测试，分别采用了八个数据集，包括Wine、Breast_Cancer、Iris、Zoo、Car_Evaluation、Abalone、bupa、segment数据集的基本信息和对应的输出网络模型设置见表1，并对照MATLAB中传统的SOM网络[5]进行仿真结果如表2所示，其中在MATLAB中默认的训练次数为200次。

经过测试可以看到，改进后的SOM网络能够比matlab中传统SOM网络（默认训练200次）识别的正确率高。

把改进后的SOM神经网络用在车辆类型识别中的效果如图2所示，其中绿色的为私家车数据，黑色为非法营运车辆数据，红色为公交车数据，蓝色为长途车数据。

该网络输出矩阵设置为7*7的矩阵，经过若干次自适应的迭代，得到的聚类结果如图3所示。

可以看到营运车辆被聚到一类，绿色的合法私家车均匀的散布在输出矩阵中，非法营运的私家车被聚到营运车一类。将这些疑似营运车辆的私家车提供给执法部门，能够给执法人员提供一些线索和依据。

3 结束语

本文提出了一种运用在SOM网络中利用导数判断收敛的算法，该算法能够自适应确定SOM网络无监督训练时的迭代次数，缩短确定训练次数所花费的时间，减小算法复杂度。经过实验验证，在不降低正确率的情况下通过该算法可以减少手动确定训练次数的过程；并与MATLAB中传统的SOM神经网络工具箱相对比，其中默认的训练次数是200次，从表2中可以看到改进后的网络比默认参数的神经网络识别正确率高。利用改进后的网络对经过特征数据提取之后的RFID数据进行聚类，能够达到预期结果。

参考文献：

[1] Samarasinghe.s. Neural Networks for Appeied Sciences and Engineering：From Fundamentals to Complex Pattern Recognition[M].Beijing：Mechanical industry press，2009.7.

[2] Laura Lanzarini， Franco Ronchetti， Cesar Estrebou， Luciana Lens Aurelio Fern' andez Bariviera，Face recognition based on fuzzy probabilistic SOM[J]. IFSA World Congress and NAFIPS Annual Meeting （IFSA/NAFIPS），2013.

[3] Lin Chang， Yu Chong-xiu， Modified Self-Organizing Mixture Network for Probability Density Estimation and Classification[J].Neural Networks （IJCNN）， The 2013 International Joint Conference on，2013.

[4] Se Won Kim， Tang Van To. A Self-Growing and Self-Organizing Batch Map with Automatic Stopping Condition[J].2013 5th International Conference on Knowledge and Smart Technology （KST），2013.

[5] 张德丰等.MATLAB神经网络应用设计[M].机械工业出版社，2011.

[6] 周开利，康耀红.神经网络模型及其MATLAB仿真程序设计[M].清华大学出版社，2005.

[7] 任军号，吉沛琦，耿跃.SOM神经网络改进及在遥感图像分类中的应用[J].计算机应用研究，2011.3.

[8] 陈宝林.最优化理论与算法[M].清华大学出版社，2005.

[9] Apirak Jirayusakul. Improve the SOM Classifier with the Fuzzy Integral Technique[J].Ninth International Conference on ICT and Knowledge Engineering，2011.

神经网络降维方法篇6

关键词：BP神经网络；Adaboost算法；入侵检测

中图分类号：TP393文献标识码：A文章编号：1009-3044(2012)12-2687-02

随着计算机网络技术的飞速发展，网络入侵检测系统成为了近几年信息安全领域研究的热点。入侵检测可以有效地维护网络安全，实现实时保护，抵制各种外部入侵、内部攻击等，弥补了防火墙的不足。网络入侵检测实际上是通过分析网络数据包，把正常数据和异常数据进行有效地分类，找出异常数据。近年来，涌现了大量的基于机器学习的网络入侵检测系统模型，如基于免疫遗传算法、神经网络、支持向量机等等的异常检测算法模型[1]。其中BP神经网络具有学习能力强、结构简洁和非线性映射能力，在网络入侵检测中得到了广泛的应用。但是由于网络数据量非常大，传统的BP神经网络模型在预测分类时往往具有预测分类精度低、模型收敛速度慢等缺陷，不能有效地找出异常攻击样本[2][3]。该文基于这些缺陷，提出了一种基于Adaboost算法集成BP神经网络的网络入侵检测方法，采用Matlab软件进行仿真实验，在KDD 99数据集进行测试，实验结果表明该方法可有效提高小类样本的预测效果，降低漏报率和误报率。

1 BP神经网络模型

1.1 BP神经网络定义

BP神经网络是目前应用最广泛的人工神经网络之一，是一种前馈型的、有导师学习、采用误差反向传播算法的神经网络。在该模型中，信号由正向传播和反向传播两过程组成。正向传播时，数据由输入层输入传输至隐藏层，隐藏层单元处理后的结果由输出层输出，如果输出结果与输出期望不符时，进行反向传播，即调整权值对输出结果进行再次正向传播的数据处理，不断重复此过程直至输出结果与输出预期的误差在预设范围内，或者完成了预设的学习次数为止[4]。图1为BP神经网络模型。

[2] PanHao,LiXingfeng. Research of the Intrusion Detection Approach Based on the Split-assembly BP Neural Network[C].Proc.of the 3rd In ternational Symposium on Magnetic Industry&the 1st International Symposium on Physics and Industry.Shenyang,China:[s.n.],2004.

[3]韩力群.人工神经网络教程[M].北京:北京邮电大学出版社,2006.

[4]刘星昊.融合多数据源构建基因调控网络[D].长春:吉林大学,2010.

[5]Fengrong Sun,Drew Morris,Paul Babyn.The Optimal linear transformation-based fMRI.feature space analysis[J].Medical and Biological En gineering and Computing.2009,47(11):19-29.

[6]张治国.人工神经网络及其在地质学中的应用研究[D].长春:吉林大学,2006.

神经网络降维方法篇7

【关键词】傅里叶变换;BP神经网络;自适应滤波

引言

BP神经网络具有很强的非线性函数逼近、自适应学习和并行信息处理能力，为解决未知不确定非线性信息处理和自适应滤波提供了一条新途径[1]。但随着BP神经网络输入向量维数增加，其隐含层层数和学习次数也会相应增加，降低了网络的自适应性且延长了学习时间。傅里叶变换是数字信号处理领域一种很重要的算法，其思想是将原始信号从时域变换到频域，通过对频谱图的分析，去除高频处的频率分量，再将频域变换回时域，达到信号去噪滤波的功能[2]。利用傅里叶变换与神经网络相结合的方法，对信息进行预处理，减少信息处理量，再利用神经网络强大的非线性函数逼近能力，从而实现信号的自适应滤波，减少网络的待处理信息，增强网络的自适应能力，其工作过程如图1所示。

图1

1.BP神经网络模型

1.1 神经元结构模型

人工神经网络是人脑的某种抽象、简化或模拟，它由大量的神经元广泛互联而成。网络的信息处理由神经元之间的相互作用来实现，网络的学习和识别取决于神经元间连接权系数的动态演化过程[3]，其模型可以用图2来表示。

输入向量与输出y之间的关系式;

其中权值向量，输入向量，阈值，活化函数。

图2

1.2 BP神经网络

BP神经网络（Back-Propagation Neural Network）是一种无反馈的前向网络，网络中的神经元分层排列，除了有输入层、输出层之外，还至少有一层隐含层，BP学习算法是调整权值使网络总误差最小。具有隐含层BP网络的结构如图3所示，图中设有M个输入节点，L个输出节点，隐含层含有n个神经元。其中为网络输入向量，为实际输出向量，为网络的目标输出，为网络的输出误差。BP网络学习流程：（1）网络初始化，确定输入向量与输出向量的维数、目标向量、学习次数以及允许的误差值。（2）输入学习规则，初始化权值W。（3）计算输出层的输出与目标向量的误差。（4）判断误差精度是否达到预定值，没有则调整权值W并改变学习规则。（5）误差精度达到预定值，学习结束。

图3

2.BP神经网络权值变换理论基础

BP网络的自适应过程，其实就是对输出层权系数和隐含层权系数的调整的过程。记为第i层网络节点输出，为第j层网络节点的输入，则：

（1）

（2）

（3）

（4）

记二次型误差函数：

（5）

3.数值仿真与分析

在MATLAB神经网络工具箱中提供了实现BP神经网络的创建，仿真环境以单输入单输出的非线性函数，分别作为输入函数和目标函数。本文同时采取傅里叶变换、BP神经网络以及基于傅里叶变换的BP神经网络分别进行仿真滤波[5][6]，表1给出了三种算法在MATLAB软件中的仿真主要步骤。

表1

三种算法在MATLAB中仿真处理方法

傅里叶变换 采样点N=256，t=0：1/256：255/256，X=fft（x），前24个点不变，高频部分置0，x=ifft（X）

BP神经网络 N=256，t=0：1/256：255/256，T1=y（t），P1=x（t）， net=newff（P1，T1，900），学习次数2000，误差精度0.01，[net，tr]=train（net，P1，T1）a1=sim（net，P1）;

基于傅里叶变换的BP神经网络 X=fft（x），Y=fft（x），前24个点不变，高频置0，T2=Y（1，1：24），P2=X（1，1：24）net=newff（P2，T2，200），学习次数1000误差精度0.01，[net，tr]=train（net，P2，T2）

a2=sim（net，P2）;x=ifft（a2）;

图4为y（t）与x（t）函数的波形图，图5是经傅里叶变换处理后的x（t）波形，图6是BP网络自适应滤波后的x（t）波形，图7是基于傅里叶变换的BP网络作用后的x（t）自适应滤波后的波形。通过比较图5、6、7可以明显看出傅里叶变换的滤波效果出现高频振荡，BP网络自适应滤波在形状上几乎与元波形一致，但是在某些点位置出现疵点，而基于傅里叶变换的BP神经网络自适应滤波后波形几乎和目标函数y（t）波形完全一致。

图4

图5

图6

图7

4.结束语

本文通过三种算法在MATLAB中的仿真分析，可以得出在输入向量维数比较大时，可以采用基于傅里叶变换的BP神经网络的方法对含噪信息进行处理，不仅可以降低隐含层的层数，增加自适应能力和减少学习时间，而且在波形拟合上可以达到更好的效果。

参考文献

[1]华，李雷，赵力.基于BP神经网络的自适应补偿控制方法[J].计算仿真，2012，29（7）：202-205.

[2]张德丰.MATLAB小波分析[M].北京：机械工业出版社，2009：39-48.

[3]杨芳，马建伟.基于神经网络自适应滤波的低频Prony分析[J].中国水能及电气化，2012，86（4）：32-37.

[4]李国勇，杨丽娟.神经模糊预测控制及其MATLAB实现[M].北京：电子工业出版社，2013：17-22.

神经网络降维方法篇8

【关键字】入侵 检测 神经网络

一、引言

随着互联网的飞速发展，网络攻击的行为日益增多，一般的防火墙和数据加密等被动的防护很难对网络行全面的监控，有主动防御功能的入侵检测技术可以补充防火墙的不足。神经网络有良好的归纳推理能力和自适应性，对已知和未知的攻击行为进行检测，在入侵检测过程中起到了重要的作用。

二、基于神经网路的通信系统入侵检测技术发展趋势

如图1所示，基于神经网络的入侵检测技术，在2001年到2003年间申请量较小，之后几年内，随着神经网络技术的不断发展以及网络环境的日渐复杂，基于神经网络的入侵检测技术研究受到更多重视，专利申请数量也稳步增加，该技术得到快速发展。

三、基于神经网路的通信系统入侵检测技术解析

针对基于神经网络的入侵检测技术专利申请的研究，可主要分为四个技术分支：选择合适的数据源和数据属性、改进现有算法、发现新的入侵检测算法、改进入侵检测系统构架。

3.1选择合适的数据源和数据属性

选择合适的数据源和数据属性是一个关键环节，在入侵检测系统征提取器和分类器成为了入侵检测领域研究的特点。如2012年的申请号为201210074813中，对于相同的训练数据，加入少量有标签的数据的半监督GHSOM算法，同时利用有标签的数据判断神经元类型，对神经元起到自动标识的作用；2014年的专利申请号为201410750891中，提供一种基于加权距离度量以及矩阵分解的入侵检测方法，可有效解决现有技术没有考虑整个数据集的特性以及各数据集属性之间量纲的差异，对噪声数据敏感，导致检测效果较差的问题。

3.2改进现有的算法

入侵检测算法是基于神经网络的入侵检测技术的核心，其直接关系到检测的效率和误警率。申请号为201310712975的专利，提供一种集成维纳过程与Adaboost集成学习方法、解决不平衡数据集的分类问题，能够对集成学习算法泛化能力进行极大提升；申请号为201410372707的专利中提供一种用于基于特征的三阶段神经网络入侵检测的方法和系统，其针对入侵检测使用三阶段神经网络，实现较少的假警报率。

3.3发现新的入侵检测算法

随着基础的检测算法日益成熟，为开发新的检测算法提供了强有力的基础，因此，近年来，开始出现关于新的检测算法的申请。申请号为201310032391的专利中将PCA降维与BP神经网络相结合的方式引入手机，从而降低了传统BP神经网络的计算量和存储量，以少的计算量达到主动防御的效果；申请号为201410855655的专利中通过广义回归神经网络结合模糊聚类算法迭代学习和训练，使得网络入侵连接的分类更加准确，改进了经典的Apriori算法，降低了其时间复杂度，适应了网络环境的变化。

3.4入侵检测系统构架

入侵检测系统是一种能够通过系统进行实时监护，分析网络的相关数据，检测到有可疑的入侵行为后进行警报等一系列措施的系统。申请号为201110457562的专利可针对入侵检测全过程，从攻击或从事恶意行为的网络入侵到操作系统内部监控，都给予其抵御，并形成防御机制，增加了防御的实时性，为自动抵抗攻击带来动力；消除了大量的数据输入；实现了Linux下的高量数据包监听；申请号为201410383497的专利中基于Hadoop分布式计算框架，提出了一种着眼于整个互联网防御的安全体系。

神经网络降维方法篇9

关键词：粗糙集 遗传算法 BP神经网络 优化

中图分类号：TP391 文献标识码：A 文章编号：1007-9416（2015）03-0121-01

目前BP神经网络已经成为应用最为广泛的神经网络模型之一，BP神经网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过逆传播来不断调整网络的阈值和权值，使网络的误差平方和最小。BP神经网络可以应用于聚类、分类、预测等。神经网络需要有一定量的历史数据，通过历史数据的训练，网络可以学习到数据中隐含的知识。在具体问题中，要找到某些问题的一些特征，以及对应的评价数据，用这些数据来训练神经网络。

1 粗糙集理论优化BP神经网络

1.1 粗糙集理论概述

S作为一个知识表达系统粗糙集一般形式记为：S=（U，A，V，f），其中：U为论域；A为属性集；V为属性值域；；B为条件属性集合；C为决策属性集合；是一个信息函数。

定义1：对于一个知识表达系统S=（U，A，V，f），满足下列两个条件的是条件属性集C的约简：

定义2：对于一个知识表达系统S=（U，A，V，f），设，对任意集合，则X关于R的下近似集定义为：

上近似集定义为：。

定义为X的R粗糙集。上、下近似集是定义在U的幂集上的一对一元算子。集合X关于R的边界区可表述为：。通常能够肯定地将U中的对象划分为X或-X两个不关联的子集，其对象总数等于排除X的R边界的对象数目，即。

定义3：令P与Q是U中的等价关系，记为Q的P正域，即

Q的P正域是U中所有根据分类U/P的信息可以准确地划分到关系Q的等价类中去的对象集合。令P和Q为等价关系族，R，如果：

则称R为P中Q不必要的，即R为P相对于Q可以约简的。P的Q约简简称为相对约简。

1.2 RS属性约简算法

属性约简是粗糙集理论中的核心知识，也是粗糙集在本文中应用的重要知识。在实际问题中信息是大量的这样就会存在冗余，而且有些信息并不起决定作用，所以要对这些信息进行筛选，删除冗余信息，也就是要进行属性约简。

首先根据数据特征确定离散化标准，然后对连续特征进行离散化，建立出决策表。决策系统表示条件属性，D表示决策属性。定义一个的矩阵，其任一元素为：

对于满足：，或者： 且或者：。

表示区别元素的所有属性的函数，对于每个属性指定Boole变量指定一个Boole函数用来表示；如果，指定Boole常量1，则[1]

的极小析取范式中得所有合取式是条件属性集C的所有D约简。每个约简对应一个决策算法，通过比较各决策算法的相容度选定最优约简。

2 利用遗传算法优化BP神经网络研究

BP神经网络算法缺乏全局性，因为它是一种只考虑局部区域的梯度法，这样就容易陷于局部最优极值。然而遗传算法是一种全局优化方法，它是一种基于生物进化过程的随机搜索的，通过变异操作和交叉很大程度减小了初始状态的对数据的影响，将遗传算法与BP神经网络结合可以扩大神经网络系统搜索解的空间，从而摆脱了算法易陷于局部最优解的弊端，使算法具备了全局最优解的能力。

遗传算法优化BP神经网络初始权重和阈值主要包括适应度函数和染色体编码方式的选择，还有一些遗传操作如选择、交叉、变异等。这些在文献[2]中有较详细的说明。下面对基于遗传算法优化神经网络权值的学习过程进行说明：

（1）初始化种群P包括交叉规模、交叉概率Pc、突变概率Pm以及权值初始化；（2）计算出每一个个体评价函数，并将其排序。

按概率值选择网络个体，（为个体的适应度），适应度可用下面式子衡量，，

利用交叉概率Pc对个体和进行交叉操作，产生新个体和；

（4）利用变异概率Pm突变产生的新个体；（5）将交叉操作与变异突破产生的新个体插入到种群P中，并计算新个体的评价函数；（6）若找到了最优解或者满意的个体或已经达到最大的迭代次数则算法结束，否则转入第三（3）步进入下一轮迭代运算，周而复始直到得到最优解为止。如达到预先设定的性能指标后，将最终群体中的最优个体解码即可得到优化后的网络连接权值系数。

3 基于粗糙集和遗传算法的神经网络模型

种群是指一个个体表示BP神经网络的一个初始权重和阈值，所以首先，获得初始种群；接下来利用粗糙集RS对初始种群进行属性约简得到一个最小属性约简集，作为输入神经元；再通过遗传算法来优化网络参数（初始权值、阈值），进一步确定隐含层神经元个数，之后，通过BP神经网络训练和测试得到种群的适配值；最后，再通过遗传操作得新的种群，直到达到预定的进化的代数为止，粗糙遗传神经网络模型如图1所示：

4 仿真实验分析

利用本文提出的算法进行仿真实验，首先对论文献[3]中利用粗糙理论进行属性约简，得到、、和4个约简，最佳约简为，核为。

输入层神经元为元素，输出层神经元为元素，由遗传算法优化隐含层4个神经元节点。采用步长法，构造优化BP神经网络模型，根据输出误差大小自动调整学习因子来加快收敛速度和减少迭代次数，取步长，动态因子，网络误差小于0.03，从25个样本中选取取前5个作为测试样本，其余后20个作为训练集样本，由遗传算法优化的网络权值、阈值作为初始值对样本进行训练和测试。设最大迭代次数为200，当误差达到预定的目标值和预先确定的最大迭代次数时训练停止。与此同时应用基本BP算法对样本进行训练，两者比较表明粗糙遗传神经网络优于BP神经网络的学习效果，网络学习曲线反映出粗糙遗传神经网络具有学习速度快、误差小的优点。

5 结语

本文提出了利用粗糙集的属性约简结合遗传算法对BP神经网络算法进行优化的理论，对输入变元进行约简，降低了输入变元维数。仿真实验结果表明，粗糙集遗传算法优化的BP神经网络较BP神经网络学习速度快而且误差减少。

参考文献

[1]温泉彻，彭宏，黎琼.基于粗糙集和遗传算法的神经网络模型研究[J].计算机工程与设计，2007（11）.

神经网络降维方法篇10

关键词:电子鼻;PCA;RBF;马氏距离

中图分类号:TP212文献标识码:A文章编号:1009-3044(2010)07-1699-02

An Application of PCA-RBF Neural Network Based on Anomaly Detection for Electronic Nose Gas Detection.

MA Jian-wei, LIU Tao, ZHOU Hong-wei, PAN Li-na, LI Hong-juan

(College of Communication Engineering, Chongqing University, Chongqing 400044, China)

Abstract: Due to the fact that some anomaly of the sample set can decline the stability of the network.In this paper, an abnormal detection based on mahalanobis distance and a novel network PCA-RBF (Principal Component Analysis- Radial Basis Function) are proposed. PCA-RBF network identification is made after the anomaly detection. Experiment results show that this method can overcome the interference of abnormal samples and improve the network's stability and ability to identify.

Key words: electronic nose; PCA; RBF Neural Network; mahalanobis distance

电子鼻系统由气敏传感器阵列和模式识别算法两部分构成[1]。气敏传感器阵列将气体信息转换为电信息,这些信息也称之为气味图谱。模式识别算法根据气味图谱对被测气体进行分类判别。由于电子鼻具有检测快速、操作简单等特点,已在医疗[2]、卫生[3]、食品[4]、环境[5]等方面的领域得到应用。

PCA是模式识别中常用的降维技术,它通过构造原变量的一系列线性组合,使各个线性组合在相互不相关的前提下尽可能多地反映原变量的信息,即使方差最大[6-8]。在实际数据集中不可避免的混入不可靠的数据和没有代表性的样本,这些数据和所希望得到的鉴别模型相差甚远,由于PCA中分散度判据是均方差,所以少数离群样本点对PCA造成严重干扰。

本文提出了一种支持电子鼻的基于马氏距离异常数据剔除的PCA-RBF联用网络模型。该网络模型能够有效的剔除异常样本,并将正常样本由高维空间映射到低维空间后传递于RBF网络进行模式识别。利用网络实现了对甲醛,一氧化碳和二氧化氮三种有害气体的定性识别,并获得了较高的正确率。

1 模式识别算法

1.1 异常检测

对服从同一正态总体分布Np(μ0,σ2) 的若干不同子组,在总体协方差σ2已知的情况下,均值向量的检验统计量如下式所示[9]:

式中:n――样本容量;pDD向量维数; XDD样本均值向量;μ0DD总体均值向量;σ2DD总体的协差阵;

式中等价于由点X到μ0的马氏距离D2 M(X, μ0)。由此可以得到正常样本的马氏距离范围:

这样每一个样本点xi 到μ0的马氏距离都对应一个χ2p,ai,即对应一个显著水平ai。在实际应用中ai小于0.05,就有充分的理由认为子组中该样本点是异常值。

由于在实际应用中,σ2和μ0都不易求得,因此只能通过有限的子组对其进行估计,通常当子组数目超过20个时,可得到如下统计量:

式中:Xp, S-1 P表示子组的均值和协方差矩阵,即可得出:

若检测到样本不再该区范围内,删除样本。

1.2 PCA-RBF网络

PCA是常用的多变量分析技术,采用将高维信息投影到低维子空间,并保留主要信息的方法。RBF神经网络是一种性能良好的前向网络,该网络具有收敛速度快,不易陷入局部最小点,鲁棒性好和易于实现的优点。已经证明,RBF神经网络可以在任意精度下逼近任意的非线性函数[10]。但是RBF网络训练样本增多时,计算量也随之增大,在RBF之前使用PCA能够减少RBF网络的计算量。

在电子鼻的测量中,传感器阵列常常包含p个传感器,所要测量的样本数是n个,形成了n×p样本数据矩阵X。主成分分析步骤如下:

1) 计算样本数据矩阵的协方差矩阵σ2;

2) 求协方差矩阵σ2的特征值,并按降序排列,λ1>λ2…>λp;

3) 求对应于各特征值的单位特征向量μ1,μ2…μp,并作为相应的主轴;

4) 通过下式计算特征值的贡献率:

(5)

5) 根据各个特征值的贡献率的大小,依次选取主轴,直至;

6) 利用下式计算样本数据的矩阵X的第i主成分Yi:

Yi=μiX i=1,2,…,m(6)

然后将经过PCA后的m维向量X'={x'1, x'2,…, x'm}T送入RBF网络识别。

2 实验与讨论

2.1 实验环境

实验平台由电子鼻系统,测试腔和PC机组成,测试腔选用定制的恒温恒湿培养箱,容积150升。为了避免测试过程中,箱中的残留气体的影响,测试箱内壁均匀喷涂了一层无吸附材料――聚四氟乙烯。传感器阵列由5支金属氧化物(MOS)气敏传感器构成且置于测试箱之中。AD数据采集模块采用串口传送到PC机上并记录。用于数据处理的算法模型均使用MATLAB2008建立。实验中配置了三种测试气体,见表1。对每种气体进行了21次测量,总共63个样本。随机抽取每种气体的14个样本作为训练,其中混入少数异常样本,剩余7个作为测试样本。

2.2 算法结果与讨论

实验中,首先使用基于马氏距离异常值检验方法对粗糙样本集进行筛选,剔除异常样本。将经过删选的样本进行PCA,各个特征值占总方差的贡献率分别为59.1%,19.0%,9.9%,7.8%,4.0%,可知,第一,第二主轴,第三主轴对信息的累计贡献率为88%,故选取前三主轴作为后续网络的输入。

选择PCA后的数据作为RBF的输入,令一氧化碳的目标输出为(1,0,0),二氧化氮的目标输出为(0,1,0)和甲醛的目标输出为(0,0,1)。由此可以确定该网络的结构:输入层神经元数目为3,输出层神经元数目为3,目标误差设为10-3,,径向基函数分布密度为7,自适应的添加隐含层直至满足误差要求。

本文使用基于马氏距离异常数据检测PCA-RBF网络与普通的PCA-RBF网络对上文提到的数据集进行了测试,其神经元的输出值见表二,可见两种网络对三种气体的识别的正确率分别为95%和71.4%。在数据测量过程中,由于实验中的温度或湿度的突然变化,在数据集中常混入若干异常样本,数目虽少,但会使数据集的均值和协方差产生很大的变化。PCA中分散度判据是均方差,所以少数的离群点产生严重的干扰,甚至可以使一些没有意义的向量成为主成分,使得后续的测试网络失效。

3 结论

针对电子鼻测试系统的特点,本文研究基于马氏距离异常检测的PCA-RBF网络模型的有害气体检测系统,克服传统网络模型中少数异常样本引起网络稳定性下降甚至失效的缺点,实验结果表明基于马氏距离异常检测的PCA-RBF网络对于混入异常值的样本集具有较强的抗干扰能力和较高的识别正确率。

参考文献:

[1] Gardner J W, Bartlett P N. A brief history of electronic nose[J].Sensors and Actuators B,1994(18-19):211-220.

[2] Siripatrawan U. Rapid differentiation between E. coli and Salmonella Typhimurium using metal oxide sensors integrated with pattern recognition[J]. Sensors and Actuators B, 2008(133):414-419.

[3] Horvath I, Lazar Z, Gyulai N, et al. Exhaled biomarkers in lung cancer[J].European Respirarory Journal,2009,34(1):261-275.

[4] Yong Yin, Huichun Yu, Hongshun Zhang. A feature extraction method based on wavelet packet analysis for discrimination of Chinese vinegars using a gas sensors array[J]. Sensors and Actuators B, 2008(134):1005C1009.

[5] Zhang S P, Xie C S, Bai Z K, et al. Spoiling and formaldehyde-containing detections in octopus with an E-nose[J].Food Chemistry,2009,113(4):1346-1350.

[6] CARMEL L, SEVER N, LANCET D, et al,An eNose algrorithm for identifying chemicals and determining their concentration[J].Sensors and Actuators B,2003(92):222-227.

[7]BRANCA A,SIMONIAN P,FERRANTE M, et al.Electronic nose based discrimination of a perfumery compound in a frafrance[J].Sensors and Acruators B,2003(92):222-227.

[8] LEE D S,HUH J ,LEE D D.Classifying combustible gases using micro-gas sesor array[J].Sensors and Actuators B,2003(93):1-6.