卷积神经网络综述范文

导语：如何才能写好一篇卷积神经网络综述，这就需要搜集整理更多的资料和文献，欢迎阅读由公文云整理的十篇范文，供你借鉴。

篇1

【关键词】深度学习 卷积神经网络 权值共享 下采样 R-CNN Fast-R-CNN

1 绪论

随着电子信息技术的快速发展，芯片的设计与生产进入了纳米时代，计算机的计算能力与计算速度得到了空前的提高，但是人们的需求是无限的，要求计算机能更加任性化的服务于我们的生活，这也就要求计算机本身能像人一样识别与感知周围的环境，并对复杂的环境做出正确的判断。而图片信息是我们周围环境最直观的，最容易获取的信息，要求计算机能对为的环境做出识别与判断也就要求计算机能够智能的识别图像信息。深度学习是机器学习中的一个新的研究领域。通过深度学习的方法构建深度网络来抽取目标特征进而识别周围的环境。卷积神经网络对图像的处理具有平移，旋转，扭曲不变的优良特性。在处理图像是更加快捷和便利。卷积神经网络使得计算机在感知识别周围环境的能力有了巨大的提升，使得计算机更加智能。卷积神经网络拥有强大的特征提取能力，使得其在图像分类识别，目标跟踪等领域有着强大的运用。

1.1 国内外研究现状

1986年，Rumelhart和Mc Celland提出BP算法。BP算法反向传导神经网络输出误差进行训练神经网络。通过BP算法，神经网络能够从大量训练数据中的学习到相关统计信息，学习到的数据统计信息能够反映关于输入-输出数据模型的函数映射关系。

自2006年以来，Geoffery Hinton教授提出深度信念网络。从此深度学习在学术界持续升温。深度学习不仅改变着传统的机器学习方法，也影响着我们对人类感知的理解，迄今已在语音识别和图像理解等应用领域引起了突破性的变革。各种相关的算法和模型都取得了重要的突破，使得深度学习在图像分类，语音识别，自然语言处理等领域有广泛的运用。

2013年百度成立百度深度学习研究院以来我国的人工智能领域取得了长足的进步。在人工智能专家吴恩达的带领下，百度陆续推出一系列人工智能产品，无人驾驶技术，DuerOS语音交互计算平台，人脸识别技术，美乐医等优秀产品。此外Imagenet图像识别大赛中也诞生了一系列经典的神经网络结构，VGG，Fast-R-CNN，SPP-net等等，可以说人工智能技术在近几年得到了空前的发展。

2 深度学习概述

深度学习是机器学习的一个新方向，通过学习样本数据内在规律和深层特征深度，深度学习神经网络能够像人一样有分析和学的能力，尤其在文字处理，图像识别，语音等领域更加突出。能够自主学习一些新的东西。目前深度学习使用的典型技术是通过特征表达和分类器来进行目标识别等任务的。并在语音识别、图像处理、机器翻译等领域取得很多成果。

深度学习不同于以往的浅层学习，浅层学习模型值包含一个隐藏层，或者不存在隐藏层，深度学习则是由很多隐藏层组成的，上一层的输出作为下一层的输入，实验对输入信息进行分级表达。目前深度学习框架主要包含三种深度学习框架，如图1、2、3所示。

3 卷积神经网络

卷积神经网络的结构层次比传统的神经网络复杂，卷积神经网络包含大量的隐藏层，相邻的卷积核或者下采样核采用局部感受野全链接，神经元权值共享的规则，因此卷积神经网络训练参数的数量远比传统神经网络少，卷积神经网络在训练和前向测试的复杂度大幅度降低，同时也减少了神经网络训练参数过拟合的几率。卷积神经网络主要有两部分，分别是卷积核和下采样核。卷积核主要对上一层的图像进行卷积运算，提取图像特征，下采样核则是对上层的数据进行将为处理，减少神经网络的复杂度。

卷积神经网络中每一个神经元的输入与前一层的局部感受野相连，提取局部感受野的特征，比如图像的轮廓，颜色等特征，而这些特征不仅包括传统人类能理解的特征，也包括神经网络自身能够识别的特征，卷积核全职共享，因此这些特征提取与图像的位置无关。

图4是经典的LeNet5卷积神经网络架构，LeNet5架构中卷积核和下采样核交替出现，下采样核及时的将卷积核生成的特征向量进行降维，减少神经网络的运算量。LeNet5算法在1962年幼Hubel等人提出，在识别手写数字mnist中有极高的准确率。

4 R-CNN、Fast-R-CNN对比分析

卷积神经网络在对图像进行识别具有平移，旋转，扭曲不变的优良特性，并且能够实现高准确率识别图像，但是在现实生活运用中往往需要神经网络标记出目标的相对位置，这是传统卷积神经网络不具备的功能。因此在前人传统卷积神经网路基础上对卷积神经网络进行改进，产生了具有对图像中目标进行识别和定位的卷积神经网络R-CNN，Fast-R-CNN等改良算法。

4.1 R-CNN

R-CNN为Region Convoluntional Neural Network的缩写即对图像进行局部区域的卷积处理，其核心思想主要是利用候选区图像对物体探测中位置信息进行精确处理和利用监督式预训练和区域特殊化的微调方法，代替了传统的非监督式预训练和监督式微调。

在CNN中，全连接层输入是固定大小的，因此R-CNN用计算机视觉算法将每一张图片分割成1000-2000张的候选区图片后，要将这些候选区图片进行变换，生成固定大小的候选图片，在训练提取特征时一般采用经过预训练的模型参数进行finetuning，榱嗽黾友盗费本，模型在也将生成的候选框以及标定的标签作为训练样本进行训练。R-CNN采用SVMs分类器对特征向量进行分类，在训练SVMs时将候选框经过卷积神经网络提取的特征和SVM标定结果输入到SVMs分类器训练分类器模型。而在测试时将图像全部候选框经过卷积神经网络提取的特征输入到SVMs分类器中，得到每一类的评分结果。但是R-CNN在处理一张图片是要处理需要对一张图片1000-2000个候选区图像进行前向运算，保存所有后选取图片的特征值，要求计算硬件有大量的存储空间，同时处理每一张图片的时间也会增加。由于训练集庞大，本文采用hard negative mining method方法提高存储的利用率。

R-CNN的体现出了极大的优势，其中MAP也可以大幅度提高，但是正如本文上述，R-CNN计算的时间成本很大，达不到实时的计算效果，R-CNN在对候选区进行处理时会使得图像失真，部分信息丢失。

4.2 Fast-R-CNN

Fast-R-CNN则是再次改进的一种基于卷积神经网络目标跟踪定位算法。相比于R-CNN，Fast-R-CNN从单输入变为双输入，在全连接层后有了两个输出，引入了Rol层。

Fast-R-CNN在运行的时候同样会生成大量的候选区，同时将原始的图片用卷积神经网络进行特征提取，将原始图片提取的特征与生成的候选区坐标送入Rol层为每一个候选区生成一个固定大小的特征向量。最后将Rol生成的特征向量全连接层产生最终的LOSS。Fast-R-CNN中的LOSS采用多LOSS模式，SoftMax LOSS用于计算K+1分类的损失，K为第K个目标，1为背景；Regression LOSS计算候选区的四个角的坐标。

Fast-R-CNN在MAP上有了大幅度的提升，速度也得到了提升，但是在计算候选区是仍存在瓶颈，这也是限制Fast-R-CNN速度的因素。

5 实验测试

对于本文提出的卷积神经网络识别图像定位图像目标算法R-CNN，Fast-R-CNN，在本章给出实验结果。实验平台为基于Linux系统的debian8下运行caffe进行训练，采用显卡K620进行实验。

训练模型初始化参数在是服从高斯随机分布，R-CNN采用的网络结构如图7所示，Fast-R-CNN的网络结构如图8所示。

本次实现的训练样本为录制实验室视频数据，将视频数据转换成帧图片，对每张图片数据进行裁剪，裁剪后图像大小在256*256，共有500张，再将裁剪后的图片进行旋转，平移，扭曲，镜像，加噪声等处理，最后生成144万张样本图片，其中136.8万张图片作为训练样本，7.2万张作为测试样本。

6 总结

在目标识别定位领域，卷积神经网络具有强大的图像处理能力，对图像的识别定位具有很高度平移，旋转，扭曲不变形的优良性能。卷积神经网络架构R-CNN和Fast-R-CNN都有强大的图像处理能力。Fast-R-CNN在识别准确率上比R-CNN高。R-CNN算法复杂，对一张图片需要进行1000-2000次的卷积运算，特征重复提取。因此在训练和前向测试时，R-CNN用的时间长，不能很好的适用于处理实时图片数据，尤其视频数据。R-CNN在对每个候选区进行特征提取之后需要将提取的特征向量存入内存，降低训练测试时间的同时也需要耗费大量内存。因此从各方面分析可知，Fast-R-CNN性能优于R-CNN。

参考文献

[1]谢宝剑.基于卷积神经网络图像分类方法研究[D].合肥工业大学，2015.

[2]郑胤，陈权崎，章毓晋.深度学习及其在目标和行为识别中的新进展[J].中国图象图形学报，2014（02）：175-184.

[3]陈先昌.基于卷积神经网络的深度学习算法与运用研究[D].杭州：浙江工商大学，2006（04）：603-617.

[4]李彦冬，郝宗波，雷航等.卷积神经网络研究综述[J].计算机应用，2016.

[5]Gibson.J J.The perception of the Visual World[J].Cambridge，England，1950.

[6]HORN B，SCHUNCK P.Determining optical flow[J].Artificial Intelligence， 1981，17：185-203.

[7]R.Girshick，J.Donahue，T. Darrell，and J.Malik，“Rich feature hierarchies for accurate object detection and semantic segmentation，”in CVPR，2014

[8]Ross Girshick，Wicrosoft Research. Fast R-CNN，.

[9]R.Girshick.Fast R-CNN. arXiv：1504.08083，2015.

篇2

关键词：卷积神经网络；人脸识别；大样本；对抗生成网络

中图分类号：TP391 文献标识码：A 文章编号：2095-1302（2017）07-00-04

0 引 言

近几年，基于大量训练数据的卷积神经网络（Convolutional Neural Networks，CNN）在目标检测、目标识别、显著性检测、行为识别、人脸识别和对象分割等计算机视觉领域取得了举世瞩目的成果。这些令人鼓舞的成绩主要归功于以下几点：

（1）将大量有标签的数据作为训练集，学习出具有百万参数的模型，从而使卷积神经网络能够有效提取对象的本质特征；

（2）不断改进性能优异的网络结构，如Very Deep VGG Network[1]，Google Inception Network[2]和Deep Residual Networks[3]等；

（3）各种并行计算硬件设备（如GPU）的支持，大大提高了CNN训练模型的效率。其中，将标签的大量数据作为训练集起着至关重要的作用。

本文以人脸识别为例，讨论和综述多样本算法的研究现状和发展方向。

有效的特征是目标识别的关键，对人脸识别问题来说亦如此。传统的主成分分析（Principal Component Analysis，PCA）[4，5]，线性区分分析（Linear Discriminant Analysis， LDA）[6]和局部二值模式化（Local Binary Pattern，LBP）[7，8]等取得了不错的成绩。基于传统特征的人脸识别受限于环境，此类特征作用在复杂或者背景多变的人脸图像时，其识别性能往往大幅下降，如在LFW数据集上其识别率骤然下降[9]。

采用CNN作为特征提取模型，主要考虑到该模型的所有处理层，包括像素级别的输入层，均可从数据中学习到可调节的参数。即CNN能自哟哟笫据中学习特征，无需人工设计特征。合理有效的特征需从大量数据和大量参数中自动学习获取，从而达到优秀的识别性能。基于卷积神经网络的世界领先方法均使用了上百万的数据，其中最具有代表性的如VGG-Face网络需要260万个人脸图像样本进行训练[10]，Facebook的DeepFace网络需要440万个有标签的人脸图像样本训练[11]。而Google更使用了2亿样本数据来训练FaceNet网络[12]。

1 多样本获取现状

如引言所述，有效合理的特征是目标识别的关键，而CNN能从大量有标签的数据中自动学习图像的本质特征。获得图像特征的关键因素是有标签的大数据。因此许多研究的前提工作均聚焦在人工获取数据和给数据加标签方面。然而，获取百万级的数据并非易事。大数据获取需要人工从网上下载、处理，然后给数据添加标签，耗费大量的人力物力。虽然也有一些公开免费的数据集，且收集该类数据相对比较容易，如CASIA-WebFace[13]，有49万个图像，但远少于Facebook和Google的数据集。在这种情况下，缺乏大量样本直接阻碍了深度学习方法的使用，成为阻碍提高检测率和识别率的瓶颈。除了深度学习技术提取特征需要大量样本外，已有研究证明[14-19]，基于传统方法的技术同样需要大量样本作为支撑。在这种形势下，通过图像处理与机器学习技术自动增加样本集已成为必要手段。

无论基于传统方法的识别问题，还是基于深度学习的识别问题，大量有标签的数据作为训练集在算法中起着举足轻重的作用。如果样本不足，算法往往过拟合，无法提高算法的性能。为了获得更多样本，一些研究工作从网络上获取数据，例如在IMDb上，已经把9万有标签的数据集扩大到了26万 [10]。除此之外，Facebook获取了440万个有标签的人脸进行DeepFace网络训练[11]，而Google使用2亿个数据训练FaceNet网络[12]。

目前获取方法具有如下局限：

（1）现有方法耗时耗力，需要经费支持。获取百万级的数据并非易事。大数据获取需要人工从网上下载、处理，然后给数据添加标签，耗费大量的人力物力。这种情况下，只有像Facebook和Google这样的大公司会收集大量有标签的数据进行网络训练。而大多数情况下的数据收集涉及个人隐私与财力物力等问题，对于一般的小公司或科研院所而言，收集数据普遍难度较大。

（2）收集特殊图片困难。对于一些特殊的图像，如医学图像，遥感图像，现实中数量本身就少，加之无法直接从网上获取，因此小样本很容易导致过拟合。

2 样本集扩大算法研究现状

2.1 基于传统方法的多样本算法研究现状

对于传统的样本生成算法，如果数据集中有足够的训练样本，均可得到比较满意的识别结果，但在现实的人脸数据库中，人脸的数据样本却是有限的。文献[20]表明，增加图像样本的数量可以较大幅度提高识别的准确率。

为了增加样本数量，提高识别准确率，科研工作者已做了大量工作。其中，借助原始样本产生虚拟样本是一种有效的增加数据集方法。这种方法大致分为如下几类：

（1）通过人脸图像的对称性来得到原始样本的虚拟样本，如Xu[14，15]和Liu等[21]提出借助原始图像的“对称脸”和“镜像脸”产生虚拟样本，从而扩大数据集并提高人脸识别的正确率，Song[22]也提出相应的算法来改进人脸识别的性能；

（2）通过改变图像的光照、姿势和表情等来产生虚拟样本，例如Boom等用一种称为VIG的方法对未知光照情况进行建模[16]，Abdolali[17]和Ho[18]等提出了类似的算法扩大数据集；

（3）基于人脸图像自身的特征生成虚拟样本，Ryu等根据原始样本的分布来产生虚拟样本[19]，Liu等也根据图像本身特性来产生虚拟样本[23]。

（4）基于数学的多样本产生方法，如Zhang等提出利用奇异值分解的方法获得基于原始样本的虚拟样本[24]。借助图像合成方法生成的新样本如图1所示。

图1 借助图像合成方法生成新样本

除了借助图像处理方法获得原始样本的新样本外，还可以利用图像合成算法获取多样本，本研究做了相关实验，其结果如图1所示。假设数据集中有c类人脸图像，每类有ni个样本，令表示第i类中的第j个样本，这里i=1，2，…，c，j=1，2，…，ni，h和w分别代表样本xij的高和宽（均为像素值）。用X=[X1，X2，…，Xc]代表所有样本，则Xi=[xi1，xi2，…，xini]，i=1，2，…，c代表第i类样本。则有：

其中， P（Xi）代表所生成的第i类新样本， f（g）表示图像处理函数，代表多个样本的串联，即将多个样本联合起来得到一个类别的新样本。

2.2 基于深度学习的多样本生成算法研究现状

大量有标签的训练数据是机器学习成功的关键，尤其对于强大的深度学习技术，大数据集能提高CNN的性能，防止过拟合[25]。为了扩充数据集，已有一些工作在不改变图像语义的情况下进行，如水平镜像[26]、不同尺度的剪裁[27，28]、旋转[29]和光照变化[27]等传统方法。

DeepID[30]采取了增大数据集手法来训练网络，只有大的数据集才能使得卷积神经网络训练得更加充分，该研究采用两种方法增大数据集：

（1）选择采集好的数据，即映入CelebFaces数据集。

（2）将原始数据集中的图片多尺度、多通道、多区域的切分，然后分别进行训练，再把得到的向量串联起来，即得到最后的向量。

以上方法仅局限于相对简单的图像处理技术，该类方法生成的多样本具有一定的局限性。比如，真正意义上的旋转应按一定的角度进行3D旋转，而不仅仅是图像本身的角度旋转。合成数据能一定程度上解决以上问题，如Shotton等通过随机森林合成3D深度数据来估计人体姿势，Jaderberg等使用合成数据来训练CNN模型识别自然场景下的文字[31]。这些研究的结果均优于使用剪裁，旋转等传统方法。但使用3D合成图像比较复杂，需要较多的前期工作。

近年来，借助生成对抗网络（Generative Adversarial Networks，GANs）来生成原始样本的方法吸引了很多学者。2014年6月，Goodfellow 等发表了论文《Generative Adversarial Nets》[32]，文中详尽介绍了GANs的原理、优点及其在图像生成方面的应用，标志着GANs的诞生。早期的GANs模型存在许多问题，如GANs网络不稳定，甚至有时该网络永远不会开始学习，生成的结果无法令人满意。文献[32]中生成器生成的图片十分模糊，针对此问题，Denton等提出一个被称为 LAPGANs的模型[33]，该模型用多个卷积神经网络连续生成图像，这些新图像的清晰度不断提高，最终得到高分辨率图像。GANs除了基于图像生成图像外，还可以通过文字生成图像，如文献[34]搭起了文本到图像的桥梁，通过GANs将文本直接转换成对的图像。文献[35]将GAN应用于超分辨率中，该文献提出了全新的损失函数，使得 GANs 能对大幅降采样后的图像恢复其生动纹理和小颗粒细节。另外，Radford 等提出了名为DCGANs的网络[36]，该文献指出，用大数据集训练出的 GANs 能学习一整套层级的特征，并具有比其他无监督学习模型更好的效果。以上方法均为基于一大类原始样本生成另一大类图像。

基于GAN生成样本的过程如图2所示。首先将同类别的原始图像输入到生成对抗网络GAN的生成器网络G中，生成“假冒”图像G1和G2，接着借助判别器D来判断输入的图像是真实图像还是“假冒”图像。生成器G努力生成类似原始样本的图像，力争判别器D难以区分真假；而判别器D应不断提高自身性能，有能力鉴别出由生成器G生成的图像为赝品。生成器G和判别器D的价值函数如下：

生成器G最小化log（1-D（G（z））），判别器D最大化logD（x），使得最大概率按照训练样本的标签分类， 生成模型G隐式定义了一个概率分布Pg，希望Pg 收敛到数据真实分布Pdata。

图2 GAN生成新样本示意图

3 结 语

综上所述，基于原始样本的多样本生成算法是一个值得深入研究探索的问题，具备清晰而明确的理论意义和现实应用意义。虽然研究人员已经对相关问题进行了一些研究，取得了一系列成果，但是多样本的产生方法缺乏全面、深入的理解，尚未出现具有里程碑意义的研究成果。具体而言，本文认为，基于原始样本的多样本生成问题需要在如下几个方面展开深入的研究：

（1）在研究多样本生成算法时，保留原始样本的本质特征，如在人脸识别中，抛弃不必要信息（光照、表情和姿势）的影响是一项十分有意义的工作。

（2）在合成新样本时，设计合理有效的构造元素，使合成的新表示更接近自然亦是一个值得研究的方向。

（3）基于生成对抗网络，研究某一类对象的生成新样本的核心算法是一项有意义的工作。

参考文献

[1] K Simonyan， A Zisserman.Very deep convolutional networks for large-scale image recognition [Z]. Computer Science， 2014.

[2] C Szegedy，W Lin，Y Jia， et al. Going deeper with convolutions[C]. in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015.

[3] K He，X Zhang，S Ren，et al. Deep residual learning for image recognition[C]. in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016.

[4] Turk， Matthew， Pentland， et al.Eigenfaces for Recognition[J]. Journal of Cognitive Neuroscience， 2014，3（1）： 71-86.

[5] A Pentland.Looking at People： Sensing for Ubiquitous and Wearable Computing[J].IEEE Transactions on Pattern Analysis & Machine Intelligence， 2000，22（1）： 107-119.

[6] C Liu， H Wechsler.Robust coding schemes for indexing and retrieval from large face databases[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society， 2000，9（1）： 132-137.

[7] T Ojala，M Pietik?inen.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2002，24（7）： 404-420.

[8] T Ahonen， A Hadid， M Pietikainen.Face Description with Local Binary Patterns： Application to Face Recognition[J]. European Conference on Computer Vision， 2004，28（12）： 469-481.

[9] GB Huang， M Mattar， T Berg，et al. Labeled faces in the wild： A database for studying face recognition in unconstrained environments[Z].Month，2008.

[10] OM Parkhi， A Vedaldi， A Zisserman.Deep Face Recognition[C]. British Machine Vision Conference， 2015.

[11] Y Taigman，M Yang， Marc， et al. DeepFace： Closing the Gap to Human-Level Performance in Face Verification[C]. in Conference on Computer Vision and Pattern Recognition，2014.

[12] F Schroff，D Kalenichenko，J Philbin.FaceNet： A unified embedding for face recognition and clustering[C]. in IEEE Conference on Computer Vision & Pattern Recognition，2015.

[13] D Yi，Z Lei， S Liao， et al.Learning face representation from scratch[Z]. Computer Science， 2014.

[14] Y Xu， X Zhu， Z Li， et al.Using the original and ‘symmetrical face’ training samples to perform representation based two-step face recognition[J]. Pattern Recognition， 2013，46（4）： 1151-1158.

[15] Y Xu.Integrate the original face image and its mirror image for face recognition[J]. Neurocomputing， 2014，31（7）： 191-199.

[16] BJ Boom， LJ Spreeuwers， RNJ Veldhuis.Virtual illumination grid for correction of uncontrolled illumination in facial images[J]. Pattern Recognition， 2011，44（9）： 1980-1989.

[17] F Abdolali，S Seyyedsalehi. Improving pose manifold and virtual images using bidirectional neural networks in face recognition using single image per person[Z]. in International Symposium on Artificial Intelligence and Signal Processing，2011.

[18] HT Ho，R Chellappa. Pose-invariant face recognition using Markov random fields[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society， 2013，22（4）： 1573.

[19] Y.-S.， Ryu.，S.-Y.， O..Simple hybrid classifier for face recognition with adaptively generated virtual data[J]. Pattern Recognition Letters， 2012，23（7）： 833-841.

[20] A Wagner，J Wright， A Ganesh，et al.Toward a Practical Face Recognition System： Robust Alignment and Illumination by Sparse Representation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2012，34（2）： 372-386.

[21] Z Liu，X Song，Z Tang.Integrating virtual samples and fuzzy discriminant analysis for sparse representation-based face classification[J]. Journal of Electronic Imaging， 2015，24（2）： 23013.

[22] YJ Song，YG Kim，UD Chang，et al. Face recognition robust to left/right shadows； facial symmetry[J]. Pattern Recognition， 2006，39（8）： 1542-1545.

[23] Z Liu， X Song， Z Tang.Fusing hierarchical multi-scale local binary patterns and virtual mirror samples to perform face recognition[J]. Neural Computing & Applications， 2015，26（8）： 2013-2026.

[24] G Zhang，W Zou，X Zhang，et al. Singular value decomposition based sample diversity and adaptive weighted fusion for face recognition[J]. Digital Signal Processing， 2017，62： 150-156.

[25] K Chatfield，K Simonyan，A V edaldi，et al. Return of the devil in the details： Delving deep into convolutional nets[Z]. Computer science， 2014.

[26] H Yang， I Patras.Mirror， mirror on the wall， tell me， is the error small？ [J]. Der Chirurg； Zeitschrift für alle Gebiete der，2015，69（12）：235-240.

[27] A Krizhevsky， I Sutskever， GE Hinton. ImageNet Classification with Deep Convolutional Neural Networks [J]. Advances in Neural Information Processing Systems， 2012，25（2）： 1097-1105.

[28] G Levi，T Hassner. Age and gender classification using convolutional neural networks[C].in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops，2015.

[29] S Xie， Z Tu. Holistically-nested edge detection[C]. in Proceedings of the IEEE International Conference on Computer Vision，2015.

[30] Y Sun， X Wang， X Tang.Deep Learning Face Representation from Predicting 10，000 Classes[C]. in Computer Vision and Pattern Recognition，2014.

[31] M Jaderberg， K Simonyan，A Vedaldi，et al.Synthetic data and artificial neural networks for natural scene text recognition[Z]. Eprint Arxiv， 2014.

[32] I Goodfellow，J Pougetabadie， M Mirza， et al. Generative adversarial nets[Z]. in Advances in neural information processing systems， 2014.

[33] E Denton，S Chintala，A Szlam. Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks[Z]. Computer science，2015.

[34] S Reed，Z Akata， X Yan，et al. Generative adversarial text to image synthesis[C]. in Proceedings of The 33rd International Conference on Machine Learning，2016.

篇3

关键词人脸识别；特征提取

1人脸识别技术概述

近年来，随着计算机技术的迅速发展，人脸自动识别技术得到广泛研究与开发，人脸识别成为近30年里模式识别和图像处理中最热门的研究主题之一。人脸识别的目的是从人脸图像中抽取人的个性化特征，并以此来识别人的身份。一个简单的自动人脸识别系统，包括以下4个方面的内容：

(1)人脸检测(Detection)：即从各种不同的场景中检测出人脸的存在并确定其位置。

(2)人脸的规范化(Normalization)：校正人脸在尺度、光照和旋转等方面的变化。

(3)人脸表征(FaceRepresentation)：采取某种方式表示检测出人脸和数据库中的已知人脸。

(4)人脸识别(Recognition)：将待识别的人脸与数据库中的已知人脸比较，得出相关信息。

2人脸识别算法的框架

人脸识别算法描述属于典型的模式识别问题，主要有在线匹配和离线学习两个过程组成，如图1所示。

图1一般人脸识别算法框架

在人脸识别中，特征的分类能力、算法复杂度和可实现性是确定特征提取法需要考虑的因素。所提取特征对最终分类结果有着决定性的影响。分类器所能实现的分辨率上限就是各类特征间最大可区分度。因此，人脸识别的实现需要综合考虑特征选择、特征提取和分类器设计。

3人脸识别的发展历史及分类

人脸识别的研究已经有相当长的历史，它的发展大致可以分为四个阶段：

第一阶段：人类最早的研究工作至少可追朔到二十世纪五十年代在心理学方面的研究和六十年代在工程学方面的研究。

J.S.Bruner于1954年写下了关于心理学的Theperceptionofpeople，Bledsoe在1964年就工程学写了FacialRecognitionProjectReport，国外有许多学校在研究人脸识别技术[1]，其中有从感知和心理学角度探索人类识别人脸机理的，如美国TexasatDallas大学的Abdi和Tool小组[2、3]，由Stirling大学的Bruce教授和Glasgow大学的Burton教授合作领导的小组等[3]；也有从视觉机理角度进行研究的，如英国的Graw小组[4、5]和荷兰Groningen大学的Petkov小组[6]等。

第二阶段：关于人脸的机器识别研究开始于二十世纪七十年代。

Allen和Parke为代表，主要研究人脸识别所需要的面部特征。研究者用计算机实现了较高质量的人脸灰度图模型。这一阶段工作的特点是识别过程全部依赖于操作人员，不是一种可以完成自动识别的系统。

第三阶段：人机交互式识别阶段。

Harmon和Lesk用几何特征参数来表示人脸正面图像。他们采用多维特征矢量表示人脸面部特征，并设计了基于这一特征表示法的识别系统。Kaya和Kobayashi则采用了统计识别方法，用欧氏距离来表征人脸特征。但这类方法需要利用操作员的某些先验知识，仍然摆脱不了人的干预。

第四阶段：20世纪90年代以来，随着高性能计算机的出现，人脸识别方法有了重大突破，才进入了真正的机器自动识别阶段。在用静态图像或视频图像做人脸识别的领域中，国际上形成了以下几类主要的人脸识别方法：

1）基于几何特征的人脸识别方法

基于几何特征的方法是早期的人脸识别方法之一[7]。常采用的几何特征有人脸的五官如眼睛、鼻子、嘴巴等的局部形状特征。脸型特征以及五官在脸上分布的几何特征。提取特征时往往要用到人脸结构的一些先验知识。识别所采用的几何特征是以人脸器官的形状和几何关系为基础的特征矢量，本质上是特征矢量之间的匹配，其分量通常包括人脸指定两点间的欧式距离、曲率、角度等。

基于几何特征的识别方法比较简单、容易理解，但没有形成统一的特征提取标准；从图像中抽取稳定的特征较困难，特别是特征受到遮挡时；对较大的表情变化或姿态变化的鲁棒性较差。

2）基于相关匹配的方法

基于相关匹配的方法包括模板匹配法和等强度线方法。

①模板匹配法：Poggio和Brunelli[10]专门比较了基于几何特征的人脸识别方法和基于模板匹配的人脸识别方法，并得出结论：基于几何特征的人脸识别方法具有识别速度快和内存要求小的优点，但在识别率上模板匹配要优于基于几何特征的识别方法。

②等强度线法：等强度线利用灰度图像的多级灰度值的等强度线作为特征进行两幅人脸图像的匹配识别。等强度曲线反映了人脸的凸凹信息。这些等强度线法必须在背景与头发均为黑色，表面光照均匀的前提下才能求出符合人脸真实形状的等强度线。

3）基于子空间方法

常用的线性子空间方法有：本征子空间、区别子空间、独立分量子空间等。此外，还有局部特征分析法、因子分析法等。这些方法也分别被扩展到混合线性子空间和非线性子空间。

Turk等[11]采用本征脸(Eigenfaces)方法实现人脸识别。由于每个本征矢量的图像形式类似于人脸，所以称本征脸。对原始图像和重构图像的差分图像再次进行K-L变换，得到二阶本征空间，又称二阶本征脸[12]。Pentland等[13]提出对于眼、鼻和嘴等特征分别建立一个本征子空间，并联合本征脸子空间的方法获得了好的识别结果。Shan等[14]采用特定人的本征空间法获得了好于本征脸方法的识别结果。Albert等[15]提出了TPCA(TopologicalPCA)方法，识别率有所提高。Penev等[16]提出的局部特征分析(LFALocalFeatureAnalysis)法的识别效果好于本征脸方法。当每个人有多个样本图像时，本征空间法没有考虑样本类别间的信息，因此，基于线性区别分析(LDALinearDiscriminantAnalysis)，Belhumeur等[17]提出了Fisherfaces方法，获得了较好的识别结果。Bartlett等[18]采用独立分量分析(ICA，IndependentComponentAnalysis)的方法识别人脸，获得了比PCA方法更好的识别效果。

4）基于统计的识别方法

该类方法包括有：KL算法、奇异值分解(SVD)、隐马尔可夫(HMM)法。

①KL变换：将人脸图像按行(列)展开所形成的一个高维向量看作是一种随机向量，因此采用K-L变换获得其正交K-L基底，对应其中较大特征值基底具有与人脸相似的形状。国外，在用静态图像或视频图像做人脸识别的领域中，比较有影响的有MIT的Media实验室的Pentland小组，他们主要是用基于KL变换的本征空间的特征提取法，名为“本征脸(Eigenface)[19]。

②隐马尔可夫模型：剑桥大学的Samaria和Fallside[20]对多个样本图像的空间序列训练出一个HMM模型，它的参数就是特征值；基于人脸从上到下、从左到右的结构特征；Samatia等[21]首先将1-DHMM和2-DPseudoHMM用于人脸识别。Kohir等[22]采用低频DCT系数作为观察矢量获得了好的识别效果，如图2(a)所示。Eickeler等[23]采用2-DPseudoHMM识别DCT压缩的JPEG图像中的人脸图像；Nefian等采用嵌入式HMM识别人脸[24]，如图2(b)所示。后来集成coupledHMM和HMM通过对超状态和各嵌入状态采用不同的模型构成混合系统结构[25]。

基于HMM的人脸识别方法具有以下优点：第一，能够允许人脸有表情变化，较大的头部转动；第二，扩容性好.即增加新样本不需要对所有的样本进行训练；第三，较高的识别率。

(a)(b)

图2(a)人脸图像的1-DHMM(b)嵌入式隐马尔科夫模型

5）基于神经网络的方法

Gutta等[26]提出了混合神经网络、Lawrence等[27]通过一个多级的SOM实现样本的聚类，将卷积神经网络CNN用于人脸识别、Lin等[28]采用基于概率决策的神经网络方法、Demers等[29]提出采用主元神经网络方法提取人脸图像特征，用自相关神经网络进一步压缩特征，最后采用一个MLP来实现人脸识别。Er等[30]采用PCA进行维数压缩，再用LDA抽取特征，然后基于RBF进行人脸识别。Haddadnia等[31]基于PZMI特征，并采用混合学习算法的RBF神经网络进行人脸识别。神经网络的优势是通过学习的过程获得对这些规律和规则的隐性表达，它的适应性较强。

6）弹性图匹配方法

Lades等提出采用动态链接结构(DLA，DynamicLinkArchitecture)[32]的方法识别人脸。它将人脸用格状的稀疏图如图3所示。

图3人脸识别的弹性匹配方法

图3中的节点用图像位置的Gabor小波分解得到的特征向量标记，图的边用连接节点的距离向量标记。Wiskott等人使用弹性图匹配方法，准确率达到97.3%。Wiskott等[33]将人脸特征上的一些点作为基准点，构成弹性图。采用每个基准点存储一串具有代表性的特征矢量，减少了系统的存储量。Wurtz等[34]只使用人脸ICI部的特征，进一步消除了结构中的冗余信息和背景信息，并使用一个多层的分级结构。Grudin等[35]也采用分级结构的弹性图，通过去除了一些冗余节点，形成稀疏的人脸描述结构。另一种方法是，Nastar等[36]提出将人脸图像I(x，y)表示为可变形的3D网格表(x，y，I(x，y))，将人脸匹配问题转换为曲面匹配问题，利用有限分析的方法进行曲面变形，根据两幅图像之间变形匹配的程度识别人脸。

7）几种混合方法的有效性

(1)K-L投影和奇异值分解(SVD)相融合的分类判别方法。

K-L变换的核心过程是计算特征值和特征向量。而图像的奇异值具有良好的稳定性，当图像有小的扰动时，奇异值的变化不大。奇异值表示了图像的代数特征，在某种程度上，SVD特征同时拥有代数与几何两方面的不变性。利用K-L投影后的主分量特征向量与SVD特征向量对人脸进行识别，提高识别的准确性[37]。

(2)HMM和奇异值分解相融合的分类判别方法。

采用奇异值分解方法进行特征提取，一般是把一幅图像(长为H)看成一个N×M的矩阵，求取其奇异值作为人脸识别的特征。在这里我们采用采样窗对同一幅图片进行重叠采样(如图4)，对采样所得到的矩阵分别求其对应的前k个最大的奇异值，分别对每一组奇异值进行矢量标准化和矢量重新排序，把这些处理后的奇异值按采样顺序组成一组向量，这组向量是惟一的[38]。

图4采样窗采样

综合上述论文中的实验数据表明[39]，如表1：

表1人脸识别算法比较

8）基于三维模型的方法

该类方法一般先在图像上检测出与通用模型顶点对应的特征点，然后根据特征点调节通用模型，最后通过纹理映射得到特定人脸的3D模型。Tibbalds[40]基于结构光源和立体视觉理论，通过摄像机获取立体图像，根据图像特征点之间匹配构造人脸的三维表面，如图5所示。

图5三维人脸表面模型图6合成的不同姿态和光照条件下二维人脸表面模型

Zhao[41]提出了一个新的SSFS(SymetricShape-from-Shading)理论来处理像人脸这类对称对象的识别问题，基于SSFS理论和一个一般的三维人脸模型来解决光照变化问题，通过基于SFS的视图合成技术解决人脸姿态问题，针对不同姿态和光照条件合成的三维人脸模型如图6所示。

三维图像有三种建模方法：基于图像特征的方法[42、43]、基于几何[44]、基于模型可变参数的方法[45]。其中，基于模型可变参数的方法与基于图像特征的方法的最大区别在于：后者在人脸姿态每变化一次后，需要重新搜索特征点的坐标，而前者只需调整3D变形模型的参数。三维重建的系统框图，如图7所示。

图7三维建模的系统框图

三维人脸建模、待识别人脸的姿态估计和识别匹配算法的选取是实现三维人脸识别的关键技术。随着采用三维图像识别人脸技术的发展，利用直线的三维图像信息进行人脸识别已经成为人们研究的重心。

4总结与展望

人脸自动识别技术已取得了巨大的成就，随着科技的发展，在实际应用中仍然面临困难，不仅要达到准确、快速的检测并分割出人脸部分，而且要有效的变化补偿、特征描述、准确的分类的效果，还需要注重和提高以下几个方面：

(1)人脸的局部和整体信息的相互结合能有效地描述人脸的特征，基于混合模型的方法值得进一步深入研究，以便能准确描述复杂的人脸模式分布。

(2)多特征融合和多分类器融合的方法也是改善识别性能的一个手段。

(3)由于人脸为非刚体性，人脸之间的相似性以及各种变化因素的影响，准确的人脸识别仍较困难。为了满足自动人脸识别技术具有实时要求，在必要时需要研究人脸与指纹、虹膜、语音等识别技术的融合方法。

(4)3D形变模型可以处理多种变化因素，具有很好的发展前景。已有研究也表明，对各种变化因素采用模拟或补偿的方法具有较好的效果。三维人脸识别算法的选取还处于探索阶段，需要在原有传统识别算法的基础上改进和创新。

(5)表面纹理识别算法是一种最新的算法[52]，有待于我们继续学习和研究出更好的方法。

总之，人脸识别是极富挑战性的课题仅仅采用一种现有方法难以取得良好的识别效果，如何与其它技术相结合，如何提高识别率和识别速度、减少计算量、提高鲁棒性，如何采用嵌入式及硬件实现，如何实用化都是将来值得研究的。

参考文献

[1]O''''TooleAJ，AbdiH，DeffenbacherKA，etal.Alowdimensionalrepresentationoffacesinthehigherdimensionsofspace.[J].JournaloftheOpticalSocietyof2America，1993，10：405～411

[2]张翠萍，苏光大.人脸识别技术综述.中国图像图形学报，2000，5(11)：885-894

[3]A.Samal，P.A.Iyengar.Automaticrecognitionandanalysisofhumanfacesandfacialexpressions：asurvey[J].PatternRecognition，1992，25(1)：65-67

[4]TurkM，PentlandA.Eigenfacesforrecognition[J].JournalofCognitiveNeuroscience，1991，3(1)：71～86

[5]BartlettMS，MovellanJR，SejnowskiTJ.FaceRecognitionbyIndependentComponentAnalysis[J].IEEETrans.onNeuralNetwork，2002，13(6)：1450-1464

[6]ManjunathBS，ShekharCandChellappaR.Anewapproachtoimagefeaturedetectionwithapplication[J].Patt.Recog，1996，29(4)：627-640

[7]ChengY.LiuK，YangJ，etal.Humanfacerecognitionmethodbasedonthestatisticalmodelofsmallsamplesize.SPIEProc，Intell.RobotsandComputerVisionX：AlgorithmsandTechn.1991，1606：85-95

[8]NefianAVEmbeddedBayesianNetworksforFaceRecognition[A].Proceedings.IEEEInternationalConferenceonMultimediaandExpo[C]2002，2：133-136

[9]GuttaS，WechslerH.FaceRecognitionUsingHybridClassifiers[J].PatternRecognition，1997，30(4)：539-553

[10]HaddadniaJ，AhmadiM，FaezKAHybridLearningRBFNeuralNetworkforHumanFaceRecognitionwithPseudoZernikeMomentInvariant[A].Proceedingsofthe2002InternationalJointConferenceonNeuralNetworks[C].2002，1：11-16

[11]M.Lades，J.C.Vorbruggen，J.Buhmann，ect.Distortioninvariantobjectrecognitioninthedynamiclinkarchitecture.IEEETrans.onComputer，1993，42(3)：300-311

[12]NastarC，MoghaddamBA.FlexibleImages：MatchingandRecognitionUsingLearnedDeformations[J].ComputerVisionandImageUnderstanding，1997，65(2)：179-191

[13]羊牧.基于KL投影和奇异值分解相融合人脸识别方法的研究[D].四川大学.2004，5，1

[14]白冬辉.人脸识别技术的研究与应用[D].北方工业大学.2006，5

篇4

关键词：PCB；图像处理；视觉检测

中图分类号：TP277文献标识码：A文章编号：1009-3044(2012)07-1648-06

当今世界科技发展日新月异，电子产业的发展直接制约着国民经济的腾飞与否，而PCB电路板制作工艺的提高对促进电子产业的发展至关重要，能否有效精确地检测PCB电路板的缺陷一直都是电子行业的研究热点。国外的印刷电路板自动检测技术一直领先于国内，国内的很多厂家不得不采用昂贵的外国技术，虽然近年国内的印刷电路板自动检测技术发展迅速，但大都没有取得令人非常满意的结果。加入研究这一领域的热潮，赶超外国的先进技技水平，打断外国垄断技术，对于发展国民经济具有十分重要的意义。

1 PCB检测系统的硬件设计

1.1 PCB检测系统的硬件组成框图

虽然本文所做的工作主要是软件方面，但对于硬件系统的设计也是至关重要的，它对于建立有效的计算机视觉识别检测系统，起着决定性作用。因此，必须在综合考虑系统性价比和系统性能的基础上，设计出合理的硬件系统[9]。PCB检测系统的硬件组成框图如图1所示：图1 PCB检测系统硬件组成框图

1.2系统的硬件组成

系统的硬件组成[10]主要包括：计算机主机、CCD摄像机、图像采集卡、照明系统及相关的设备。

2 PCB电路板缺陷检测识别

PCB电路板在电子工业中的应用越来越广泛，如何降低电路板的故障率、提高电路板的质量直接影响到整个产业的发展。因此，对于PCB电路板缺陷的识别技术的发展至关重要。PCB电路板的缺陷很多[16]，主要有短路、断路、划痕、凸起、空洞、缺焊、过焊等等，由于实验室设备限制和个人水平所限，本文主要研究的内容是PCB电路板短路与断路的检测识别

近年来出现了很多图像检测算法,这些算法大致可分为三大类：有参考算法、无参考算法以及混合型算法。有参考算法分为两大类：图像对比法和模型对比法。无参考算法是一种不需要标准图像的检测算法，它是基于一定的设计规则来进行检测的。混合型方法是将有参考算法与无参考算法混合使用，从而发挥出各自的优点。比如，模板匹配法与数学形态学方法结合使用，或者连接表方法与数学形态学方法结合使用等。本文中短路与断路的检测识别采取了图像对比法，即将经过一定处理后的图像进行相减，从而分析相应的结果；而对焊点缺陷的识别主要采用模板匹配法与数学形态学方法结合使用。

2.1 PCB电路板缺陷检测识别的主要流程图

图2为子程序流程图；图3为主程序流程图。

2.2 PCB电路板短路与断路的检测识别

2.2.1边缘检测

在对图像进行基本的处理过后可以将图像与背景分割开来。边缘检测是图像处理和计算机视觉中的基本问题，边缘检测的目的是标识数字图像中亮度变化明显的点。图像属性中的显著变化通常反映了属性的重要事件和变化。

这些包括：深度上的不连续；表面方向不连续；物质属性变化；场景照明变化。边缘检测是图像处理和计算机视觉中，尤其是特征提取中的一个研究领域。

图像边缘检测大幅度地减少了数据量，并且剔除了可以认为不相关的信息，保留了图像重要的结构属性。有许多方法用于边缘检测，它们的绝大部分可以划分为两类[17]：基于查找一类和基于零穿越的一类。基于查找的方法通过寻找图像一阶导数中的最大和最小值来检测边界，通常是将边界定位在梯度最大的方向。基于零穿越的方法通过寻找图像二阶导数零穿越来寻找边界，通常是Laplacian过零点或者非线性差分表示的过零点。

1）Roberts算子

边缘，是指周围像素灰度有阶跃变化或屋顶等变化的那些像素的集合。图像的边缘对应着图像灰度的不连续性。显然图像的边缘很少是从一个灰度跳到另一个灰度这样的理想状况。真实图像的边缘通常都具有有限的宽度呈现出陡峭的斜坡状。边缘的锐利程度由图像灰度的梯度决定。梯度是一个向量，?f指出灰度变化的最快的方向和数量，如式2-1所示。

?f=(决定的。

因此最简单的边缘检测算子是用图像的垂直和水平差分来逼近梯度算子，式2-4所示。?f=(f(x,y)-f(x-1,y),f(x,y)-f(x,y-1))（式2-4）

因此当我们想寻找边缘的时候，最简单的方法是对每一个像素计算出（2，4）的向量,然后求出他的绝对值，然后进行阀值操作就可以了。利用这种思想就得到了Roberts算子，由式2-5所示。

R(i,j)=

（式2-5）

它是一个两个2×2模板作用的结果。

2）Sobel算子

该算法通过2个3*3的模板，对选定的二维图像中同样大小窗口进行卷积，通常是一个模板对一个边缘响应大，另一个模板对水平边缘响应大，两个卷积值对最大值作为该点对输出。对于图像上的任意点（i，j）进行卷积，可得其X方向上的差分由式2-6、式2-7所示。Δx=f(i-1,j+1)+2f(i,j+1)+f(i+1,j+1)-[f(i-1,j-1)+2f(i,j-1)+f(i+1,j-1)]（式2-6）Δy=f(i-1,j-1)+2f(i-1,j)+f(i-1,j+1)-[f(i+1,j+1)+2f(i+1,j)+f(i+1,j+1)]（式2-7）则输出图像公式如式2-8所示。

用sobel算子检测阶跃边缘得到的边缘宽度至少为两个宽度。3）Laplacian边缘检测算子

Laplacian算子定义由式2-9所示。

Δ2f(x,y)=

（式2-9）它的差分形式由式2-10所示。

Δ2f(x,y)={[f(x+1,y)-f(x,y)]-[f(x,y)-f(x-1,y)]}+{[f(x,y+1)-f(x,y)]-[f(x,y)-f(x,y-1)]}

=f(x+1,y)+f(x-1,y)+f(x,y-1)+f(x,y+1)+f(x,y+1)+4f(x+1,y)（式2-10）

Laplacian算子是一种各向同性算子，在只关心边缘的位置而不考虑其周围的灰度象素差值时时比较合适，Laplacian算子对孤立象素的响应要比对边缘或线的响应更要强烈，因此只适用于无噪声图像。

原图像与用三种边缘检测算子处理后的图像如下所示：图6 Sobel边缘检测图7 Laplacian边缘检测

从上面四幅图分析比较可得出结论：用Roberts边缘检测得出的图像较之其他方法更为清晰，噪点更少，图像更为连续，所以本文中采用Roberts算子来进行边缘检测。

2.2.2阈值分割

阈值分割法是一种基于区域的图像分割技术，其基本原理是：通过设定不同的特征阈值，把图像象素点分为若干类。常用的特征包括：直接来自原始图像的灰度或彩色特征；由原始灰度或彩色值变换得到的特征。设原始图像为f(x，y)，按照一定的准则f(x，y)中找到特征值T，将图像分割为两个部分，分割后的图像为：

若取：b0=0(黑)，b1=1(白)，即为我们通常所说的图像二值化。

在数字化的图像数据中，无用的背景数据和对象物的数据经常放在一起，同时，图像中还含有各种噪声，因此可以根据图像的统计性质，从概率的角度来选择合适的阈值。

1）最大方差阈值法

把待处理图像的直方图在某一阈值处分割为两组，当被分割成的两组间的方差最大时，便可以决定阈值了。

设灰度图像f（x，y）的灰度级为0-L，灰度级I的像素为Ni，则图中：

总象素数N=∑j=0 i=LNi（式2-11）灰度级i出现的概率Pi= 1-ω(K)（式2-16）则两组间的数学期望为ω0μ0ω1μ1=μ（式2-17）两组间的方差为ρ2(k)

ρ2(k)是K的函数，计算k取从0,1,2…L时ρ2(k)的值，当多的值为最大时，K即为阈值。

2）双峰法

根据图像的直方图具有背景和对象物的两个峰，分割两个区域的阈值由两个峰值之间的谷所对应的灰度值决定。设灰度图像f（x，y）的灰度级为0-L，灰度i的像素为Pi，分别计算

因为实际PCB电路板有着许多的划痕、污点等，使用最大方差阈值法时，会在处理后的图像上产生许多误点，而影响实际结果的分析，而双峰法能够顺利地滤除这些干扰，这个结论在分析对比以上图像时也可得出。所以本文选用了双峰法来进行阈值分割。

2.2.3粒子分析与图像对比

经过边缘检测和阈值分割的图像中会存在许多瑕点，这些点会影响到最后的图像识别与分析，有可能会增加多余的残留图像。本文中利用NI VISION ASSISTANT中的REMOVE SMALL OBJECTS功能进行去除，如图11和图12所示。图11原图像图12粒子分析

将标准PCB图片减去缺陷缺陷PCB图片，便可以得到缺陷板的断路部分的图像，再利用NI ASSISTANT中的PARTICLE ANALYSIS可以得到断路部分的具体分析，如图13示。

将缺陷PCB图片减去标准PCB图片，便可以得到缺陷板的短路部分的图像，与上述相同的方法，便可以得到短路部分的具体分析，如图14所示。

3结束语

利用LABVIEW来进行PCB电路板缺陷的识别与检测是一项非常好的课题，它在近些年已经得到了一定的发展，并将得到更大的进步。限于本人能力和时间，本文的研究还未涉及很深的领域，可以在以下方面加以改进：

1）本文中只利用到NI公司的LABVIEW和IMAQ VISION，更好的设计可以再利用其他语言如VISUAL BASIC,C++等编程语言加以辅助设计，相信可以取得更加令人满意的结果。

2）由于实验设备等其他因素，本文中只重点研究了PCB电路板短路与断路的检测识别，PCB电路板的其他缺陷还有待于进一步的分析研究、分类和总结，并设计出更好的检测方法，以真正满足PCB电路板检测的需求。

3）照明设备的限制在很大程度上影响到了图像的检测效果，为取得PCB缺陷检测的进一步进展，在照明设备的选择上必须重视，并且设计出更好的图像采集系统。

4）在识别与检测手段上，可以引入更新更好的方法，而不要局限于在传统的方法中分析比较，例如基于BP神经网络的识别检测，图像的模糊决策等将有待于进一步研究。

总之，基于LABVIEW的机器视觉检测系统已经取得了不错的进展，高速发展的PCB制造技术和计算机技术对于PCB缺陷的检测提出了更高的要求，同时也大大地促进了PCB缺陷检测技术的发展。利用机器视觉检测在未来的较长的一段时间内将占据检测行业的半壁江山，相信在未来会取得更大的发展。

参考文献：

[1]程学庆,房晓溪.LabVIEW图形化编程与实例应用[M].北京:中国铁道出版社,2005.

[2]胡仲波.基于虚拟仪器技术的PCB视觉检测系统[D].南京:南京理工大学硕士学位论文,2006.

[3]段峰,王耀南.机器视觉技术及其应用综述[J].自动化博览,2002,19(3).

[4]周长发.精通Visual C++图像处理编程[M].北京:电子工业出版社,2004.

[5]陈锡辉,张银鸿.LabVIEW 8.20程序设计从入门到精通[M].北京:清华大学出版社,2007.

[6]郑伟.图像法检测印刷电路板缺陷[M].西安:西安理工大学,2002.

[7] National Instruments,IMAQ User Manual Concepts[Z].1999.

[8]李强.PCB板缺陷自动检测技术的分析研究[D].合肥:合肥工业大学,2002.

[9]傅茂名.基于形态边缘检测算法的一种改进[J].电子科技大学学报,2005(2).

[10]王思华.计算机视觉新技术及其在IC标记质量检验系统设计中的应用[J].电子技术应用,2000(9).

[11]岳永哲.图像处理技术在阅卷系统中的应用[D].北京:北京工业大学,2006.

[12] Bruce sehneier.Applied Cryptography protocols,Algorithms,and SourceCode[M].C Jolm Wiley & Sons,Inc,1994.

[13] William work Security Essentials:Applications and Standard[M].Prentice Hall/Pearson,2002.

[14]高育鹏,杨俊,何广军.基于图像识别的自动阅卷系统研究[J].现代电子期刊,2006(22).

[15]杨青燕,彭延军.基于灰度图像的答题卡识别技术[J].山东科技大学学报:自然科学版,2009(3).

[16]周海涛,韩晓军.基于数字图像处理的答题卡识别方法研究[J].电脑知识与技术,2008(28).

[17]周万珍,郑广,王建霞,等.数字图像处理技术在客观题阅卷中的应用[J].数学的实践与认识,2006(8).

[18]王胜春.基于SVM的信息卡识别系统[D].长沙:湖南师范大学,2008.

[19]吴志明.SMT系统中焊点位置的检测[D].哈尔滨:哈尔滨工业大学,2006.

[20]杨敏,王春青,邹增大,等.表面组装印刷电路板上焊点信息的自动获取[J].焊接学报,2005,39(6).