数据挖掘技术十篇

数据挖掘技术篇1

关键词 数据挖掘；方法；应用

中图分类号TP3 文献标识码A 文章编号 1674—6708（2012）76—0209—02

近几年来，随着数据库技术的不断发展，数据挖掘引起了信息产业界和整个社会的极大关注。因为人们所拥有的数据量在不断的增长，这就对数据的管理和分析提出了更高的要求，急需新的技术从大量的信息中提取或“挖掘”知识，于是数据挖掘（Data Mining）技术被受人们关注和使用。

1 数据挖掘技术定义

数据挖掘技术是指从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。在大多数情况下，人们只知道储存数据，数据越来越多，可是不知道数据中存有很多重要的信息，数据挖掘就可以从这大量的数据中搜索出重要的信息。

2 数据挖掘常用的方法

1）决策树。决策树方法是把数据分类，构成测试函数，建立树每一层分支，重复下去就构成了决策树。在构造决策树时，树尽可能精度高，规模小。商业银行在对风险决策时经常用此方法；

2）人工神经网络。神经网络方法引用生物神经网络的方法，就好像人的神经网络，它连接输入、输出信号的枢纽。它在很大程度上模拟人脑的神经系统处理信息。人工神经网络具有四个基本特征：非线性、非局限性、非常定性、非凸性。用人工神经网络方法建立的模型具有很强的非线性拟合能力，学习规则简单，控制能力强等优点；

3）遗传算法（Genetic Algorithm，GA）。遗传算法是模仿达尔文生物进化的自然选择和遗传机制的一种寻优算法。群体中的所有个体为研究对象，利用随机化技术搜索编码，然后分别利用选择、交叉和变异这三个基本遗传算子对其进行遗传操作就能寻找到问题的最优解或者是最满意解。遗传算法的优点是过程简单，具有随机性，可扩展性。实用。在很多领域得到了很大的应用。缺点是编程比较复杂，需要对问题进行编码，找到满意解后还要对问题解码。算法速度比较慢，对初始种群的选择有依赖性等缺点；

4）聚类算法。聚类算法可以说是多元统计研究“物以类聚，人以群分”的一种方法，主要任务是发现大型数据中的积聚现象。聚类分析是把相似特征的样本归为一类，类内差异差距较小，类间距差距较大。聚类算法在好多领域有应用。在商务上，根据客户不同的消费模式进行分类，对客户进行划分，帮助商家获得更多利益。在生物学中，对动植物进行分类，了解各自的基因特征。聚类的算法也比较多，例如：基于模糊的聚类方法、基于粒度的聚类方法、量子聚类、核聚类、谱聚类，这些是新发展的聚类算法。还有常用的聚类算法—BIRCH算法、K—MEANS算法、均值计算方法等。

3 数据挖掘的应用

数据挖掘技术在好多领域有应用。例如：金融业、通讯、教育、政府管理部门等等行业。1）金融业。例如：金融事务需要搜集和处理大量复杂的数据，许多银行和金融机构提供多种多样的投资服务（如共同基金）、信用服务（如个人信用卡）和银行服务（如个人存款）。由于交易的频繁性、信息的不对称性和复杂性，必须从海量数据中挖掘信息，金融数据挖掘技术可以帮助银行系统查询客户以往的需求情况并预测未来；可以分析潜在的信誉较差的客户，及时采取措施减少资产损失；2）通讯业。例如：现今通信业务可以说是五花八门，多种多样，适合不同需求的人群。要想退出新业务，创效益。就必须先确定可能要试用此项业务的客户特征。确定完成后先让小范围的客户试用此项业务，当他们试用一段时间后，对客户的反馈信息进行分析，修改更新，反复这样下去，直至此项业务成熟后，推广进入市场。那如何从大量的客户消费数据中得到这些客户特征，这就需要数据挖掘技术对客户进行详细的深层次的分析，得到有效的，准确的数据；3）教育部门。例如：高校的招生可以说是任何一个高校的大事，招生好坏直接影响学校的生存。专业计划的是否合理，就直接影响招生。我们需要对大量的招生录取信息和就业信息进行分析，数据挖掘技术就可以从这些信息中提取重要的信息预测未来的专业计划如何投放，每个专业投放多少比较合理，不至于计划浪费；4）政府管理部门。随着社会的不断进步，政府部门内部以及部门之间拥有了大量的政务信息，要想掌握有效，准确的政务信息，我们可以利用数据挖掘中的决策树方法，从大量的政务信息中提取准确有效的信息，大大提高整个电子政务的智能化水平。可以通过对网络各种经济资源的深度挖掘，确定未来的经济形势，从而可以指定出合理的宏观调控政策。为社会经济提供有力的可靠的拐杖。

4 数据挖掘未来的展望

数据挖掘的应用越来越广泛，人们对数据挖掘技术的需求水平也就越来越高。它可以预测未来的发展趋势，所以今后研究焦点可能会集中到处理非数字数据；寻求数据挖掘过程中的可视化方法，便于在知识发现过程中的人机交互，使计算机真正实现智能化。这可能需要一段时间，需要计算机工作者的不断的研究探索，可能需要很大的努力。但我相信，不久的将来我们会看到数据挖掘据技术很大的进展。

参考文献

[1][加]Jiawei Han Micheline Kamber著.范明，孟小峰译.数据挖掘概念与技术[M].机械工业出版社.

[2]陈晓燕.遗传算法在数据挖掘中的应用[J].琼州学院学报，18（2）.

[3]周明华.近代算法在工程领域中的应用研究[D].浙江大学博士学位论文，2005，1.

[4]曾令明，金虎.基于遗传算法的双向关联规则挖掘[J].微电子学与计算机，2006（23）：35—37.

[5]周涛，陆惠玲.数据挖掘中聚类算法研究进展[J].计算机工程与应用， 2012，48（12）.

[6]郑红英.数据挖掘聚类算法的分析和应用研究[J].重庆大学硕士学位论文，2002，4.

数据挖掘技术篇2

[关键词] 数据挖掘Web挖掘路径分析电子商务

一、引言

近年来，数据挖掘引起了信息产业界的极大关注，其主要原因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。数据挖掘是面向发现的数据分析技术，通过对大型的数据集进行探查。可以发现有用的知识，从而为决策支持提供有力的依据。

Web目前已成为信息、交互和获取的主要工具,它是一个巨大的、分布广泛的、全球性的信息服务中心。它涉及新闻、广告、消费信息、金融管理、教育、政府、电子商务和其他许多信息服务。面向Web的数据挖掘就是利用数据挖掘技术从Web文档及Web服务中自动发现并提取人们感兴趣的、潜在的有用模型或隐藏的信息。

二、概述

1.数据挖掘的基本概念

数据挖掘是从存放在数据库、数据仓库、电子表格或其他信息库中的大量数据中挖掘有趣知识的过程。数据挖掘基于的数据库类型主要有: 关系型数据库、面向对象数据库、事务数据库、演绎数据库、时态数据库、多媒体数据库、主动数据库、空间数据库、遗留数据库、异质数据库、文本型、Internet 信息库以及新兴的数据仓库等。

2.Web数据挖掘

Web上有少量的数据信息，相对传统的数据库的数据结构性很强，即其中的数据为完全结构化的数据。Web上的数据最大特点就是半结构化。所谓半结构化是相对于完全结构化的传统数据库的数据而言。由于Web的开放性、动态性与异构性等固有特点，要从这些分散的、异构的、没有统一管理的海量数据中快速、准确地获取信息也成为Web挖掘所要解决的一个难点，也使得用于Web的挖掘技术不能照搬用于数据库的挖掘技术。因此，开发新的Web挖掘技术以及对Web文档进行预处理以得到关于文档的特征表示，便成为Web挖掘的重点。

三、Web数据挖掘分类

Web 数据有三种类型, 它们分别是: HTML 标记的Web 文档数据、Web 文档内的廉洁的结构数据和用户访问数据, 相应地,Web 数据挖掘可分为三类: 内容挖掘(Web content mining) 、结构挖掘(Web structure mining) 和用户访问模式挖掘(Web usage mining)。如下图所示。

1.Web内容挖掘

Web内容挖掘是从文档内容或其描述中抽取有用信息的过程，Web内容挖掘按实现方法分为两大类：信息检索（IR）方法和数据库方法。且有两种策略：直接挖掘文档的内容和在其他工具搜索的基础上进行改进。

IR方法主要处理非结构数据和Web中由HTML标记的半结构化数据。前者一般采用词集方法，用一组组词条来表示无结构的文本。后者主要利用传统的数据挖掘技术：如关联规则、分类算法、演绎逻辑和规则学习等。

2.Web结构挖掘

Web结构挖掘是从Web组织结构和链接关系中推导知识。挖掘页面的结构和Web结构，可以用来指导对页面进行分类和聚类，找到权威页面、中心页面，从而提高检索的性能。同时还可以用来指导页面采集工作，提高采集效率。Web结构挖掘可以分为Web文档内部结构挖掘和文档问的超链接结构挖掘。

Web结构挖掘的基本思想是将Web 看作一个有向图,他的顶点是Web页面,页面间的超链就是图的边。然后利用图论对Web 的拓扑结构进行分析。常见的算法有HITS (Hypertext Induced Topic Search), PageRank,发现虚拟社区的算法、发现相似页面的算法、发现地理位置的算法和页面分类算法。Web 结构挖掘的算法一般可分为查询相关算法和查询无关算法两类。查询相关算法需要为每一个查询进行一次超链分析从而进行一次值的指派;而查询独立算法则为每个文档仅进行一次值的指派,对所有的查询都使用此值。HITS和PageRank分别是查询相关算法和查询独立算法的代表。

3.Web访问挖掘

Web访问挖掘是从服务器端记录的用户访问日志或从用户的浏览信息中抽取感兴趣的模式，通过分析这些数据可以帮助理解用户隐藏在数据中的行为模式，做出预测性分析，从而改进站点的结构或为用户提供个性化的服务。

Web访问挖掘一般分为两种：一般访问模式跟踪和定制使用跟踪。一般访问模式跟踪通过分析Web日志来理解用户的访问模式和倾向；定制使用跟踪分析单个用户的偏好，根据其访问模式为每个用户定制符合其个人特色的Web站点。Web的log数据包括：senrer log，proxy serverlog，client端的cookie log等。Web使用记录挖掘通常需要经过三个阶段:数据预处理阶段(主要包括数据清洗和事物识别两个部分):模式识别阶段(采用统计法、机器学习等成熟技术．从Web使用记录中挖掘知识)：模式分析阶段(采用合适的成熟的技术和工具进行模式的分析，从而辅助分析人员理解．使采用各种工具挖掘出的模式得到很好利用)。对Web使用记录挖掘采用的算法有：路径分析、关联规则和有字模式的发现、聚类分类等，为了提高精度，使用记录挖掘也用到站点结构和页面内容等信息。

四、Web数据挖掘中的关键技术

Web数据挖掘中常用的技术有Web使用的特有的路径分析技术，数据挖掘领域常用的关联规则、序列模式、分类聚类技术等。

1.路径分析技术

用路径分析技术进行Web数据挖掘时，最常用的是图，因为Web可以用一个有向图来表示，G=(V，E)，V是页面的集合，E是页面之间的超连接集合，页面定义为图中的顶点，而页面之间的超连接定义为图中的有向边。顶点v的入边表示对v的引用，出边表示v引用了其他的页面，这样形成网站结构图，从图中确定最频繁的访问路径。

2.关联规则挖掘技术

关联规则挖掘技术主要用于从用户访问序列数据库的序列项中挖掘出相关的规则，就是要挖掘出用户在一个访问期间(SESSION)，从服务器上访问的页面／文件之间的联系，这些页面之间可能并不存在直接的参引(RIFERENCE)关系．最常用的是用APRIOR算法，从事务数据库中挖掘出最大频繁访问项集，这个项集就是关联规则挖掘出来的用户访问模式。

3.序列模式挖掘技术

序列模式数据挖掘就是要挖掘出交易集之间的有时间序列关系的模式．它与关联挖掘技术都是从用户访问下的日志中寻找用户普遍访问的规律，关联挖掘技术更注重事务内的关系，序列模式技术则注重事务间的关系。

4.聚类分类技术

分类规则可以挖掘出某些共同的特性，这个特性可以用来对新添到数据库里的数据项进行分类。在Web数据挖掘中，分类技术可以根据访问这些用户而得到的个人信息或共同的访问模式得出访问某一服务器文件的用。特征。聚类技术则是对符合某一访问规律特征的用户进行用户特征挖掘。最后进行模式分析，挖掘出人们可理解的知识的模式解释。

五、Web数据挖掘的应用

随着中国经济的高速发展，数据挖掘将在中国形成一个产业，目前Web数据挖掘已广泛地应用于金融业、远程通讯业、政府管理、制造业、医疗服务以及体育事业中,基于Web的数据挖掘技术已经成为一个热点,下面主要介绍Web数据挖掘的三个应用前景。

1.在电子商务中的应用

在电子商务中，运用Web挖掘技术从服务器和浏览器端日志记录中自动发现隐藏在数据中的模式信息，对此进行分析加工，通过对客户进行分类和聚类，从中可得到商家用于向特定消费群体或个体进行定向营销的决策信息。了解系统的访问模式以及用户的行为模式，从而做出预测性分析。同时有效地对这些Web日志进行定量分析，提示其中的关联关系、时序关系、页面类属关系、客户类属关系和频繁访问路径、频繁访问页面等，从而为企业更有效地确认目标市场、改进决策获得更大的竞争优势提供帮助。

2.在搜索引擎中的应用

利用Web数据挖掘技术，通过对网页内容的挖掘，可实现对网页的聚类和分类，实现网络信息的分类浏览与检索；运用网络内容挖掘技术改进关键词加权算法，提高网络信息的标引准确度，从而改善检索效果；通过对用户所使用的提问式的历史记录的分析，可以有效地进行提问扩展，提高用户的检索效率。

3.在网站设计中的应用

在网站建设中，使用Web挖掘通过对网站内容的挖掘，可有效地组织网站信息，例如采用自动归类技术实现网站信息的层次性组织;分析用户的Web访问行为，可为用户提供智能化、个性化服务。比如,可根据客户的访问兴趣、访问频度、访问时间，动态地调整页面结构,迎合每个客户的浏览兴趣,使客户在浏览时感觉自己是网站的惟一客户;另外，网站还可以根据实际用户的浏览情况，挖掘用户的兴趣点，定期为用户推送相关信息，以及调整网站中网页的链接结构和内容，为用户提供个人的定制服务。

数据挖掘技术篇3

关键词数据挖掘；Web数据挖掘；相关技术

引言

随着Internet 的进一步发展和完善,各种基于Internet的应用业务也如雨后春笋般的发展起来,例如网上商店、网上银行、远程教育、远程医疗等。我们应该看到Internet在给我们带来机遇的同时也带来了挑战,它使得WWW 上的一些主要工作, 例如Web 站点设计、Web 服务设计、Web 站点的导航设计、电子商务等工作变得更为复杂更为繁重。对于网站经营方来说,他们需要更好的自动辅助设计工具, 可以根据用户的访问兴趣、访问频度、访问时间动态的调整页面结构,改进服务, 开展有针对性的电子商务以更好的满足访问者的需求。解决这种需求的一个有利的工具就是Web 数据挖掘。

1. Web 数据挖掘概述

Web挖掘是一项综合技术,涉及Web、数据挖掘、计算机语言学、信息学等多个领域。Web挖掘就是从Web 文档、Web活动中抽取感兴趣的、潜在的有用模式和隐藏信息。Web 挖掘是指从大量Web文档结构和使用的集合C中发现隐含的模式p。如果将C看作输入,p看作输出,那么Web挖掘的过程就是从输入到输出的一个映射ξ:Cp

Web挖掘从数据挖掘发展而来,因此其定义与我们熟知的数据挖掘定义相类似,都是在对大量的数据进行分析的基础上,作出归纳性的推理,预测客户的行为,帮助企业的决策者调整市场策略,减少风险,作出正确的决策的过程。但是对Web 进行有效的资源和知识挖掘面临极大的挑战:(1)对有效的数据仓库和数据挖掘而言,Web 似乎太庞大了。(2)Web页面的复杂性高于任何传统的文本文件。(3) Web是一个动态性极强的信息源。(4) Web上的信息只有很小的一部分是相关的或有用的。这些挑战推动了如何有效地发现和利用Internet 的资源的研究工作。

1.1 与传统的数据挖掘相比较

1.1.1 数据源具有很强的动态性。

1.1.2 挖掘目的的模糊性。

1.1.3 数据类型的多态性。

1.1.4 数据信息的分布性、多维性。

1.2 Web 数据的特点

1.2.1 数据量巨大

Internet把分布于世界不同位置的电脑(服务器)连接了起来,每个电脑上都存有丰富的数据,这些数据涉及各种不同的行业和领域,又由于连接于Internet 的电脑数量非常巨大。

1.2.2 异构数据库环境

每一个Web站点都可以看作是一个数据源,由于各站点是相互独立的, 之间除了可以互相访问之外并没有任何关系,所以每个站点之间的信息及信息组织方式都是不相同的,这就构成了一个巨大的异构数据库环境。

1.2.3半结构化的数据结构

Web上的数据与传统数据库中的数据不同之处还在于传统数据库都有一定的模型,可以根据数据模型来对具体的数据进行描述,而Web 站点中的数据不存在统一的模型,各站点都是独自设计,并且站点中的数据是处于不停变化之中的。

2.Web数据挖掘相关技术

Web 挖掘应用非常广泛,对Web挖掘相关技术的研究也很多,针对上述不同类别的Web 挖掘,有不同的相关技术,下面分别介绍。一般地,Web挖掘可以分为三类:Web 内容挖掘(Web content mining)、Web 结构挖掘(Web structure mining)、和Web 使用模式的挖掘(Web usage mining) 。

2.1技术分类

2.1.1Web内容挖掘

Web内容挖掘是从文档内容或其描述中抽取知识的过程。主要有两种策略:直接挖掘文档的内容,或在其它工具搜索的基础上进行改进。采用第一种策略的有针对Web 的查询语言WebLOG,利用启发式规则来寻找个人主页信息的AHOY等。采用第二种策略的方法主要是对搜索引擎的查询结果进行进一步的处理,得到更为精确和有用的信息。属于该类的有WebSQL,及对搜索引擎的返回结果进行聚类的技术等。

2.1.2 Web 结构挖掘

Web 结构挖掘是从WWW的组织结构和链接关系中推导知识。由于文档之间的互连WWW能够提供除文档内容之外的有用信息。利用这些信息,可以对页面进行排序发现重要页面。这方面的代表有PageRank〗和CL EVER,此外,在多层次Web数据仓库(MLDB)中也利用了页面的链接结构。

2.1.3 Web 使用挖掘

Web使用挖掘的主要目标是从Web 的访问记录中抽取感兴趣的模式。WWW 中每个服务器保留了访问日志,记录关于用户访问和交互的信息。分析这些数据可以帮助理解用户的行为从而改进站点的结构,或为用户提供个性化的服务。

2.2 Web 数据挖掘研究领域及发展

2.2.1 Web 数据挖掘的研究领域类型根据对Web 数据的感兴趣程度不同,Web 挖掘一般可以分为三类: 网络内容挖掘(Web Content mining) 、网络结构挖掘(Web structure mining) 、网络用法挖掘(Web usage Mining)

2.2.2 网络内容挖掘网络信息内容是由文本、图像、音频、视频、元数据等形式的数据组成的。网络内容挖掘就是一个从网络信息内容中发现有用信息的过程。由于网络信息内容有很多是多媒体数据, 因此网络内容挖掘也将是一种多媒体数据挖掘形式。

2.2.3 网络结构挖掘网络结构挖掘就是挖掘Web潜在的链接结构模式。通过分析一个网页链接和被链接数量以及对象来建立Web自身的链接结构模式。这种模式可以用于网页归类,并且由此可以获得有关不同网页间相似度及关联度的信息。网络结构挖掘有助于用户找到相关主题的权威站点。

2.2.4网络用法挖掘网络内容挖掘和网络结构挖掘的挖掘对象是网上的原始数据,而网络用法挖掘面对的则是在用户和网络交互的过程中抽取出来的第二手数据,包括网络服务器访问记录、服务器日志记录、浏览器日志记录、用户简介、注册信息、用户对话或交易信息、用户提问方式等。通过网络用法挖掘,可以了解用户的网络行为数据所具有的意义。

2.3 Web数据挖掘的四个步骤

2.3.1查找资源:任务是从目标Web 文档中得到数据。

2.3.2信息选择和预处理:任务是从取得的Web资源中剔除无用信息和将信息进行必要的整理。2.3.3模式发现:自动进行模式发现。可以在同一个站点内部或在多个站点之间进行。

2.3.4模式分析: 验证、解释上一步骤产生的模式。

3. Web数据挖掘的应用

3.1 Web挖掘在搜索引擎方面的应用

通过对网页内容的挖掘,可以实现对网页的聚类和分类,实现网络信息的分类浏览与检索。运用Web挖掘技术改进关键词加权算法,提高网络信息的标引准确度, 改善检索效果。参与搜索服务市场的有多家实力企业,如Google、雅虎(Yahoo!) 及微软(Microsoft) 等巨头企业, 以及若干规模较小但有特定市场区隔或技术者如dTSearch、Copernic 等Google 提供更多的技术,会自动找寻常用的字词,尽量缩短搜索时间,提高效率。

3.2Web挖掘在电子商务方面的应用

Web挖掘这方面的应用可以为企业更有效的确认目标市场、改进决策获得更大的竞争优势提供帮助,从中可得到商家用于特定消费群体或个体进行定向营销的决策信息。电子商务方面的Web挖掘功能主要是如下几个方面:首先,客户分类和客户聚类。对Web 的客户访问信息进行挖掘,对客户进行分类分析。应用聚类分析对客户进行分组, 并且分析组中客户的共同特征, 这样就可以让商家更好了解自己的客户, 向客户提供更有针对性的服务。其次是找到潜在的客户。在对Web 的客户访问信息的挖掘中, 利用分类技术可在因特网上找到未来的潜在客户。最后保留客户的驻留时间, 对于客户而言,在网上每个销售商对于客户来说都是一样的, 如何尽量使客户在自己的网上驻留更长的时间, 这样对于商家才能有更多客户和更大的利润空间。

3.3 Web 数据挖掘在网络教育中的应用

教育网络化的趋势不仅为学生提供了便利的学习方式和广泛的选择,也为学校提供了更加深入了解学生需求信息和学生行为特征的可能性。由于受教育对象个体之间存在着极大的差异性,网络教学也必须是一种适应个别化学习需求的个性化教学。这种个性化教学的提供,是通过将传统的数据挖掘(Data Mining) 同Web 结合起来,进行Web 数据挖掘,即从Web 文档和Web 活动中抽取学生感兴趣的潜在的有用模式和隐藏的信息,作为对学生提供个性化教学服务的依据,协助管理者优化站点结构,提高站点效率,更好地为网络教育服务。

3.4在网站设计中的应用

在网站设计方面中的应用，主要是通过对网站内容的挖掘，特别是对文本内容的挖掘，可以有效地组织网站信息，如采用自动归类技术实现网站信息的层次性组织；通过对用户访问日志记录信息的挖掘，把握用户感兴趣的信息，从而有助于开展网站信息推送服务以及个人信息的定制服务，吸引更多的用户。

4. 结束语

社会的发展越来越离不开信息的传播与使用,在数据量急剧增长的情况下如何高效地检索出使用者需要的信息更加显得重要,Web 数据挖掘正是因为满足了这方面的需要才能获得如此迅速的发展, Web 挖掘技术也将成为重要的研究课题和方向。

参考文献

[1] 曼丽春, 朱宏, 杨全胜. Web 数据挖掘研究与探讨[J].现在电子技术2005 (8) :3～6

[2] 夏火松. 数据仓库与数据挖掘技术[M]. 科学出版社,2004.207- 227.

[3] Jiawei Han,Micheline Kamber.DataMining:Concept and Techniques[M].Morgan Kaufmann Publishers,Inc 2001.272- 312.

[4] 陈文伟.黄金才.赵新昱.数据仓库与数据挖掘技术[M].北京:北京大学出版社,2002.1- 14.

数据挖掘技术篇4

[关键词] 数据挖掘 数据挖掘方法

随着信息技术迅速发展，数据库的规模不断扩大，产生了大量的数据。但大量的数据往往无法辨别隐藏在其中的能对决策提供支持的信息，而传统的查询、报表工具无法满足挖掘这些信息的需求。因此，需要一种新的数据分析技术处理大量数据，并从中抽取有价值的潜在知识，数据挖掘（Data Mining）技术由此应运而生。

一、数据挖掘的定义

数据挖掘是指从数据集合中自动抽取隐藏在数据中的那些有用信息的非平凡过程，这些信息的表现形式为：规则、概念、规律及模式等。它可帮助决策者分析历史数据及当前数据，并从中发现隐藏的关系和模式，进而预测未来可能发生的行为。数据挖掘的过程也叫知识发现的过程。

二、数据挖掘的方法

1.统计方法。传统的统计学为数据挖掘提供了许多判别和回归分析方法，常用的有贝叶斯推理、回归分析、方差分析等技术。贝叶斯推理是在知道新的信息后修正数据集概率分布的基本工具，处理数据挖掘中的分类问题，回归分析用来找到一个输入变量和输出变量关系的最佳模型，在回归分析中有用来描述一个变量的变化趋势和别的变量值的关系的线性回归，还有用来为某些事件发生的概率建模为预测变量集的对数回归、统计方法中的方差分析一般用于分析估计回归直线的性能和自变量对最终回归的影响，是许多挖掘应用中有力的工具之一。

2.关联规则。关联规则是一种简单，实用的分析规则，它描述了一个事物中某些属性同时出现的规律和模式，是数据挖掘中最成熟的主要技术之一。关联规则在数据挖掘领域应用很广泛适合于在大型数据集中发现数据之间的有意义关系，原因之一是它不受只选择一个因变量的限制。大多数关联规则挖掘算法能够无遗漏发现隐藏在所挖掘数据中的所有关联关系，但是，并不是所有通过关联得到的属性之间的关系都有实际应用价值，要对这些规则要进行有效的评价，筛选有意义的关联规则。

3.聚类分析。聚类分析是根据所选样本间关联的标准将其划分成几个组，同组内的样本具有较高的相似度，不同组的则相异，常用的技术有分裂算法，凝聚算法，划分聚类和增量聚类。聚类方法适合于探讨样本间的内部关系，从而对样本结构做出合理的评价，此外，聚类分析还用于对孤立点的检测。并非由聚类分析算法得到的类对决策都有效，在运用某一个算法之前，一般要先对数据的聚类趋势进行检验。

4.决策树方法。决策树学习是一种通过逼近离散值目标函数的方法，通过把实例从根结点排列到某个叶子结点来分类实例，叶子结点即为实例所属的分类。树上的每个结点说明了对实例的某个属性的测试，该结点的每一个后继分支对应于该属性的一个可能值，分类实例的方法是从这棵树的根结点开始，测试这个结点指定的属性，然后按照给定实例的该属性值对应的树枝向下移动。决策树方法是要应用于数据挖掘的分类方面。

5.神经网络。神经网络建立在自学习的数学模型基础之上，能够对大量复杂的数据进行分析，并可以完成对人脑或其他计算机来说极为复杂的模式抽取及趋势分析，神经网络既可以表现为有指导的学习也可以是无指导聚类，无论哪种，输入到神经网络中的值都是数值型的。人工神经元网络模拟人脑神经元结构，建立三大类多种神经元网络，具有非线形映射特性、信息的分布存储、并行处理和全局集体的作用、高度的自学习、自组织和自适应能力的种种优点。

6.遗传算法。遗传算法是一种受生物进化启发的学习方法，通过变异和重组当前己知的最好假设来生成后续的假设。每一步，通过使用目前适应性最高的假设的后代替代群体的某个部分，来更新当前群体的一组假设，来实现各个个体的适应性的提高。遗传算法由三个基本过程组成:繁殖(选择)是从一个旧种群(父代)选出生命力强的个体，产生新种群(后代)的过程；交叉〔重组)选择两个不同个体〔染色体)的部分(基因)进行交换，形成新个体的过程；变异(突变)是对某些个体的某些基因进行变异的过程。在数据挖掘中，可以被用作评估其他算法的适合度。

7.粗糙集。粗糙集能够在缺少关于数据先验知识的情况下，只以考察数据的分类能力为基础，解决模糊或不确定数据的分析和处理问题。粗糙集用于从数据库中发现分类规则的基本思想是将数据库中的属性分为条件属性和结论属性，对数据库中的元组根据各个属性不同的属性值分成相应的子集，然后对条件属性划分的子集与结论属性划分的子集之间上下近似关系生成判定规则。所有相似对象的集合称为初等集合，形成知识的基本成分。任何初等集合的并集称为精确集，否则，一个集合就是粗糙的(不精确的)。每个粗糙集都具有边界元素，也就是那些既不能确定为集合元素，也不能确定为集合补集元素的元素。粗糙集理论可以应用于数据挖掘中的分类、发现不准确数据或噪声数据内在的结构联系。

8.支持向量机。支持向量机(SVM)是在统计学习理论的基础上发展出来的一种新的机器学习方法。它基于结构风险最小化原则上的，尽量提高学习机的泛化能力，具有良好的推广性能和较好的分类精确性，能有效的解决过学习问题，现已成为训练多层感知器、RBF神经网络和多项式神经元网络的替代性方法。另外，支持向量机算法是一个凸优化问题，局部最优解一定是全局最优解，这些特点都是包括神经元网络在内的其他算法所不能及的。支持向量机可以应用于数据挖掘的分类、回归、对未知事物的探索等方面。

事实上，任何一种挖掘工具往往是根据具体问题来选择合适挖掘方法，很难说哪种方法好，那种方法劣，而是视具体问题而定。

三、结束语

目前，数据挖掘技术虽然得到了一定程度的应用，并取得了显著成效，但仍存在着许多尚未解决的问题。随着人们对数据挖掘技术的深人研究，数据挖掘技术必将在更加广泛的领域得到应用，并取得更加显著的效果。

数据挖掘技术篇5

数据挖掘（DataMining，DM），是随着数据库和人工智能发展起来的新兴的信息处理技术。数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程，其主要特点是对数据库中的大量数据进行抽取、转换、分析和其他模型化处理，并从中提取辅助决策的关键性数据。它可帮助决策者分析历史数据及当前数据，并从中发现隐藏的关系和模式，进而预测未来可能发生的行为。数据挖掘是一门涉及面很广的交叉性新兴学科，涉及到数据库、人工智能、数理统计、可视化、并行计算等领域。

2、数据挖掘技术

2.1关联规则方法

关联规则是一种简单，实用的分析规则，描述了一个事物中某些属性同时出现的规律和模式，是数据挖掘中最成熟的主要技术之一。大多数关联规则挖掘算法能够无遗漏发现隐藏在所挖掘数据中的所有关联关系，所挖掘出的关联规则量往往非常巨大，但是。并不是所有通过关联得到的属性之间的关系都有实际应用价值，对这些关联规则进行有效的评价。筛选出用户真正感兴趣的。有意义的关联规则尤为重要。

2.2分类和聚类方法

分类就是假定数据库中的每个对象属于一个预先给定的类。从而将数据库中的数据分配到给定的类中。而聚类分析是根据所选样本间关联的标准将其划分成几个组，同组内的样本具有较高的相似度，不同组的则相异。分类和聚类的区别在于分类事先知道类别数和各类的典型特征，而聚类则事先不知道。聚类方法适合于探讨样本间的内部关系，从而对样本结构做出合理的评价。

2.3数据统计方法

使用这些方法一般首先建立一个数据模型或统计模型，然后根据这种模型提取有关的知识。传统的统计学为数据挖掘提供了许多判别和回归分析方法。贝叶斯推理、回归分析、方差分析等技术是许多挖掘应用中有力的工具之一。

2.4神经网络方法

神经元网络，具有非线形映射特性、信息的分布存储、并行处理和全局集体的作用、高度的自学习、自组织和自适应能力的种种优点。这些优点使得神经元网络非常适合解决数据挖掘的问题。因此近年来越来越受到人们的关注。典型的神经网络模型主要分3大类；用于分类、预测和模式识别的前馈式神经网络模型；用于联想记忆和优化计算的反馈式神经网络模型；用于聚类的自组织映射方法。新晨

2.5决策树方法

决策树学习是一种通过逼近离散值日标函数的方法，把实例从根结点排列到某个叶子结点来分类实例。叶子结点即为实例所属的分类，利用信息论中的互信息（信息增益）寻找数据库中具有最大信息量的字段。建立决策树的一个结点，再根据字段的不同取值建立树的分支；在每个分枝子集中，重复建立树的下层结点和分支的过程，即可建立决策树。

数据挖掘技术篇6

关键词:大数据时代；数据挖掘技术；应用

大数据是对全球的数据量较大的一个概括，且每年的数据增长速度较快。而数据挖掘，主要是从多种模糊而又随机、大量而又复杂且不规则的数据中，获得有用的信息知识，从数据库中抽丝剥茧、转换分析，从而掌握其潜在价值与规律。所以大数据时代下的数据处理技术要求更高，要想确保数据处理成效得到提升，就必须切实加强数据挖掘技术教学工作的开展，才能更好地促进数据处理职能的转变，提高数据处理效率，优化学生的学习成效。以下就大数据时代下的数据挖掘技术教学做出如下分析。

1大数据时代下数据挖掘技术的基础教学方法分析

数据挖掘的过程实际就是对数据进行分析和处理，所以其基础就在于数据的分析方法。要想确保分析方法的科学性，就必须确保所采用算法的科学性和可靠性，获取数据潜在规律，并采取多元化的分析方法促进问题的解决和优化。以下就几种常见的数据分析教学方法做出简要的说明。一是归类法，主要是将没有指向和不确定且抽象的数据信息予以集中，并对集中后的数据实施分类整理和编辑处理，从而确保所形成的数据源具有特征一致、表现相同的特点，从而为加强对其的研究提供便利。所以这一分析方法能有效的满足各种数据信息处理。二是关联法，由于不同数据间存在的关联性较为隐蔽，采取人力往往难以找出其信息特征，所以需要预先结合信息关联的表现，对数据关联管理方案进行制定，从而完成基于某种目的的前提下对信息进行处理，所以其主要是在一些信息处理要求高和任务较为复杂的信息处理工作之中。三是特征法，由于数据资源的应用范围较广，所以需要对其特征进行挖掘。也就是采用某一种技术，将具有相同特征的数据进行集中。例如采用人工神经网络技术时，主要是对大批量复杂的数据分析，对非常复杂的模式进行抽取或者对其趋势进行分析。而采取遗传算法，则主要是对其他评估算法的适合度进行评估，并结合生物进化的原理，对信息数据的成长过程进行虚拟和假设，从而组建出半虚拟、半真实的信息资源。再如可视化技术则是为数据挖掘提供辅助，采取多种方式对数据的挖掘进行指导和表达[1]。

2大数据时代数据挖掘技术教学要点的分析

2.1数据挖掘技术流程分析

在数据挖掘教学过程中，其流程主要是以下几点：首先做好数据准备工作，主要是在挖掘数据之前，就引导学生对目标数据进行准确的定位，在寻找和挖掘数据之前，必须知道所需数据类型，才能避免数据挖掘的盲目性。在数据准备时，应根据系统的提示进行操作，在数据库中输入检索条件和目标，对数据信息资源进行分类和清理，以及编辑和预处理。其次是在数据挖掘过程中，由于目标数据信息已经被预处理，所以就需要在挖掘处理过程中将其高效正确的应用到管理机制之中，因而数据挖掘的过程十分重要，所以必须加强对其的处理。例如在数据挖掘中，引导学生结合数据挖掘目标要求，针对性的选取科学而又合适的计算和分析方法，对数据信息特征与应用价值等进行寻找和归纳。当然，也可以结合程序应用的需要，对数据区域进行固定，并在固定的数据区域内分类的挖掘数据，从而得到更具深度和内涵以及价值的数据信息资源，并就挖掘到的数据结果进行分析和解释，从结果中将具有使用价值和意义的规律进行提取，并还原成便于理解的数据语言。最后是切实加强管理和计算等专业知识的应用，将数据挖掘技术实施中进行的总结和提取所获得的数据信息与评估结果在现实之中应用，从而对某个思想、决策是否正确和科学进行判断，最终体现出数据挖掘及时的应用价值，在激发学生学习兴趣的同时促进教学成效的提升。

2.2挖掘后的数据信息资源分析

数据信息资源在挖掘后，其自身的职能作用将变得更加丰富，所以在信息技术环节下的数据挖掘技术随着限定条件的变化，而将数据挖掘信息应用于技术管理和决策管理之中，从而更好地彰显数据在经济活动中的物质性质与价值变化趋势，并结合数据变化特点和具体的表现规律，从而将数据信息的基本要素、质量特点、管理要求等展示出来，所以其表现的形式十分丰富。因而在数据挖掘之后的信息在职能范围和表现形式方式均得到了丰富和拓展，而这也在一定程度上体现了网络拟定目标服务具有较强的完整性，且属于特殊的个体物品，同时也是对传统数据挖掘技术的创新和发展，从而更好地满足当前大数据时代对信息进行数据化的处理，并对不同种类业务进行整合和优化，从而促进数据挖掘技术服务的一体化水平。

2.3大数据背景下的数据挖掘技术的应用必须注重信息失真的控制

数据挖掘技术的信息主要是源于大数据和社会，所以在当前数据挖掘技术需求不断加大的今天，为了更好地促进所挖掘数据信息的真实性，促进其个性化职能的发挥，必须在大数据背景下注重信息失真的控制，切实做好数据挖掘技术管理的各项工作。这就需要引导学生考虑如何确保数据挖掘技术在大数据背景下的职能得到有效的发挥，尽可能地促进数据挖掘技术信息资源的升级和转型，以大数据背景为载体，促进整个业务和技术操作流程的一体化，从而更好地将所有数据资源的消耗和变化以及管理的科学性和有效性，这样我们就能及时的找到资源的消耗源头，从而更好地对数据资源的消耗效益进行评价，最终促进业务流程的优化，并结合大数据背景对数据挖掘技术的职能进行拓展，促进其外部信息与内部信息的合作，对数据挖掘技术信息的职能进行有效的控制，才能更好地促进信息失真的控制[2]。

3数据挖掘技术在不同行业中的应用实践

学习的最终目的是为了更好的应用，随着时代的发展，数据挖掘技术将在越来越多的行业中得以应用。这就需要高校教师引导学生结合实际需要强化对其的应用。例如在市场营销行业中数据挖掘技术的应用这主要是因为数据挖掘能有效的解析消费者的消费行为和消费习惯，从而利用其将销售方式改进和优化，最终促进产品销量的提升。与此同时，通过对购物消费行为的分析，掌握客户的忠诚度和消费意识等，从而针对性的改变营销策略，同时还能找到更多潜在的客户。再如在制造业中数据挖掘技术的应用，其目的就在于对产品质量进行检验。引导学生深入某企业实际，对所制造产品的数据进行研究，从而找出其存在的规则，并对其生产流程进行分析之后，对其生产的过程进行分析，从而更好地对生产质量的影响因素进行分析，并促进其效率的提升。换言之，主要就是对各种生产数据进行筛选，从而得出有用的数据和知识，再采取决策树算法进行统计决策，并从中选取正确决策，从而更好地对产品在市场中的流行程度，决定生产和转型的方向。再如在教育行业中数据挖掘技术的应用，主要是为了更好地对学习情况、教学评估和心里动向等数据进行分类和筛选，从而为学校的教学改革提供参考和支持。比如为了更好地对教学质量进行评估，就需要对教学质量有关项目进行整合与存储，从而更好地促进其对教学质量的评估，而这一过程中，就需要采取数据挖掘技术对有关教学项目中的数据进行挖掘和处理，促进其应用成效的提升[3]。

4结语

综上所述，在大数据背景下，数据挖掘技术已经在各行各业中得到了广泛的应用，所以为了更好地满足应用的需要，在实际教学工作中，我们必须引导学生切实加强对其特点的分析，并结合实际需要，切实注重数据挖掘技术的应用，才能促进其应用成效的提升，最终达到学以致用的目的。

作者:何智文 邓伦丹 单位:南昌大学科学技术学院

参考文献：

[1]李平荣.大数据时代的数据挖掘技术与应用[J].重庆三峡学院学报,2014,03:45-47.

数据挖掘技术篇7

关键词 数据挖掘 基因序列 生物信息学 遗传疾病 患病家族连锁分析

在生物信息学的成果的理论基础之上，通过统计的方法查找未知的生物化学功能的疾病基因的位置。这个方法预先通过患病家族连锁分析，再推断包含这些基因的染色体区域片段，然后检查该区域来寻找基因［1］。

数据挖掘在DNA数据分析的发展状况

现今所采用的是分子生物学与微电子技术相结合的核酸分析检测技术［2］。DNA芯片技术的基本原理是将cDNA或寡核昔酸探针以105～106位点/cm2>/sup>的密度结合在固相支持物（即芯片）上，每个位点上的cDNA或寡核昔酸探针的顺序是已知的，将该探针与荧光标记的待测样品DNA，RNA或cDNA在芯片上进行杂交，然后用激光共聚焦显微镜对芯片进行扫描，并配合计算机系统对杂交信号做出比较和检测，从而迅速得出所需的信息。

基因数据挖掘常用的方法：①核酸与蛋白质比较的预测分析：蛋白质序列之间或核酸序列之间的两两比对，通过比较两个序列之间的相似区域和保守性位点，寻找二者可能的分子进化关系。进一步的比对是将多个蛋白质或核酸同时进行比较，寻找这些有进化关系的序列之间共同的保守区域、位点和profile，从而探索导致它们产生共同功能的序列模式。此外，还可以把蛋白质序列与核酸序列相比来探索核酸序列可能的表达框架；把蛋白质序列与具有三维结构信息的蛋白质相比，从而获得蛋白质折叠类型的信息。②针对核酸序列的预测方法：针对核酸序列的预测就是在核酸序列中寻找基因，找出基因的位置和功能位点的位置，以及标记已知的序列模式等过程。在此过程中，确认一段DNA序列是一个基因需要有多个证据的支持。一般而言，在重复片段频繁出现的区域里，基因编码区和调控区不太可能出现；如果某段DN段的假想产物与某个已知的蛋白质或其他基因的产物具有较高序列相似性的话，那么这个DN段就非常可能属于外显子片段；在一段DNA序列上出现统计上的规律性，即所谓的“密码子偏好性”，也是说明这段DNA是蛋白质编码区的有力证据；其他的证据包括与“模板”序列的模式相匹配、简单序列模式如TATA Box等相匹配等。

案例分析

疾病是由于基因的片段内的某个位置存在或发生改变而引起的，也就是发生突变。能否找出其中不同的地方，进而对其不同之处加以改变，使之成为正常基因？这都需要数据挖掘技术的支持。对基因的数据挖掘，就是对这些突变位置的寻找，并且找出该位置与所有者身患的疾病之间的关系。

方法的选择：笔者在设计中选用单纯的DNA序列进行比较，基因在计算机的表示和存储时，可以使用一条很长的字符串来表示基因的某一条序列，使用文件的形式进行对基因工作者的提取成果创建一级数据库，使用文件修整的方法进行数据的清洗，以满足数据在二级数据库中的一致性。同时在文件比较过程中，生成某两个数据文件的差异状况，保存在二级数据库库中，进一步的操作是对差异的位置的某个类型所占的比例。最后通过事先的对患者患病信息的统计得到的某种疾病在群中所占的比例，与其相比较，如果这两个比例相等，则可以认为这个位置的某个类型引起疾病的发生。从医学院得到一些基因片段文件信息和患者（所有者）患病情况。

系统的实现：基因片段在计算机中以文件形式存储，用文件名标识其所有者（源体）。片段起始地址和长度信息和所有患者患病情况保存在本机数据库中。在程序测试过程中，将片段复制成40份，对其中部分文件的序列进行稍作修改，对所有患者的患病状况进行稍作修改，以创造测试环境。显示在与基因数据挖掘软件同在一根目录下的序列文件的集合。

其中一个文件所存储的基因信息，见图1。

启动统计程序界面，单击清空数据库中的临时用表数据，将数据库中有可能的杂音信息去掉。并对其中的所有文件进行统计前片段剪切，使所有片段的起始地址和长度都相同，避免发生序列移位。

没有进行片段剪切之前，浏览文件所存的片段信息，片段剪切完成之后，设置进行比较操作的甲、乙组的文件添加，因为本次测试只检验片段中的一块区域（文件中片段的所有信息），所以在起始序号那里添加为0，终止序号那里添加为175。这样则可以保证统计文件的所有信息都被统计。

单击结果显示按钮，可以见到程序以表格和条形图标方式。可以看到1、3、5、12、14、16、18、13、31、34、87、94、139、166位置的条形段较高。说明在这些接受统计的片段中，在上面提到的位置处存在的差异较大，与某遗传疾病的关联的可能性就越大。

如果用户想要在初步统计结果的基础上，按照数据库中所有者的疾病状况进行详细统计的话，单击菜单栏的详细统计按钮，选择按疾病详细统计，则将弹出窗口。

选择弱视，输入，则在文本框中显示与其关联的位置为1、3、5、12、14、16、18、13、31、34、87、94、139、166。

由此，用户可以根据本系统所给出的预测对弱视遗传疾病与序列中的特定位置，选择适当算法进行进一步的计算及检验，证明预测结果是否符合关联理论。数据挖掘方法体系中的智能聚类的相关技术则可较好的解决类别数判定、结果验证等问题。

结 论

对于生物信息或基因的数据挖掘和通常的数据挖掘相比，无论在数据的复杂程度、数据量还有分析和建立模型的算法而言，都要复杂得多。从分析算法上讲，需要一些新的和好的算法；但技术和软件还远没有达到成熟的地步，因此需要不断探索及研究。

参考文献

1 黄诒森.生物化学［M］.北京:人民卫生出版社,2002:29-37.

数据挖掘技术篇8

关键词：数据挖掘 技术研究 前景分析

中图分类号：TP39 文献标识码：A 文章编号：1674-098X（2014）05（c）-0034-01

数据挖掘技术对各个不同应用领域中的传统数据进行分析研究，提取其中存在的有价值的信息。随着科技信息的快速发展，人们对信息分析技术的要求越来越高，现阶段如何从大量的数据中挖掘出自己所需的知识日益重要。数据挖掘技术是在传统数据分析系统的基础上建立起的新数据处理技术。

1 数据挖掘技术分析研究

1.1 数据挖掘的背景

当今社会信息技术的广泛利用提高了生产的能力，在企业、工程建设和科学研究中数据挖掘技术被逐渐利用，数据挖掘技术的优点在被逐渐推广，作为新兴的技术被广泛使用。在信息时代的激烈竞争中，提高数据的利用效率问题显得日益重要，企业在激烈的市场竞争中要想结合数据挖掘技术的作用使得数据信息作为企业有利的竞争手段，只有充分利用数据挖掘的技术才能够高效的为企业的良好发展打下一个坚固的基础。面对社会竞争中的各种挑战，数据挖掘技术是在传统数据分析基础上升级的一项高效技术，其优势已经适应社会的竞争理念正在被完善利用。

1.2 数据挖掘的功能分析

数据挖掘的主要任务是对数据分类以及对信息的预处理数据预测进行分析，其中信息预处理是以由两个或两个以上的变量值进行分析，得出两者之间存在的规律，称之为信息预处理。数据预处理有简单处理和复杂处理，的目的是对数据库中的隐藏知识进行研究分析，结合相关重要的参数使得挖掘出的数据更符合应用的要求。数据的预测是结合历史的数据总结出数据的规律，对同一类型的数据进行比较，可以运用数据的预测方式使得挖掘技术更好的展现。

1.3 数据挖掘的概念

数据挖掘技术是一门新的计算机应用技术中的技术，在近几年的发展中逐渐吸引了大量相关工作者的关注，科学挖掘技术会给企业减少一些不必要的投资，使自身能够获得一定的利益回报。数据挖掘技术在企业中的利用会逐渐提高，由于新技术的使用会给企业带来丰厚的利益，使得企业之间广泛运用数据挖掘技术，随着数据挖掘技术在运用中的不不断升级和挖掘技术的完善发展，促使数据挖掘技术在各个行业中被逐渐重视。结合数据库技术和系统分析技术的运用，保障相关工作人员对挖掘出的数据的透彻理解，挖掘技术的运用要求保证数据的准确有效性，对挖掘出的数据价值作出合理的分析，使挖掘数据具有一定的科学价值。

2 数据挖掘技术的流程展现

2.1 数据挖掘的应用

数据挖掘技术能够为企业的运行带来显著的利益，使得很多企业都在利用数据挖掘技术为自身的经济利益作出保障。企业在发展中为了稳定的长期发展，从而利用数据挖掘技术了解客户的特点，从中得到一定的经济利益，结合数据的特点可以针对性的为客户提供所需的服务。企业根据数据挖掘技术可以找到符合自己所需的客户进行产品销售，增加更多的经济利益。数据挖掘技术运用多个领域，可根据不同领域的特点采用数据挖掘减少利益的损失，开阔领域的发展前景。

2.2 数据挖掘的结构

数据挖掘技术从数据库到技术的运用过程中有不同的运行步骤，在确定业务对象问题方面可根据数据的准备对所有业务对象进行分析研究处理，保障数据的质量从而为进一步的分析工作做准备。在数据的转换方面应建立一个针对性的分析模型，挖掘数据的成功关键因素，对所得的数据进行预处理，完善挖掘技术的措施，使数据分析工作自动顺利的运行。在数据挖掘技术的结果分析上，应对数据结果做出正确的评估，与知识理念共同分析，完善数据挖掘技术的每一步结构。

3 结语

随着信息的高速发展，使得数据系统越来越复杂，数据类型的要求也越来越多，使用合理有效的数据挖掘技术能够将传统数据的作用更好发挥。数据挖掘技术是一个有潜力的发展领域，在社会利益的竞争中被不断完善运用，每年都会有更高效的数据挖掘技术产生，市场中对数据挖掘技术的要求日益严格。数据挖掘技术在高速的社会发展下面临着诸多挑战，对数据挖掘技术必须作出优化处理措施，维护数据挖掘中的各种问题产生解决问题，完善数据挖掘技术的运用，使数据挖掘能够长久的在未来发展。

参考文献

[1] 黄天航.面向数字城市规划的数据仓库构建中主题信息的组织与提取研究――以大北京区域规划为例[C]//规划创新：2010中国城市规划年会论文集，2010.

[2] 吴亮，符定红.基于距离扩散的审计信息系统异常数据挖掘算法研究[J].长春理工大学学报（社会科学版），2012（2）.

[3] 杨静，申艳光，邢丽莉.数据仓库与数据挖掘的研究与应用[C]//2006北京地区高校研究生学术交流会――通信与信息技术会议论文集（下），2006.

数据挖掘技术篇9

关键词：多层次技术；XML数据挖掘；Web数据挖掘；研究

0引言

数据挖掘就是从大量的信息数据中发现潜在的规律性内容，进而对数据应用的质量问题进行解决，实现对数据的充分利用。在互联网发展支持下的数据挖掘技术得到了快速的发展，特别是以结构化数据为主的数据挖掘技术。数据挖掘技术被广泛地应用到各个领域，并获得了好的效果。但这种结构化的数据挖掘技术无法对Web数据挖掘的特性进行处理，Web上的HTML文档格式也不规范，导致没有充分挖掘和利用有价值的知识。由此，如何优化传统数据挖掘技术，实现其和Web的结合成为数据挖掘技术研究领域关注的热点。而XML的出现，弥补了Web的不足，成为现阶段互联网数据组织和交换的标准，并逐渐出现在Web上。文章对基于多层次技术的XML数据挖掘进行研究。

1Web数据挖掘的难点

第一，异构数据库的环境。因特网上的信息可以说就是一种数据路，具有大量的数据资源，每个站点的数据源都是异构的，因此，每个站点之间的信息和组织结构不一样，形成了一种异构数据库环境。想要获得和利用这些数据资源需要进行数据挖掘，这种数据挖掘需要对站点的异构数据集成进行研究，同时还要对因特网上的数据查询问题进行解决。第二，半结构化的数据结构。传统的数据库具有数据模型，能够通过这种模型来对特定的数据进行描述。但因特网上的数据较为复杂，没有统一的模型让人进行描述，且自身具有独立性、动态性的特点，存在自述层次，因而是一种半结构化数据。

2XML数据挖掘技术

2.1XML技术概述

XML是由万维网协会设计的一种中介标示性语言，主要被应用在Web中。XML类似于HTML，主要被设计用来描述数据的语言，为数据挖掘提供了一种独立的运行程序，能够实现对数据的共享，并利用计算机通讯将信息传递到多个领域。

2.2XML和HTML的比较

HTML是Web的重要技术要素之一，简单易学，被很多计算机专业人员应用于创建自己的、具有超文本特定的多媒体主页，能够实现网络和普通人的联系，创造出丰富的网页。但其在因特网的应用存在以下几点缺陷：第一，只是对信息的显示方式进行描述，没有对信息内容本身进行描述；第二，需要因特网服务器帮其处理任务工作，加重了网络的负担，降低了网络运行的效率。根据上文对XML技术的概述，可以看出，XML不是一种单纯的标记语言，而是一种定义语言，能够根据需要设定不同的标记语言，突破了HTML固定标记的限制，能够更好地推动Web的发展。

3基于XML数据挖掘框架设计

3.1设计的特点

第一，具有自然、性能良好、个性化设计的系统用户界面；第二，主要应用元搜索引擎页面。这种页面设计的主要思想是首先对用户的查询请求进行预处理，之后向各个搜索引擎发送查询的请求，最后，在经过处理之后向用户反馈检索结果。第三，Web页面的设计充分应用了HITS的算法。第四，利用XML技术对检索的数据进行预处理。主要表现为将数据库中的所有文档形式转化为XML文档形式，之后在数据仓库的应用下实现各种文档的集成。

3.2系统设计的结构

XML数据挖掘系统的结构主要包含用户界面模块、数据预处理模块和数据挖掘模块。第一，用户界面模块主要作为用户和系统交接的端口存在，用户通过这个界面来实现对数据挖掘系统的使用。在这个模块中，用户能够在对数据挖掘之前设定挖掘的参数，之后提出请求、对挖掘成果分析，实现个性化的数据挖掘。第二，数据预处理模块主要是指在对数据检索之后，应用XML技术对检索的数据进行预处理。第三，数据挖掘模块主要是对数据预处理后的模块信息进行挖掘，并将成果展示给用户。

4基于XML技术的Web数据挖掘

4.1数据挖掘方案的选取

基于XML技术的Web数据挖掘主要分为内容上的挖掘和形式上的挖掘两种，其中，内容挖掘主要是针对文档标记的开始和结束之间的文本部分，即对标记值的一种挖掘。具体的内容挖掘方案主要有三种：第一，利用专门的XML数据、半结构数据开发查询的语言，充分开发其查询功能，并将这种语言渗透在应用程序中，从而实现对数据的有限挖掘。这种挖掘方案能够将XML技术和数据挖掘技术进行有效的结合，且具有操作简单的特点。第二，实现对XML文档数据的结构化处理。在处理之后将其映射到现有的关系对象模型中，从而实现对数据的挖掘。第三，将XML文档视为一种文本，采用传统的数据挖局处理技术对数据进行挖掘。

4.2XML技术数据挖掘实现

XML技术的挖掘实现主要利用XQuery实现关联挖掘来进行数据挖掘，且不需要对其文档进行预处理和挖掘后处理，具有操作简单的优势。主要采用两种方式来执行XQuery。第一，使用XhiveNodeIf对象的executeXQuery进行语句的执行，使得集合的每个元素都是对应的对象，并将对象转换成DOM的节点来进行数据的挖掘。第二，利用XhiveXQueryQueryIf对象调用execute进行语句的执行。在这个过程中会涉及对外部参数的使用。

5结语

XML数据挖掘能够有效解决因特网数据挖掘难的问题，实现数据挖掘的简单化操作。XML数据挖掘将不同结构、不容易兼容的数据进行结合，并利用自身的灵活性和延展性将各种应用软件中的数据进行不同描述，从而方便因特网中数据的收集和记录。同时，基于XML数据是自我描述性的，不需要内部的描述处理就能实现数据的交换，为其对数据的处理和应用提供了便利的支持。因此，技术XML技术的数据挖掘成为当今因特网数据挖掘的研究重点，需要有关人员引起足够的重视，进而不断促进该技术对数据挖掘的应用。

作者:袁园 单位:重庆电讯职业学院

参考文献：

[1]卢珊.基于XML技术的Web数据自动挖掘新方法[J].信息技术与信息化,2014,12:141-143

[2]王雅轩,顼聪.基于XML的Web数据挖掘模型的设计研究[J].电子技术与软件工程,2015,03:213-214

数据挖掘技术篇10

关键词：数据挖掘技术；Web；应用；

中图分类号：TP319文献标识码：A 文章编号：1674-098X（2015）05（a）-0000-00

所谓数据挖掘，就是在大量的、随机的、无关的、不完全的数据中找出共同点，提炼有价值的规律，从而有利于企业利用这些规律进行决策，获得超额利润。而基于Web的数据挖掘技术，是指在HTML文档中或相关的服务中借助数据挖掘技术提取对用户有价值的信息。

1 基于Web数据挖掘技术的原理和分类

1.1 基于Web数据挖掘技术的原理

基于Web数据挖掘技术主要利用统计学原理把Web页面中用户访问的信息内容和超链接结构等进行统计分类，然后总结出这些数据的规律和特征，并把这些大量的数据进行筛选和过滤，从中挖掘出这些数据的潜在联系，让企业获得用户在访问网页时深层次的规律。

1.2 基于Web数据挖掘技术的分类

基于Web数据挖掘技术按照其技术原理可以分为三类：（1）、内容挖掘。这里的“内容挖掘”是指把Web网页中数字，文字，表格，文档等显示的数据信息和其它隐示的数据信息整理并挖掘出来。（2）、使用挖掘。当用户通过浏览器访问网页内容后，该网页所在的服务器会自动把这些访问的行为记录在访问日志上，而通过分析这些访问日志就可以掌握用户在该网页中的一些需求和动向，这就是“使用挖掘”的作用。所以通过使用挖掘可以掌握用户的行为动向，有利于提高网站的收益或网站的点击率。（3）、结构挖掘。数据挖掘中的结构挖掘是指分析Web页面之间的超链接结构关系，从中找到Web页面结构的有用模式及权威网页。

2 基于Web数据挖掘技术分析

2.1 路径分析技术

网络中的信息是巨大的，因此人们不可能一下子就找到自己需要的内容，总是要从一个页面链接到另一个页面，再从这个页面链接到其它页面。人们的这种访问路径会被记录在服务器的日志文件中。路径分析技术就是分析这些存有路径信息的日志文件，分析后的结果有利于帮助网站管理员根据大多数用户的需求改善网站的结构。

2.2 分类分析技术

分类分析技术借助对示例数据的详细分析建立一个分析的模型，再使用这个模型对网上的众多数据进行分类描述。使用分类分析技术可以在网络销售中向一个用户推荐他可能喜爱的相关产品。

2.3 聚类技术

聚类技术，就是把大量的用户访问数据，如用户喜欢的商品，以及访问网页的用户本身的信息等进行分析整理，然后按照一定的规则对它们进行分类，并给出该类别的特征描述。例如在网络营销中聚类技术帮助企业把客户分成不同的群体，并给出这些群体的喜好和需求，以便企业根据这些需求调整业务内容以满足不同的客户群体。

2.4 关联规则技术

关联规则技术通过分析用户在网站上的访问记录建立关联模型，可以根据用户的习惯和喜好为用户提供方便快捷的访问方式，也可以为用户推荐喜爱的商品或服务。

3 基于Web数据挖掘技术的应用

3.1 在远程教育中的应用

传统的教育方式没有注重学生的个体差异性，也不可能给每一个学生制定一套教学方案。但是在应用了数据挖掘技术的远程教育方式中，利用学生在网站的学习情况，通过数据挖掘技术可以为学生推荐适合他的教学方案，真正做到了“因材施教”，“以学生为中心”。而且利用分类分析数据挖掘技术、聚类数据挖掘技术和关联规则数据挖掘技术还可以对学生和教师进行分类和关联，这样可以为学生推荐适合他，同时也是学生喜欢的教师。数据挖掘技术在学生的学习过程中有利于学生快速的检索需要的课件资源和学习内容。

3.2 在电子商务中的应用

随着网络技术的迅速发展，电子商务已经与人们的生活密不可分。将基于Web数据挖掘技术应用在电子商务中，可以帮助企业获得及时、准确的商业信息和客户信息，帮助企业制定正确的商业发展目标，从而获得丰富的利润。

（1）、为企业定制正确的商业发展目标。在企业制定自己的商业发展目标之前需要先考察市场，掌握商品的市场动向，了解企业自身在同行业中的市场地位。采用基于Web数据挖掘技术帮助企业快速、准确地完成了上述工作，有利于企业定制商业发展目标。

（2）、提高了客户的满意度。基于Web的数据挖掘技术可以帮助企业分析客户信息和客户行为，掌握客户喜爱的商品类别，挖掘客户潜在的消费意向，为客户提供满意的服务。

（3）、提高了企业的资金使用效率。基于Web数据挖掘技术可以对企业的库存，商品交易情况，财务报表等信息进行分析后，为企业提供一份资金分配策划单，从而保证企业购买的都是畅销商品不会造成大量的库存，提高了企业的资金使用效率。

（4）、延长用户访问网页的时间。人们在网上购物时会感觉所有的商品都是一样的，没有区别，因为它们都是以网页的形式存在的。所以如果企业希望有良好的销售业绩，就需要用户在企业的网页上停留更多的时间，因为用户停留的时间越长，越有可能购买商品。企业可以利用数据挖掘技术掌握用户的习惯和喜好，为用户提供方便快捷的访问方式，这些快捷方式都是根据用户的喜好推荐的商品，因此用户愿意花费更多的时间在这个Web页面里。

（5）、挖掘潜在的商机。企业利用基于Web数据挖掘技术对服务器的日志文件进行分析和处理，可以将用户分类，并给出相应的描述。如果一个新的用户来到企业的网站时，可以利用前面的分类结果对这个新用户提供个性化的服务，投其所好，挖掘潜在的商机。

除此之外，基于Web数据挖掘技术在医疗、金融、通讯等领域也得到了比较广泛的应用，而且比较成熟，但是在电子商务领域中Web数据挖掘技术还处于起步阶段，有很多问题需要人们进一步去探索，相信随着网络技术的迅速发展，基于Web数据挖掘技术在电子商务领域中会有更大的发展空间。

参考文献