数据分析方法范文10篇

【摘要】继电保护状态评价是保障继电保护工作的重要手段。其中继电保护信息具备大数据的特性，然而在实践活动中，受到数据传输不畅通、数据源不一致以及缺乏科学合理分析等因素的影响，继电保护状态评价难以在线上进行工作。结合在线评价过程中产生的问题，对其进行定向分析，在保障在线评价质量的前提下，不仅节省了数据传送时间还有评价时间，还为输变电环节提供了可靠性参考依据。本文就继电保护状态评价的大数据分析方法进行探讨，并提出建议。

【关键词】继电保护；状态评价；大数据

目前，随着电网安全性逐步被人们所重视，信息数据在保障电网安全性的过程中起到至关重要的作用。科学合理的利用电力系统运行数据，对继电保护系统运行状态进行在线分析，并给出合理的评价结果，这也是降低继电保护装置运行风险的重要手段之一。传统的机电保护状态分析通常是采用历史数据进行分析研究，然后得出不合理的结果，将这一结果投入到运行中的继电保护系统中，很难真正意义上降低运行风险，更别谈找出运行故障隐患和薄弱环节了。

1继电保护系统运行状态评价的大数据

分析法的特点在过去，继电保护装置在进行状态评价工作时，往往将继电保护装置置于一个隐蔽的系统内，其传输命令较为单一，只有输入与输出两项操作。换言之，一旦电力系统发生故障或者故障结束后，对已经发生故障的元件进行事后数据记录分析，从而反映该故障元件是否是真的发生了故障，这一过程并不能真正意义上正确、合理的对故障元件做出正确的判断。因此，借助信息化大数据平台，创建电力系统机电保护状态信息化基站，设置一个主机，若干个子机，主机发出指令，各个子机收到指令后进行数据采集、分析以及总结等工作，最后向主机输送数据包，这一大数据分析法的数据分为两类：（1）周期性数据；（2）事件驱动数据。采用大数据分析法对继电保护运行状态进行评价具有较高的精确性、合理性、科学性以及灵敏性等优势，这是传统评价方法所不能比的。

2用于继电保护运行状态评价的大数据要求

摘要：本文利用索伦国家基准气候站1993年~2017年逐月辐照度资料，使用统计学分析方法对索伦太阳辐照度数据变化规律进行分析，研究辐照度质量控制方法，提高观测系统的精准度，为农业生产、太阳能开发利用和决策服务提供及时、准确的服务。

关键词：辐射数据；质量控制方法；索伦

索伦国家基准气候站太阳辐射观测业务积累了27年观测数据，为了保证历史资料数据的准确性，便于开展应用服务，有必要对索伦太阳辐射数据进行分析及质量控制方法研究。为农业生产、太阳能开发利用和决策服务提供及时、准确的服务。

1研究资料和方法

本文利用索伦国家基准气候站1993年~2017年逐月辐照度资料，使用统计学分析方法对索伦太阳辐照度数据变化规律进行分析，并研究了辐照度质量控制方法。季节划分采用常规的划分标准：春季3~5月，夏季6~8月，秋季9~11月，冬季12月到次年2月。

2索伦太阳辐射数据分析

随着电力体制改革的深入，供电系统的营销管理也逐步从粗放型向集约型转变。而只有通过管理手段的创新，采用多维数据分析的一体化管理，才能实现电力部门真正意义上的集约型管理。目前，诸如自动化调度系统、售电自动化系统、用户自助服务系统等的建立，实现了电力业务的产、输、配、售信息一体化，既促进了供电系统业务的高效化，也积累了大量的业务数据。如何有效地利用这些现有的业务数据，将业务数据转化成管理数据，为供电系统电力营销工作提供服务，提高企业管理水平，是目前供电企业信息化所面临的主要问题之一。基于OLAP的多维数据联机分析处理工具BusinessObjects是一种自适应、基于服务的商务智能应用开发平台，根据实际应用需求，可集成多个BusinessObjects套件产品如：CrystalRe-portsXI、WebIntelligence、PerformanceMan-ager等。该平台在报表归类、数据查询、企业绩效等实际应用中，提供了全方位、便捷化的多维数据分析服务，能满足用户的信息需求。

1多维数据分析技术

多维数据分析技术是一种建立在OLAP基础上的高效数据分析方法，能有效地将企业数据由业务型向管理型转化，是企业提高经营管理水平的有效方法。OLAP通过多维的方式对数据进行分析、查询和报表，它不同于传统的OTLP应用。OTLP应用主要是完成用户的事务处理，通常要进行大量的更新操作，对响应时间要求比较高。而OLAP主要是对用户分析、辅助领导决策，可以进行大量的查询操作，对时间的要求不太严格。其典型的应用有对银行信用卡风险的分析与预测、公司市场营销策略的制度建设等。多维数据分析技术的核心是“维”，即用户根据经营管理信息需求，从多个现实世界角度观察数据，并对数据进行相应处理，从而获得有用信息的方法。多维数据分析基本分析操作有钻取、切片、切块、旋转，它让用户能同步快速、高效灵活地掌握从总体到局部的企业经营情况，将企业运营的隐藏信息直观呈现给用户。根据多维数据分析技术的基本定义及原理，在供电系统电力营销中运用BusinessObjects平台进行的多维数据分析，有如下特点：

（1）多维性：这是多维数据分析技术标志性特点，可以从分析维中分支出时间维、地区维、类别维等多个维度面。如对售电量的展现，可以从时间维中的年、季、月、周、日时间层次上查看。

（2）可析性：从不同角度对数据进行平均值、差距值、数排序、汇总、记录限定等处理，提供给用户强大的数据汇总、即时查询等数据分析能力。

（3）同步性：体现了用户对信息在时间上的要求。包含对多维数据分析结果同步快速获得的要求，而且使多维数据分析能实时、适时地接收用户数据。

摘要：文章主要从移动数据和无线网络方面进行分析，指出移动通信中存在的问题，将大数据分析与移动通信之间的关系进行剖析，改进大数据在移动通信中的优化方式，促进通信行业的发展与进步。

关键词：大数据；移动通信网络；优化

我国对于通信网络要求随着技术的发展逐渐提升，这与国家政策存在一定的联系，也是国家政策发展的需要。特别是4G牌照的发放，使移动通信网络得到全面的进步，对于通信行业来讲是巨大的进步。但是在发展中也遇到一定的问题，主要表现是移动网络在运行优化中的技术也需要得到全面提升，才能保持运行的稳定性，这样才能更好地满足群众的使用要求。这就需要通过大数据分析手段，对移动通信的发展方向以及需求进行分析，找出更加妥善的处理方法，制定更加全面的方针，提升移动网络的使用质量，促进技术的发展与进步[1]。

1大数据分析概述

大数据处理技术就是在大数据分析的基础上产生和发展起来的，在掌握大数据的基础上，通过数据存储、数据处理以及数据分析等不同的技术，将数据进行相互之间的协调创新，使得数据在处理中更加的快捷高效，实现数据处理的全面进步。大数据分析以庞大的数据信息作为基础，这些数据信息的取得可以是任何的平台以及网络软件系统中的数据，技术人员对这些数据进行收集分析，进而筛选需要的数据信息，为企业的发展提供依据，帮助企业更加准确地找寻数据源，提升信息处理质量和效率[2]。与传统的数据信息处理方法比较，大数据在数据收集方法上更加快捷，数据的处理质量和效率得到显著的提升，掌握了更加科学的数据处理方法。

2移动通信网络技术

摘要：本文基于新闻传播人才数据分析能力培养实践，提出面向问题解决的数据分析能力培养路径。在此基础上系统化构建指向培养路径实现的数据分析能力培养体系，该体系包含课程、实训、师资三个子体系。

关键词：大数据时代；新闻传播；数据分析；培养路径；培养体系

大数据时代高校人才培养面临新挑战，受技术发展影响深刻的新闻传播专业更是如此。新闻传播教育融入大数据内容迫在眉睫，然而现实培养效果不尽如人意。分析其原因是当前培养方式主要停留在课程层面，通过直接在传统课程体系中加入一门或几门数据类课程实现，课程设置缺乏理论依据，课程之间缺乏逻辑关联。数据分析能力独立于新闻传播传统核心能力培养之外，需在专业内生需求驱动下，系统化设计培养路径与培养体系，设计过程需充分考虑专业特点。

新闻传播人才数据分析能力培养路径

大数据时代新闻传播生态面临重大调整的同时也深度参与时代形态塑造，因此数据分析能力培养目标指向：深刻理解大数据内涵，既能利用数据分析方法支持新闻传播领域需求，也能清楚认识新闻大数据在解决其他领域问题上的潜能。培养路径设计亦围绕该目标实现，主要内容包括：（一）强化数据分析思维培养，弱化技术细节传授。数据分析能力分为两个层面：数据分析思维能力与数据分析技术能力。前者包括：理解分析方法背后数学逻辑，明晰方法适用问题类型，能正确解释分析结果；后者包括：根据数据分析方法特点能利用可视化软件或编写程序实现数据分析过程。因此，数据分析能力培养方式细化为三种：数据分析思维与技术并重培养；重技术实现，弱分析思维培养；重分析思维，弱技术细节培养。毋庸置疑，思维与技术并重培养最为全面，但在加重学习负担的同时不可避免地会压缩其他能力培养空间。正如哥伦比亚大学教授James W.Carey所言“新闻学的学术来源应该根植于人文科学和人文类的社会科学中，新闻应该与政治、文学、哲学、艺术、历史联系”[1]，并重式培养不免舍本逐末，影响人才整体培养目标实现。得益于集成软件的可视化操作以及新一代编程语言丰富的可调用程序“包”，数据分析技术实现难度降低，为“重技术实现”培养方式创造条件。但集成操作在封装数据分析过程的同时也导致学生对方法内涵及其背后逻辑理解不透，缺乏举一反三的能力，更无法融合知识背景对分析结果进行深度解读。另一方面，计算机性能提升促进数据分析方法快速迭代，从技术角度培养学生，容易导致教学内容滞后或在该能力培养上投入过多时间。因此，笔者倾向“重分析思维，弱技术细节” 培养模式。该模式重点讲授数据分析方法原理，适用问题场景以及对分析结果进行有效解释。在原理讲授上可根据内容难易程度采用不同方式，例如对于基于单一数学公式的可直接补充数学知识；对于涉及复杂数学原理的，可采用通俗的符合现实逻辑的语言来讲述。无论采用何种讲授方式，其目的就是让学生真正理解数据分析方法内涵，切实具备将方法应用到现实问题解决的能力。（二）开展信息素养教育，提高信息检索与连接学习能力。采用“重思维，弱技术”培养方式必然存在两个弊端：一是学生技术实现能力不足；二是无法及时跟进技术前沿。总结教学实践，笔者认为开展信息素养教育是解决这两个问题的关键。“信息素养”概念由美国信息产业协会提出，根据Doyle在《信息素养全美论坛的终结报告》中下的定义可知：理解信息在问题解决上的重要性，描述面向信息需求的问题，利用工具获取目标信息，选择有效信息并将其准确运用到问题解决上是开展信息素养教育的目的[2]，也正是克服“重思维，弱技术”培养方式下人才技术短板的关键。首先，针对技术实现能力不足问题，可通过与有技术优势的专业人员合作来弥补。识别合作对象是开展合作的前提，当前数据分析方法种类繁多，在解决现实问题时需要与有不同技术专长的对象合作。因此仅依靠人际网络很难全面识别，需运用信息检索技术，多渠道获取信息才能更全面定位潜在合作对象并与之建立关联。另外，不同专业人员的思维习惯以及对问题的理解存在差异，这种差异将影响合作效果。为提高沟通效率，除加强本专业学生沟通技巧外，关键在于提高学生对信息处理需求进行准确的、符合专业逻辑的描述的能力，而这正是信息素养教育内容之一。其次，针对无法及时跟进技术前沿问题，除了需要授课教师及时更新授课内容，保证课程紧跟技术前沿，更为重要的是培养学生连接学习能力。连接主义学习理论认为数字时代的学习可以看作在特定时间访问与使用所需信息的过程，与之对应，连接学习能力就是在学习需求驱动下获取与利用分布广泛的信息的能力[3] [4]。信息素养教育正是该能力的养成途径之一。（三）深化人文社会学科教育，促进深厚人文素养养成，提高数据分析结果的深度解读能力。上述两条路径培养学生适应大数据时代发展的能力，但在发挥新闻传播专业优势方面效果有限。本节将探讨新闻传播专业在数据分析流程中的优势以及如何强化这种优势。面向问题解决的新闻传播人才数据分析流程可划分为：问题解析、数据分析结果获取、数据分析结果解读三个阶段。问题解析阶段任务包括：判断问题是否可采用数据分析方式解决，如可行需要采集那些数据、选择那些数据分析方法，该阶段考验学生的数据分析思维。数据分析结果获取阶段任务包括：确定数据获取渠道并明确采集需求；定位专业人员并与之建立关联；通过与专业人员合作获取数据分析结果，该阶段需要学生具备坚实的信息素养。数据分析结果解读阶段任务包括：准确理解数据分析结果，融合背景知识对结果进行深度解读，形成可供阅读的分析报告，该阶段需要学生具备深厚的人文素养。近年来，数据分析结果解读在分析流程中的重要性日益凸显，深厚的人文素养是开展深度解读的前提，而这正是新闻传播专业学生的优势所在。一方面，新闻传播专业重视人文主义教育，与文学、历史学、哲学等不断交融，培养学生人文情怀、独立思考能力与批判精神[5]。更有学者呼吁在当前环境下更要加强文史哲教育，夯实新闻传播人才的人文基础[6]。另一方面，新闻传播学科内在基因强调与法学、经济学、政治学等社会学科交叉，培养学生跨界能力[7]。由此可知，数据分析过程中凸显新闻传播专业优势的关键在于深化人文社会学科教育，促进学生深厚人文素养养成，提高数据分析结果深度解读及对解读结果准确描述的能力。

新闻传播人才数据分析能力培养体系

摘要：在企业管理中，财务管理是非常重要的工作。财务管理质量的提高，可以使得企业领导对企业的经营状况全面分析并充分了解，基于此作出经营决策。现代企业财务管理中应用统计数据分析的方法处理数据，从中还可以提取出有价值的数据信息，可以为企业的财务管理提供参考，这也是企业发展的重要保障。本文针对数据分析在企业财务管理中的作用展开研究。

关键词：数据分析;企业;财务管理;作用

当前的市场经济环境中，竞争日益激烈，企业认识到财务管理的重要性，给予了高度重视。企业要提高竞争力，就要将财物数据信息充分利用起来。在企业的财务管理工作中，统计数据是基础性工作，不仅对于数据信息要予以处理，还要从数据中挖掘出有价值的信息。但是，从传统的财务管理模式的角度而言，企业如果没有在财务管理上与时俱进，而是依然采用传统的模式，使得财务数据信息不能够有效利用，必然会对企业的发展产生一定的影响。将统计数据分析作为一种手段，对于财务管理中产生的数据进行处理，发挥统计学原理的作用，对于财务数据信息之间的内在关联性进行研究，所获得的结果可以为企业的决策提供参考，对财务管理工作科学高效地展开也可以起到一定的促进作用。

1现代企业财务管理中对统计数据分析的应用

1.1采用统计数据分析企业产品的销售利润。处于当前的市场经济环境中，企业的产品要获得较高的经济利润，就需要提高企业经济效益。企业在发展的进程中，要提高市场竞争优势，在当前的市场中稳定的发展，就要使得生产的产品市场为导向，满足市场的需求。在企业的管理工作中，财务管理是重要的内容。企业的产品销售中要获得较高的利润，采用统计数据分析的方法是非常必要的。根据统计数据信息实时企业财务管理，使得管理工作建立在统计数据分析的基础上，为企业的决策提供参考，企业产品的盈利能力也可以根据统计数据作出判断。根据统计数据分析结果还可以制定产品销售策略，确保企业的资金高效利用。1.2采用统计数据分析企业经费。财务管理工作需要一定的资金，资金是否到位对企业各项工作的展开具有一定的影响。现代企业在进行财务管理中所要实现的目标就是在最低成本的情况下获得最高的经济效益。通过财务管理活动对成本有效控制，提高资金的利用率，同时企业的各项管理费用得到有效控制，包括员工的工资、福利以及各种招待费等都合理控制，可以实现企业的利益最大化。在具体的工作中采用统计数据分析的方法，可以获得一定的成本管理成效。在企业资金的运行过程中，按照相关的规范对资金合理控制，可以避免资金浪费。1.3采用统计数据分析企业利润总额。衡量企业经济效益中，利润是重要的指标。总利润金额中所涵盖的内容主要包括产品销售中所获得的利润、企业营业外净收入等。企业的经营中所获得的利润就是企业在经营的过程中，在收入的金额中扣除折旧、营业税以及成本消费等的剩余费用。营业外收入中，所涵盖的收入包括非流动资产处置所获得的收益、无形销售所获得的收益、非货币性资产交换所获得的收益、债务重组所获得的利润、政府提供的补贴、罚款中所获得的收入、以及获得的捐款等。在企业运营的过程中，在各种因素的影响下，企业的利润就会出现不稳定状态，很有可能导致企业没有达到预期的利润目标。在分析企业总利润的过程中采用统计数据分析的方法，可以准确的评估企业所获得的利润。所以，对于企业的资金使用合理控制，有助于提高惬意的经济利润。

2现代企业财务管理中提高统计数据分析效率的有效策略

摘要：数据分析是现代会计专业人才必须掌握的一项基本能力，学生数据分析能力的培养在会计专业教学中占有重要地位。文章首先对会计专业教学中的数据分析能力培养要求进行分析，进而采用案例研究法，探讨数据分析的重要性。在此基础上，对会计专业教学改革提出几点建议，以期促进其教学水平的提高。

关键词：数据分析；会计专业教学；重要性

一、会计专业教学中的数据分析能力培养要求

在会计电算化改革趋势下，数据分析的重要性越来越显著，许多传统会计工作已经被人工智能所取代。在教学过程中，也需要明确学生的数据分析能力培养要求，从而适应时展趋势，提升学生未来的岗位胜任力。目前计算机软硬件技术已经在会计行业数据分析中得到了广泛应用。以Stata软件为例，在培养学生数据分析能力的过程中，可以利用其统计分析、数据管理、回归分析等功能，帮助学生形成现代化会计工作的基本能力[1]。

二、会计专业教学中数据分析的重要性

1.回归分析的重要性。回归分析是会计行业数据统计常用的方法，主要对两个变量的因果关系进行检验。在大数据的应用下，回归分析方法也被应用于检验两变量的相关关系。在其应用过程中，首先要建立回归方程模型，然后利用最小二乘法等对变量系数进行估计，再利用统计学知识分析变量间相关关系的显著性，从而为企业财务决策提供支持。比如MM理论中提出，公司价值和公司资本结构无关，但利用回归分析法证实，公司价值与公司资本结构之间存在某种二次函数关系。还有学者利用回归分析方法证实企业绩效和企业借贷成本也具有相关关系，企业绩效越好，企业的借贷成本越低。这些回归分析结果对于企业财务管理具有重要的参考价值。在会计专业教学过程中，可以利用Stata软件快速完成数据回归分析工作，通过“reg/*reg”指令输入因变量、自变量和控制变量，由软件直接给出回归分析结果，从而提高会计专业工作效率[2]。2.盈余管理的重要性。盈余管理也是企业财务管理中的重要工作，但盈余管理容易成为公司管理层的自利工具，需要对企业盈余管理程度进行有效识别，这对于投资者、监管部门具有重要意义。在度量盈余管理的过程中，通常采用改进的Jones模型，按行业同年度回归分析，得出模型残差，反映公司盈余管理水平。如果残差为正值，说明公司采取的是正向盈余管理措施，可能调高公司业绩。相反则代表公司采取负向盈余管理措施，可能调低公司业绩。在会计专业教学过程中，同样需要引导学生掌握利用软件实现盈余管理的能力。在Stata软件中，盈余管理残差计算是通过循环命令实现的，分别进行年度循环和行业循环，然后在statsby命令下进行分类变量循环，最终计算出相应的残差，通过该数据反映公司盈余管理水平，帮助投资者了解公司实际经营状况。3.事件分析的重要性。会计专业教学中的数据分析也包含事件分析研究，根据市场效率假说，所有股票涨跌的影响因素都能够即时反应在股票变化趋势上。Fama在此基础上提出弱势效率、强势效率和半强势效率的市场概念，可以通过开展相关事件数据分析工作，判断股票变化趋势。目前事件分析研究已经成为检验市场有效性的重要工具。在其应用过程中，主要是通过检验某个事件发生后的股票价格变化，得到异常报酬率，判断该事件的信息含量。采用这种数据分析方法，可以帮助投资者正确认识事件的影响，包括公司并购行为、回购行为、定向增发股票和诉讼行为等。

摘要：大数据时代，数据分析各环节的变化对统计学专业人才培养模式的变革起到了催化作用.数据挖掘作为拓展和提升大数据分析方法与思路的应用型课程，被广泛纳入统计学本科专业人才培养方案.本文对大数据时代数据分析师的职业需求进行了调研，在此基础上提出了基于R语言的项目式数据挖掘实验教学模式.教学实践结果表明，通过项目式学习，可以让学生在掌握理论知识的基础上，进一步提升分析问题和解决实际问题的能力，进一步适应大数据时代数据分析师的职业要求.

关键词：统计学；数据挖掘；实验教学；数据分析师；项目式学习

1引言

2016年美国统计协会(AmericanStatisticalAsociation)对统计学的内涵给出一个较为简洁的说明，将统计学定义为：“thescienceoflearningfromdata”，即从数据中学习的科学[1].该定义实际上与数据科学（DataScience）的内涵如出一辙.笔者以为ASA之所以对统计学做出这样的内涵解释，实际上表明在大数据浪潮中，统计学正走在变革的道路上.大数据时代，数据的产生、收集、分析与应用等环节都发生着深刻的变化.互联网技术的高速发展使每个人成为数据的生产者，数据生产已经突破了时间、地点的限制，数据量也由抽样数据向大数据转化；数据的存储类型由纸和笔记载的关系型结构化数据向半结构、非结构和异构的网络数据类型转化；数据的采集由根据统计分析目的的调查式收集向基于大数据技术的自动化采集方法转化；数据的分析由传统的验证型分析方法向探索型分析方法转化；数据的应用由辅助管理决策向引导变革转化.以上变化正在重塑数据分析流程，而数据分析模式的变革必然引起教育模式的改革.事实上，在大数据洪流的冲击下，统计学专业的人才培养模式已经悄然发生变化.当前，统计学专业融合大数据、计算机、人工智能等相关学科知识，引导学生认识和掌握数据处理的新技术，推动交叉学科应用型人才的培养，已经成为共识.其中，在统计学专业课程体系中引入数据挖掘课程就是典型的代表.数据挖掘技术在一定程度上弥补了传统统计分析方法的不足，可以进一步增强学生探索性数据分析的能力，更加适应大数据时代的需求.与统计学强调推断理论和方法不同，数据挖掘强调经验，着重于从数据中挖掘有用的模式和价值，只要能够有效地解决问题，方法和模型本身并不重要.因而，笔者认为数据挖掘课程能够拓展统计学专业学生数据分析的思路和方法，进一步加深对数据分析内涵的理解.由此，本文致力于探索大数据背景下统计学专业数据挖掘实验课程教学模式，以提升统计学人才实践应用能力，使其不断适应大数据分析的需求.

2大数据时代市场对应用型统计人才的新需求

数据分析师是统计学专业大学生毕业后的主要职业选择之一.数据分析师是指在不同行业中，专门从事数据搜集、整理、分析，并依据数据做出行业或市场研究、评估和预测的专业人员；是以实际数据为依据，对项目现状及远期进行统计、分析、预测并转化为决策信息的专业人才[2].为了客观分析大数据时代应用型统计人才需具备的知识、能力和技术，本文通过智联招聘网对企业公布的数据分析师职位招聘信息进行了调研，这些招聘信息都是面向应届本科毕业生的，具有较强的针对性，调研时间为2018年8月3日.本文调研了七家上市公司[3]，有国企事业单位、互联网公司、金融公司、网络游戏公司、网络媒体公司等，各公司对数据分析师的岗位职责、知识要求、能力要求和技术要求见表1所示.从数据分析师的岗位职责来看，不同类型的企业虽然具体要求不同，但是核心职责是相同的，主要有三个方面：负责业务部门的数据需求分析，也就是通过调研了解业务部门的需求，确定数据分析对象和目的；构建业务数据分析指标体系，即如何开展数据分析工作，确定数据采集、处理和分析及结果解读等环节的指标、方法、模型及数据分析工具等；为业务部门提供数据决策支持，包括撰写调研报告、数据分析报告及设计数据产品和开发数据分析工具等等.从岗位职责的核心要素来看，数据分析师是非常契合统计学专业的人才培养目标的，从调研到设计到分析到结果解读，是数据分析的一个完整流程.但是，也可以看出很多企业在数据分析中特别强调了数据挖掘方法，如北京计算机技术及应用研究所强调用户行为挖掘和个性化推荐、金融界强调用户行为数据和网络日志数据挖掘，而这些都不是传统统计学分析方法的范畴.从知识要求来看，大部分企业都要求数据分析师具有统计学专业背景，但互联网公司特别强调统计学、数学和计算机的交叉和融合.实际上，数据分析师作为复合型人才，除了掌握必要的统计分析理论和方法外，数学建模和编程能力都是必不可少的.从能力要求来看，较强的数据敏感度和清晰的逻辑思维能力是核心要素.其次，从业务来看，数据分析师需要同不同的部门打交道，沟通协调能力和团队协作能力也是必不可少的.从技术要求来看，大部分企业都要求数据分析师至少要掌握一种统计分析软件，如SPSS或MATLAB；至少要熟悉一种编程语言，如Python或R；至少要掌握一种数据库技术，如MySql/Oracle/SQLServer等，最简单的是excel.在高校及商业统计分析领域，R语言是当前最受欢迎的统计编程语言之一.综合以上分析可以得出，统计学专业的学生要想成为出色的数据分析师，除了具备坚实的统计学理论和方法外，还需要具备良好的计算机能力，如数据库技术和编程能力.更重要的是，数据挖掘方法与技术作为大数据技术的基础已经成为数据分析师必备的技能，也是企业招聘时重点关注的技术.

1安全大数据分析

大数据分析技术给信息安全领域带来了全新的解决方案，但是如同其它领域一样，大数据的功效并非简单地采集数据，而是需要资源的投入，系统的建设，科学的分析。Gartner在2013年的报告中指出，大数据技术作为未来信息架构发展的十大趋势之首，具有数据量大、种类繁多、速度快、价值密度低等特点。将大数据技术应用与信息安全领域可实现容量大、成本低、效率高的安全分析能力。

1.1信息安全分析引入大数据的必要性

大数据具有“4V”的特点：Volume、Variety、Velocity和Value，可实现大容量、低成本、高效率的信息安全分析能力，能够满足安全数据的处理和分析要求，将大数据应用于信息安全领域能够有效的识别各种攻击行为或安全事件，具有重大的研究意义和实用价值。随着企业规模的增大和安全设备的增加，信息安全分析的数据量呈指数级增长。数据源丰富、数据种类多、数据分析维度广；同时，数据生成的速度更快，对信息安全分析应答能力要求也相应增长。传统信息安全分析主要基于流量和日志两大类数据，并与资产、业务行为、外部情报等进行关联分析。基于流量的安全分析应用主要包括恶意代码检测、僵木蠕检测、异常流量、Web安全分析等；基于日志的安全分析应用主要包括安全审计、主机入侵检测等。将大数据分析技术引入到信息安全分析中，就是将分散的安全数据整合起来，通过高效的采集、存储、检索和分析，利用多阶段、多层面的关联分析以及异常行为分类预测模型，有效的发现APT攻击、数据泄露、DDoS攻击、骚扰诈骗、垃圾信息等，提升安全防御的主动性。而且，大数据分析涉及的数据更加全面，主要包括应用场景自身产生的数据、通过某种活动或内容“创建”出来的数据、相关背景数据及上下文关联数据等。如何高效合理的处理和分析这些数据是安全大数据技术应当研究的问题。

1.2安全大数据分析方法

安全大数据分析的核心思想是基于网络异常行为分析，通过对海量数据处理及学习建模，从海量数据中找出异常行为和相关特征；针对不同安全场景设计针对性的关联分析方法，发挥大数据存储和分析的优势，从丰富的数据源中进行深度挖掘，进而挖掘出安全问题。安全大数据分析主要包括安全数据采集、存储、检索和安全数据的智能分析。（1）安全数据采集、存储和检索：基于大数据采集、存储、检索等技术，可以从根本上提升安全数据分析的效率。采集多种类型的数据，如业务数据、流量数据、安全设备日志数据及舆情数据等。针对不同的数据采用特定的采集方式，提升采集效率。针对日志信息可采用Chukwa、Flume、Scribe等工具；针对流量数据可采用流量景象方法，并使用Storm和Spark技术对数据进行存储和分析；针对格式固定的业务数据，可使用HBase、GBase等列式存储机制，通过MapReduce和Hive等分析方法，可以实时的对数据进行检索，大大提升数据处理效率。（2）安全数据的智能分析：并行存储和NoSQL数据库提升了数据分析和查询的效率，从海量数据中精确地挖掘安全问题还需要智能化的分析工具，主要包括ETL（如预处理）、统计建模工具（如回归分析、时间序列预测、多元统计分析理论）、机器学习工具（如贝叶斯网络、逻辑回归、决策树、随机森利）、社交网络工具（如关联分析、隐马尔可夫模型、条件随机场）等。常用的大数据分析思路有先验分析方法、分类预测分析方法、概率图模型、关联分析方法等。可使用Mahout和MLlib等分析工具对数据进行挖掘分析。综上，一个完备的安全大数据分析平台应自下而上分为数据采集层、大数据存储层、数据挖掘分析层、可视化展示层。主要通过数据流、日志、业务数据、情报信息等多源异构数据进行分布式融合分析，针对不同场景搭建分析模型，最终实现信息安全的可管可控，展现整体安全态势。

1大数据处理流程

基本的大数据的处理流程可以分成数据采集、数据处理与集成、数据分析和数据解释4个阶段。首先获取数据源的数据，因为在数据源端的数据包含各种各样的结构，需要使用某种方法将其进行预处理，使数据成为某种可以用一种算法分析的统一数据格式，接着需要找到这种数据分析的算法，将预处理过的数据进行算法特定的分析，并将分析的结果用可视化等手段呈现至用户端。

1.1数据采集

大数据的采集是整个流程的基础，随着互联网技术和应用的发展以及各种终端设备的普及，使得数据的生产者范围越来越大，数据的产量也越来越多，数据之间的关联也越来越复杂，这也是大数据中“大”的体现，所以需要提高数据采集速度和精度要求。

1.2数据处理与集成

数据的处理与集成主要是对前一步采集到的大量数据进行适当的预处理，包括格式化、去噪以及进一步集成存储。因为数据采集步骤采集到的数据各种各样，其数据结构也并不统一，不利于之后的数据分析，而且，一些数据属于无效数据，需要去除，否则会影响数据分析的精度和可靠性，所以，需要将数据统一格式并且去除无效数据。通常会设计一些过滤器来完成这一任务。