高校数据科学与大数据技术研究

时间:2022-09-06 11:30:51

高校数据科学与大数据技术研究

摘要:数据科学与大数据技术专业是因互联网技术的快速发展而产生的新专业,该专业以数学、统计学和计算机科学为三大主要支撑学科。该文首先讨论了数据科学与大数据技术专业的人才培养目标,从5个方面讨论了人才培养目标,然后以大数据工程师、数据分析师、数据挖掘工程师和大数据开发工程师为例,研究了该专业的岗位任职要求。根据该专业的人才培养目标,结合该专业的岗位任职要求,该文以湖北工程学院为例,从专业基础课、专业主干课、专业选修课和专业实践课这四个方面探讨了该专业的课程设置,以期为相关院校该专业人才培养方案的制订和课程设置提供一定的参考。

关键词:数据科学与大数据技术;课程设置;地方高校

随着互联网技术的不断发展,社会媒体以及各种经济和社会活动产生了海量的数据,数据的类型呈现多样化的形态,既包括结构化数据,也包括非结构化数据,如音频、图像和视频等。对这些数据进行充分利用,不仅需要数据科学理论上的发展,还需要大量掌握数据科学技术的专业人才。自2016年2月教育部批准北京大学、对外经济贸易大学和中南大学等高校开设数据科学与大数据技术专业起,许多高校纷纷设立数据科学与大数据技术专业。截至目前,我国共有500多所高校获批设立该专业。从众多高校开设的情况来看,数据科学和大数据技术专业的设立主要分布在计算机学院、数学与统计学院、商学院和信息学院,也有的学校开设在理学院。数据科学与大数据技术专业以传统的数学、统计学和计算机科学为三大支撑学科,并且涉及多学科的特定知识,也出现了许多处理大数据的技术和平台。由于数据科学与大数据技术专业开设时间较短,很多高校还处在摸索阶段,没有太多可借鉴的经验。如果只是修改数学专业、统计学专业和计算机专业的培养方案,不从具体实施方面着手操作,很难培养出符合国家和地方经济发展、符合市场需求的专业人才。一些作者对此进行了有益的探索,2018年朝乐门等[1]研究了数据科学与大数据技术专业的特色课程,2019年孙书韬等[2]分析了北美知名大学数据科学专业课程体系,文献[3][4][5]探讨了计算机学院和信息学院数据科学与大数据技术专业的课程体系,文献[6]分析了大数据专业课程体系设计中存在的主要问题,提出了“软”“硬”两套课程体系路线。湖北工程学院是第三批成功申请数据科学与大数据技术专业的学校之一,该专业由湖北工程学院数学与统计学院负责申报,开设在数学与统计学院。经过这两三年的探索和实践,对该专业已积累了一定的经验。下面就以湖北工程学院为例,从该专业人才培养目标、专业的岗位情况、专业基础课、专业主干课、专业选修课和专业实践课这几方面进行阐述与分享。

1数据科学与大数据技术专业的人才培养目标

本专业培养德智体美劳全面发展,适应环境变化和社会发展的需要,具有良好的政治素质与道德修养,掌握专业相关的学科基础知识与基本技能,具备从事大数据系统的分析、设计、实现、运行和维护能力的高素质应用型高级工程技术人才,能够在智慧城市建设和大数据相关领域内进行数据挖掘、大数据分析、大数据开发和数据可视化等工作。本专业学生毕业3~5年后应达到如下预期目标:培养目标1:掌握数学知识、自然科学知识、工程基础知识和数据科学与大数据技术专业相关知识。培养目标2:具备较强的大数据工程项目的设计、开发、应用及大数据运维部署等实践应用能力。培养目标3:具有良好的团队合作、沟通交流和项目管理能力,能够作为团队成员或领导团队完成项目的实施,具备创新精神和创业能力。培养目标4:能跟踪学习数据科学领域新技术,具有较强的终身学习能力和可持续发展能力。培养目标5:能适应环境变化和社会发展的需要,具有国际视野,把握时代特征与社会需求,具备良好的个人素质、职业道德、人文素养、专业素养和社会责任感。

2数据科学与大数据技术专业的岗位情况

我们从互联网招聘网站上的信息研究该专业的岗位情况和岗位要求得知,该专业主要有以下就业岗位:大数据工程师、数据分析师、数据挖掘工程师、大数据开发工程师、算法工程师、数据运营、数据科学家和大数据运维工程师。下面以大数据工程师、数据分析师、数据挖掘工程师和大数据开发工程师为例,阐述这些岗位的任职要求。

2.1大数据工程师

任职要求:具有1年以上大数据相关工作经验;精通至少一种编程语言,如Java、Scala、Python;熟悉Hadoop、Hive、Hbase、Zookeeper、Hue等中的多个,或者有相关工作经验者优先;熟悉Sparkstream⁃ing、Storm、Flink、Redis、Es中的多个,或者有相关工作经验者优先;熟悉Sparkmllib/GraphX、图计算、Mahout中的多个,或者有相关工作经验者优先;具备数据挖掘、数据分析、机器学习知识背景,拥有反欺诈系统、推荐系统、精准营销、信息检索等方面的工作经验者优先。

2.2数据分析师

任职要求:对数据敏感,有较强的数据分析逻辑,熟练掌握SQL、SPSS等数据分析工具,熟练使用PPT、office、Excel等办公软件;有2年相关数据分析工作经验,具备处理和分析较大量级数据的能力;能够对平台各类数据、网站流量数据、用户数据等各类数据进行统计分析;熟悉数据分析和数据挖掘理论知识、网络知识和互联网应用技术知识,了解金融平台数据分析统计,了解互联网营销;具备较强的数据报表、数据报告制作能力;有用户相关分析经验及建模经验者优先。

2.3数据挖掘工程师

任职要求:具有计算机、统计学、数学相关专业背景,具备数据挖掘理论、数据库和机器学习基础;掌握如关联规则、分类算法和聚类算法等常用的机器学习算法;掌握Python、C、C++、Java等编程语言中至少一门编程语言;理解掌握数据库原理,熟练使用Sql,能够熟练使用Hadoop系列工具;有较强的数据思维、逻辑思维和结构化思维,具有独立的分析问题和解决问题的能力;具有推荐系统和用户画像建模工作经验者优先考虑。

2.4大数据开发工程师

任职要求:两年以上大数据研发、挖掘、分析相关工作经验;精通Java、Python、SQL等数据处理语言;对数据敏感,对数据相关工作有浓厚兴趣;有Hadoop、Hive、Hbase、Presto等实际使用经验者优先考虑;工作认真、仔细,积极主动,有较好的逻辑思维能力;有数据仓库设计开发经验者优先考虑;了解数理统计、数据分析及挖掘,熟知常用算法,有运用机器学习算法建模的理论基础或实际经验者优先考虑。从以上该专业的就业岗位的任职要求可以看出,对于数据科学与大数据技术专业的学生来说,要想真正成为一个高素质、复合型的大数据人才,需要具备以下能力:(1)编程能力。掌握至少一门编程语言,如Py⁃thon、C和Java等。(2)熟练掌握Hadoop和Spark大数据生态圈及相关组件,熟悉Linux系统。教改教法88(3)具备数据存储能力,熟练掌握数据库Sql及其他类型数据库。(4)熟练使用PPT、Office、Excel等办公软件,熟练使用SPSS和R等统计软件。(5)一般该专业的工作岗位需要1年以上的工作经验。此外,不同的岗位有不同的需求,如大数据工程师、算法工程师和数据科学家需要掌握数据挖掘理论知识以及常见的机器学习算法。而大数据运维工程师需要精通Hadoop大数据生态圈,并有实际部署维护经验。数据运营和数据分析师需要了解特定领域的知识,才能知道数据背后的含义,从而更好地分析和解决该领域的实际问题。从该专业以上就业岗位的任职要求可以看出,数据科学与大数据技术专业课程开设涉及数学类、统计类、计算机类、数据科学类、大数据技术类相关课程和领域方向类课程。由于湖北工程学院数据科学与大数据技术专业开设在数学与统计学院,数学与统计学师资较强,结合人才毕业要求,开设专业基础课、专业主干课、专业选修课偏向于数学类、统计类和数据科学类相关课程。

3数据科学与大数据技术专业的专业基础课的设置

数据科学与大数据技术专业的专业基础课有高等数学、线性代数、概率论、数理统计、离散数学、C语言程序设计、Linux操作系统基础、统计学、大数据导论。高等数学、线性代数、概率论、数理统计和统计学课时较为充足,突出基础性学科的重要性。在这些课程中,数学类课程有高等数学、线性代数和离散数学;统计类相关课程有概率论、数理统计和统计学;计算机类相关课程有C语言程序设计、Linux操作系统基础。大数据导论开设为通识课,主要是让学生知道数据科学和大数据技术专业所涉及的各种专业技术以及该专业的应用领域。

4数据科学与大数据技术专业的专业主干课的设置

数据科学与大数据技术专业的专业主干课有数据结构与算法(C语言)、数据库原理及其应用技术、机器学习、应用回归分析、Python语言程序设计、数据采集与网络爬虫、数据可视化。在这些课程中,统计类相关课程有应用回归分析;计算机类相关课程有数据结构与算法(C语言)、数据库原理及其应用技术和Python语言程序设计;数据科学类相关课程有机器学习、数据采集与网络爬虫和数据可视化。

5数据科学与大数据技术专业的专业选修课的设置

数据科学与大数据技术专业的专业选修课有数学实验与数学模型、数据挖掘与分析、应用多元统计分析、应用时间序列分析、推荐系统、数值分析、计算机网络、深度学习、文本挖掘、大规模分布式系统、大数据处理技术及其应用、数据清洗、算法分析与设计、Java语言程序设计、数字图像处理、行业大数据案例分析、应用随机过程、最优化理论。在这些课程中,数学类课程有数学实验与数学模型、数值分析、最优化理论;统计类相关课程有应用多元统计分析、应用时间序列分析、应用随机过程;计算机类相关课程有计算机网络、算法分析与设计、Java语言程序设计;数据科学类相关课程有数据挖掘与分析、推荐系统、数字图像处理、深度学习、文本挖掘、数据清洗;大数据技术类相关课程有大规模分布式系统、大数据处理技术及其应用,这两门课涉及Hadoop大数据生态圈和Spark大数据分析技术。领域方向类课程有行业大数据案例分析,这门课程涉及某一领域的知识及相应的大数据分析案例实现。湖北工程学院数学与统计学院的师资力量主要集中在数学、统计学和数据科学方向。在学生选修课程时,我们会推荐选修与大数据工程师、数据分析师、数据挖掘工程师、数据运营等岗位相关的课程,对于有进一步深造意愿的学生,可以选择与算法工程师和数据科学家岗位相关的选修课程。而对于以后想从事大数据工程师、大数据开发工程师和大数据运维工程师岗位的学生,要重点学习大数据技术类相关课程和编程语言课程。

6数据科学与大数据技术专业的专业实践课的设置

从数据科学与大数据技术专业岗位情况的任职要求可以看出,一些企业和公司对求职者的实践能力有一定的要求。因此,结合该专业的人才培养目标,在制订人才培养方案时,要重视专业实践课程的设置。数据科学与大数据技术专业的专业实践课的设置分为专业课程实验课和专业集中实践课。在设置专业课程实验课时,我们将它与对应的专业课程理论课放在一起,在人才培养方案中将其作为一门课程设置,在专业基础课、专业主干课和专业选修课中都会涉及。专业集中实践课分为专业实习、专业综合实践、毕业论文设计、数据库课程设计、机器学习课程设计以及数据结构与算法课程设计等,其中专业实习和专业综合实践可以去校外的实训基地进行,采用校企合作的方式,在校外的实训基地进行的实践活动可以对校内实践教学的各个环节起到充实和完善作用。如果受到疫情影响,则可以采用在线实践实习的方式,由企业的项目工程师在线指导培训,学生通过操作实训项目,可以提高实践动手能力和人才培养质量。专业课程实验课、数据库课程设计、数据结构与算法课程设计和机器学习课程设计等都可以在湖北工程学院数学与统计学院的大数据实验室进行。

7结语

湖北工程学院数据科学与大数据技术专业的专业课程在设置方面,是根据该专业的人才培养目标,并且结合该专业的岗位情况而开设的,也借鉴了其他学校的课程设置和企业工程师的建议。学生毕业之后从事什么样的岗位和选择哪个考研方向,需要学生根据自己对相关课程的学习情况以及所选修的专业课程来确定。对于专业课程的设立和课时设定以及具体开设学期的确定,我们遵循“厚基础、宽口径、重实践、促创新”的原则。同时,我们也会考虑并结合地方高校学生的实际情况,在实际操作中进一步优化。

参考文献

[1]朝乐门,邢春晓,王雨晴.数据科学与大数据技术专业特色课程研究[J].计算机科学,2018,45(3):1-8.

[2]孙书韬,朱立谷,李春芳.北美知名大学数据科学专业课程体系分析[J].中国教育信息化,2019(24):48-50.

[3]刘建华,胡文瑜,唐郑熠,等.数据科学与大数据技术专业课程体系探索[J].科教文汇,2021(2):115-116.

[4]高艳.应用型高校数据科学与大数据技术专业课程体系探索:以山西农业大学信息学院为例[J].信息系统工程,2019(5):169,171.

[5]李莎莎,周竞文,唐晋韬,等.数据科学与大数据人才专业课程体系分析[J].计算机工程与科学,2018,40(S1):109-113.

[6]付长贺,邓甦.新工科背景下大数据专业课程体系设计[J].沈阳师范大学学报(自然科学版),2020,38(5):468-471.

作者:潘保国 吴舒展 单位:湖北工程学院数学与统计学院