科技期刊评价体系设计及应用

为了深化新闻出版领域供给侧结构性改革，运用好、发挥好出版行政审批政策“把入口、用杠杆”的作用，持续优化产业和产品结构，推动新闻出版业高质量发展，传媒监管局设立了“新闻出版资源配置情况分类问效评估（科技期刊类）”课题项目，对新创办科技期刊的办刊效果和评价体系开展专项研究。本文涉及的科技新刊评价体系设计及应用是这项课题研究的重点内容之一。课题组在分析以往研究成果以及当前我国科技期刊发展的现状和问题的基础上，结合专家意见，对科技新刊的评价体系进行了设计，并尝试用其对2013—2018年我国新创办科技期刊[1]进行具体的评价实践。

1科技期刊综合评价简要回顾

期刊评价是期刊界的一个热门话题，近十年来，国内学者年均发表该类研究论文超过200篇，涉及评价目的、评价方法、评价指标体系设计、各类评价指标的作用和关系分析等。关于科技期刊综合评价指标体系的结构及其具体应用，国家期刊出版行政管理部门先后颁发过两个文件。20世纪90年代，国家科学技术委员会颁发的《关于颁布五大类科技期刊质量要求及评估标准的通知》（国科发信字[1994]148号），将学术期刊质量标准分为政治质量、学术质量、编辑质量和出版质量4项；2020年6月，国家新闻出版署印发的《报纸期刊质量管理规定》，把报纸、期刊质量划分为内容质量、编校质量、出版形式质量、印制质量4项。此外，2000年，为了配合中国科学院知识创新工程试点工作,择优支持重点学术期刊，中国科学院自然科学期刊编辑研究会牵头研制一套“自然科学学术期刊评价指标体系”，通过17项静态指标与2项动态指标相结合,考察学术质量与编辑出版质量[2]。学术界对科技期刊综合评价指标体系的设计，也有不少讨论。庞景安等建立的“科技期刊综合评价指标体系”包括经营管理水平、编辑水平和学术水平3个方面共19项评价指标[3]；邓清燕认为，科技期刊综合评价指标体系应该包括整体标准、编辑标准、学术标准和出版标准4个方面[4]；邱均平等建立的科技期刊评价体系则包括技术性、效益性和标准化3个方面9项指标[5]；张积玉认为，评估标准的设计应多维度、综合化，既要重视政治质量、学术质量,还必须考虑编辑质量、出版质量，考察办刊条件和出版保障体系[6]；赵惠祥等从信息的传播扩散、信息承载、载体状况、运作经营状况4个方面将评价体系分解为影响力指标、文献指标、载体指标、管理指标4类[7]；叶继元认为，学术期刊的质量评价涉及编辑质量、学术质量、出版质量、发行质量等方面[8]。新创办学术期刊评价是期刊评价研究的一个薄弱环节，理论成果比较少，具体实践几乎是空白。赵新力等在问卷调查的基础上，设计了创刊的必要性、办刊基础和条件、主编背景评估、主创人员评估、办刊方针、市场定位及经营方式六个维度18个评价指标，通过专家打分，结合评估质量控制模型，进行新刊评估的尝试[9]。这项工作是课题组已发现的我国最早探讨新刊评价的研究工作，其目的是规范创刊的可行性论证，强化审批管理。叶继元等探讨了将其团队提出的“全评价”体系用于新刊评价的可行性[10]。他们的“全评价”体系概括起来是“六位一体”和“三个维度”，6个要素是评价主体、评价客体、评价目的、评价方法、评价标准及指标和评价制度，各要素之间相互作用、相互影响。“三个维度”即形式、内容和效用，分别对应形式评价、内容评价和效用评价。此项工作的主旨是呼吁期刊评价机构关注新刊的遴选，目的是促进新创期刊的健康发展，评价方法以定性评价法为主、定量评价法为辅。但该文作者仅作理论探讨，尚未付诸实践。耿海英针对新刊评价设计了吸引力、管理力和影响力3个一级指标，再细分成6个二级指标和11个三级指标，目的也是进行核心期刊的遴选[11]。对于学术质量评价，耿海英也主张以定性评价为主、定量评价为辅。定性评价主要依靠同行评议，同行评议除了通过网络问卷形式让不同层次的专家进行打分之外，最重要的是将各学科领域的专家召集起来集中对期刊进行评审。耿海英用此指标体系对2013—2017年内或新办或者更名的164种人文社科类学术期刊、按照三个学科大类分别进行了评价尝试；最后评出18种核心期刊，其他146种为入库期刊。指标权重、计分标准、同行评议的过程未具体说明。目前的研究中，对国外新刊评价的研究，所获寥寥。

2新创办科技期刊评价指标体系设计

2.1评价目的。评价目的是期刊评价工作的基础和出发点，是期刊评价工作的龙头，决定着其他要素的选择[12]，任何期刊评价都必须基于一定的评价目的，才能设计出相应的期刊评价标准、指标和方法[11]134，评价目的不同，评价标准和评价工具的使用自然也会有差异[13]。业内学者一般认为，我国期刊评价工作的目的大体上有三种：其一，各级管理部门组织的优秀期刊评选，对期刊出版导向、内容质量、出版质量、管理质量的综合评价；其二，核心期刊遴选，确定某学科较集中刊载原创论文的学术期刊，主要以文献计量学指标为根据；其三，学术质量评价，以期刊论文的学术水平、期刊所建立的学术品牌和学科领域口碑为依据。学术质量评价与核心期刊评价，以及影响因子排序有较强的关联，但并不等同，更注重品牌的作用和专家口碑，需要定量评价与定性评价的有机结合。期刊评价根据评价结果的使用目的不同，也可以这样划分三类：第一类，出版管理者视角的评价，评价结果作为出版管理的辅助手段，这种评价具有显著的中国特色；第二类，文献情报服务者视角的评价，结果作为核心期刊遴选的依据，揭示学科领域论文分布规律；第三类，学术共同体视角的评价，用以辅助学术评价、学科建设和学术行为（如投稿依据、业绩考核和审稿标准的把握）。本课题进行期刊评价研究的主要目的是综合考察最近6年新创办科技期刊的出版经营绩效，检验期刊出版资源配置的阶段性效果，以期为今后科技期刊资源配置提供参考数据，显然属于第一类评价的范畴。2.2评价方法。第一类评价，需要定性评价与定量评价的结合，往往还要进行办刊过程与结果的双重考察；第二类评价，主要基于文献计量学指标的定量评价，一般无须考察办刊过程；第三类评价主要是定性评价，注重历史积淀、学术体验和专业口碑，一般不会考察办刊过程。本课题的工作属于第一类期刊评价，宜采取定性评价与定量评价结合的方法。对新刊的定性评价与定量评价，都有相当的困难——创刊时间短，定量评价难以获取足够的文献计量学数据支持；而以同行评议为基础的定性评价以往就有失败的案例[2]。新刊因创刊时间短，在业内尚未建立广泛共识，且受到学科差异、专家个体差异，以及组织工作难度等方面的制约，专家调查方法更难以获得可靠的定性评价结果。课题组处理一些难以量化的指标的策略是，在专家咨询的基础上，根据新刊的特征和评价目的，确定价值体系，由课题组掌握统一的尺度，对各项定性指标进行评价和打分。2.3评估指标体系的研制思路和过程。课题组此项工作与以往的新刊评价工作有很大不同。从评价目的上说，以往新刊评价工作有两类，其一，为创刊审批论证设立评价指标，以完善科技期刊审批制度，增加审批的科学性；其二，对新刊的质量进行评价，指导期刊数据库关注新刊、遴选新刊。在当前我国科技期刊发展越来越体现国家战略的时代背景下，本项研究必须关注我国科技期刊发展的现状、问题、任务和目标，考察新刊在整体上与国家战略的符合度和可持续发展能力，新刊评价指标体系在可操作性的前提下，要体现时代性、科学性、导向性与合理性，要能够为出版行政管理部门今后更加有效地配置期刊出版资源、强化目标管理提供依据。基于上述目的，课题组认为采用多指标属性的简单的线性加权汇总评价方法比较合适。这种方法也被一些业内专家认为是在期刊总体评价中最好的方法[14]。2.4评估指标体系的构建。本课题指标体系的构建采取专家咨询与课题组研究总结相结合的办法。课题组基于自己的研究、办刊和创刊实践、前人研究成果及国家战略要求，结合专家意见，形成了指标体系初稿。以初稿为基础，组织专家会议讨论最终完成科技新刊问效评估指标体系（见表1），共设置4个一级指标、12个二级指标、34个三级指标。4个一级指标分别为：办刊队伍、期刊影响力、学术支撑体系和出版服务能力，权重依次为40%、30%、20%、10%；二三级指标的权重见表1，为使三级指标有足够的区分度，总分设定为400分。34项指标得分之和为期刊评估得分。2.5指标赋值。2.5.1客观指标赋值。本文的客观指标指可以通过设定一定规则计算分值的指标，在34个三级指标中，共有12个指标得分通过数据计算得到。这些指标是：编辑部职数、刊期、年发文量、发文密度、国外数据库收录、国内数据库收录、SCI影响因子、CSCD总被引、中国知网CI值、办刊投入、本领域Top10%作者比例和本领域Top5%机构供稿比例。表2给出指标数值计算的几个示例（其他指标可据此类推）。记分规则实际上也是课题组关于期刊发展价值观的体现，这里明显体现了对期刊做优、做大、做强的鼓励。2.5.2主观指标赋值。主观指标的赋值难度较大，受问卷质量、访谈质量、评分人主观因素等方面的影响。严格地说，部分主观指标，如主办单位学术实力、主编和编委活跃度、学科重要性等都需要借助学科领域专家的评判；一些指标需要进行大量的研究和深度考察才能得出可靠的结果，如编委会结构合理性、分工合理性、发展规划与刊群建设，以及出版服务能力等。本课题研究受经费与时间限制，依据问卷、实地访谈，以及公开数据，由课题组成员讨论形成基本共识后，由两位成员各自独立完成打分，再取平均值。

32013—2018年新创办科技期刊评价结果

3.1数据采集。2013—2018年创刊的科技期刊共计151种，课题组通过问卷、实地调研，辅以年检资料、样刊阅读、公开数据查阅、相关数据库检索等，共采集95种目标期刊的指标数据，占总数的62.9%。3.2评价结果。3.2.1目标期刊基本情况。总体评价结果。满分为400分，95种参评新刊平均分为280.9分，相当于百分制的70分；得分中位数为277.0分，与平均分相近。从图1可见，高分值和低分值的两端曲线陡峭，说明处于最高分段和最低分段的期刊数都比较少，曲线中段大体是一条连续变化的直线，没有出现明显的分值集聚，这既说明新刊经营要素存在显著差异性，也显示出该评价体系的良好区分度。3.2.3各类新刊得分情况比较。各类新刊得分情况见表4。1）2013—2018年创刊的151种科技期刊中，共有55种期刊获得了中国科技期刊国际影响力提升计划D类项目资助，而项目组采集得到完备数据、可以进行评估的D类项目期刊共计43种，占比78.2%，应该说有足够的代表性。评估结果显示，得分排名前10位的都是D类项目支持的期刊，说明中国科技期刊国际影响力提升计划中设置支持创刊D类项目是卓有成效的。2）以这个评价体系衡量，95种科技新刊总平均分达到了百分制的70分，各类期刊的平均分都超过了及格线，说明最近6年科技期刊刊号资源的配置总体上是有成效的。3）英文期刊的总体得分要高于中文期刊，而D类项目资助的期刊整体表现更突出一些。中英文双语刊由于样本数较少，可能代表性不够。4）得分排名靠后的期刊主要有两种情况，一种是因为办刊宗旨的不同或期刊定位的限制，难以套用学术指标；另一种情况是编辑部力量较弱，与主办单位的联系又比较松散，缺乏运作经验和业务指导。比如一些期刊以高校为主办单位，而编辑部实际上设在附属医院，编辑部人员还要从事临床工作，不能全身心投入办刊。

4讨论

4.1关于指标评价维度、指标权重与赋值。课题组根据评价目的在评价指标体系中选取办刊队伍、期刊影响力、学术支撑体系和出版服务能力四个维度，从过程、结果、可持续发展能力等方面对目标新刊进行综合评价。之所以设置出版服务能力和可持续发展能力多项考察指标，意欲体现中国科技期刊发展和管理的时代要求，也希望引起从业人员对我国科技期刊发展薄弱环节的重视。这些指标在以往的评价体系中并不突出。对目标期刊的具体评价工作由课题组根据问卷、实地调研等方法采集到的数据来完成。一些难以定量化的指标的赋值可能会受到种种因素的影响，如课题组成员的学科背景、对主办单位固有印象、实地调研中各刊讲解人表述的差异等。4.2部分重点评估指标设置的依据和意义。4.2.1办刊队伍。课题组和专家一致认为，人是最关键的要素，这种观点不仅得到许多研究工作的支持[15-19]，也得到课题组问卷和个案分析的印证。我们在“办刊队伍”中设置了3个二级指标，分别是主编、编委会和编辑部，而主编的权重等于编委与编辑部之和。特别指出，我们对主编的“办刊专注度”赋予了9个三级指标中的最高权重。主编有名望和学术活跃度高还不够，还必须对办刊倾注热情，投入精力，不能只当挂名主编。我们在实地调研中获得了不少主编专注于办刊的实例，最终评估结果表明，这些期刊也取得了不错的效果。比如《纳微快报》《中国科学：材料科学（英文版）》《光子学研究》等。科技期刊没有科学家的热情投入是很难开展工作的。课题组认为，有没有很好的办刊队伍，是期刊资源配置需要重点考察的要素之一。4.2.2期刊可持续发展能力。实践证明，在我国期刊出版管理体制下，主办单位对期刊发展的重视程度和其学术支撑体系对科技期刊的可持续发展有重要影响。具体体现为学术资源注入、人力物力投入、编辑人员待遇和晋升渠道、期刊发展规划等。可持续发展能力是课题组实地调研中重点关注的一项内容。调研发现，期刊可持续发展的基础建设正受到一些有实力的期刊主办单位的重视，比如将期刊发展纳入主办单位整体规划、设立期刊发展专项基金、完善期刊出版机构设置、强化刊群建设等。部分高校配合“双一流”建设设立了期刊发展专项资金，并以经济手段强化校内刊群凝聚力可视为这方面的一个典型案例。4.2.3出版服务能力。出版服务能力除传统的审稿质量、编辑规范、出版周期评价等指标之外，还设置了采编系统、结构化排版、新媒体营销、文章可见性等具有时代特征的指标，以体现网络化时代对科技期刊出版服务质量和水平的新要求。实践证明，缩短发文周期有利于吸引作者向新创办期刊投稿[20]。有研究指出，互联网环境下，我国科技期刊要实现跨越式发展，需要数字化工程基础上实现跨平台业务流程优化[21]；数字内容资源结构化关联、跨平台链接、多媒体呈现及实时分享也已经帮助我国一些优秀期刊建立起了很大优势[22]。4.2.4文献计量指标。文献计量指标尽管存在很多争议，但毕竟是评估办刊效果的重要依据之一。为公平起见，原则上应该区分中英文期刊和不同创刊年限的期刊，且应对创刊时间较短而没有进入各种数据库收录、没有引证指标得分的期刊进行系统性的修正。但鉴于其复杂性，课题组暂未进行这种修正。期刊影响力方面除引证指标之外，还设置了发文密度指标考察年发文量，以及年均发文量与同学科领域期刊平均发文量的比较，体现既鼓励做强，也鼓励做大的评价导向。指标体系设计实际上也体现了设计团队的价值观。

新刊评价是一个难题，也没有受到业内足够重视，相关研究成果比较少，实操层面的工作几乎是空白。课题组完成的科技类新创办期刊的评价实践还有待于进一步研究和完善。尽管此项评价体系是对新创办科技期刊的阶段性运营效果的评价，没有专门涉及创刊必要性的考察，但我们认为，此项研究对期刊出版行政管理部门进行科技期刊创刊的前置审批，具有一定的参考价值。虽然本课题研究的基本任务是评价科技新刊个体的经营业绩，但课题组从课题设置的目的和我国科技期刊发展的需要出发，把视野延伸到了与其相关的期刊集群、发展环境和运转支撑体系的效果评价，深度考察科技期刊的可持续发展能力。在注重结果考察的同时，进一步研判发展趋势，以期对期刊出版行政管理部门有效地配置资源提供更有针对性的决策参考。

作者:胡升华 朱蔚 周洲 王志欣 彭斌 单位:科学出版社