医学期刊送审系统评价论文统计学探讨

时间:2022-11-17 09:53:56

医学期刊送审系统评价论文统计学探讨

系统评价对纳入研究进行综合分析,是循证医学研究的重要工具,在医学研究中被广泛应用。系统评价涉及文献筛选与数据提取分析等,虽然很多研究人员学习了系统评价方法,但如何正确筛选文献与提取数据、统计分析与结果表达,仍然是很多科研人员比较困惑的问题。有些系统评价论文纳入研究筛选有问题,效应模型选择不正确,直接影响研究结果的可信度,导致论文质量不高或者结论错误。本文对某医学期刊2014年至2020年送审的系统评价/Meta分析论文中的方法学与结果表达等问题进行分析,旨在帮助作者论文撰写中避免类似的错误,提升论文质量。

资料与方法

一、数据来源

数据来源于某大学医学期刊2014年至2020年送审的系统评价/Meta分析论文及作者的审稿记录。

二、研究方法

根据PRISMA声明和AMSTAR2工具自行设计系统评价/Meta分析论文数据质量及统计学问题分析整理表格,内容包括:①文章的稿件编号、第一作者姓名、论文题目、年度;②数据来源与提取问题:是否详细描述文献纳入标准,是否清楚交待文献检索策略,是否报告纳入文献的过程,是否双人筛选文献,是否双人提取数据,是否给出纳入研究的出处,有无重复纳入文献,纳入研究的信息是否与参考文献一致等;③数据分析与评价问题:是否清楚描述纳入研究的样本含量、PICOS等特征,是否对纳入研究的偏倚风险进行评价,是否报告异质性检验结果和综合效应值及其可信区间,森林图原始数据录入是否正确,效应综合分析模型选择是否正确,森林图的标尺选择是否恰当,综合效应的表述是否正确,是否报告研究的局限性等;④数据前后一致性问题:摘要与正文的数据是否一致,正文描述与统计图表的数据是否一致,统计图表之间的数据是否一致,流程图文献数据是否正确[1-6]。将送审系统评价/Meta分析论文打印成纸质版,每篇论文一张数据质量及统计学问题分析整理表格,逐项评价;采用Excel建立数据整理分析表格。

三、统计学方法

数据采用SPSS18.0软件进行统计分析,计算各条目的数量和百分比,结果采用[n(%)]形式表示。

结果

51篇系统评价和Meta分析论文被纳入分析,其中2014年度10篇,2015年度11篇,2016年度10篇,2017年度6篇,2018年度7篇,2019年度2篇,2020年度5篇。

一、数据来源与提取问题

43篇论文(84.3%)给出了详细的纳入排除标准,38篇论文(74.5%)报告双人筛选文献,45篇论文(88.2%)提及双人提取数据,33篇论文(64.7%)报告了纳入文献的过程。但33篇论文(64.7%)仅给出文献检索主题词,没有详细描述数据库检索方法;11篇论文(21.6%)纳入研究的基本信息与参考文献不一致;4篇论文(7.8%)涉嫌重复纳入文献;4篇论文(7.8%)部分纳入研究没有交待出处,其中1篇论文中纳入12篇文献,有9篇文献没有交待出处。

二、数据分析与评价问题

49篇论文(96.1%)报告了异质性检验结果和综合效应值及其可信区间,48篇论文(94.1%)清楚描述纳入文献的样本含量、PICOS等特征,45篇论文(88.2%)报告了研究的局限性,但18篇论文(35.3%)未对纳入文献的偏倚风险进行评价,13篇论文(25.5%)效应综合分析模型选择错误,9篇论文(17.6%)森林图标尺问题,6篇论文(11.8%)森林图原始数据录入有错误,2篇论文的P值与95%CI矛盾,1篇论文的OR不在其95%CI范围内,1篇论文异质性检验的P值与综合效应的P值混淆。

三、数据前后一致性问题

15篇论文(29.4%)正文描述的数据与统计图表不一致,7篇论文(13.7%)摘要的数据与正文不一致,7篇论文(13.7%)统计图表之间数据不一致,7篇论文(13.7%)文献筛选流程图中数据有错误。

讨论

一、应注意数据来源与提取的准确性

系统评价/Meta分析是对纳入研究进行综合分析,纳入研究的来源及提取数据的准确性是系统评价/Meta分析的基础。系统评价/Meta分析应给出明确的纳入排除标准(PICOS),描述数据库检索方法,交待纳入研究的筛选过程与文献来源[1-6]。很多系统评价文献都描述由2名研究者独立筛选文献、提取资料并交叉核对,如遇分歧则讨论解决或征求第3位研究者的意见[7-10]。分析发现,64.7%的论文仅给出了文献检索词,没有描述数据库检索方法,比例与李波[11]接近(63.2%),高于周为文[12]的研究(40.14%);21.6%纳入研究的基本信息与参考文献不一致,7.8%涉嫌重复纳入文献,7.8%仅列出部分文献出处。如“神经内镜治疗脑出血”的Meta分析中,文献[2]和文献[4]是同一单位采用德国蛇牌神经内镜清除高血压脑内血肿的研究,文献[2]是2001年至2004年的总结,文献[4]是2001年至2006年的总结,涉嫌重复纳入文献问题;“微生态制剂治疗肝硬化”的Meta分析中,文章描述筛选纳入12个研究,有9个研究没有交待出处。说明在纳入文献筛选与数据提取方面存在不足。如果纳入研究筛选有问题,或者文献数据提取有错误,得到的综述结论就可能是片面的或者错误的。作者应注意文献检索策略是否交待清楚,有无重复纳入文献,纳入研究是否交待来源,文献信息是否正确,数据提取是否准确。

二、应注意分析方法与评价的正确性

系统评价/Meta分析根据纳入文献进行综合评价,纳入文献的偏倚风险直接影响综合结论的证据等级;Meta分析的效应合成涉及效应模型选择,异质性检验不显著使用固定效应模型,异质性检验显著使用随机效应模型,模型选择错误会影响综合效应结论的可靠性。本次发现35.3%的论文未对纳入文献的偏倚风险进行评价,高于李波[11]的研究(26.5%)和周为文[12]的研究(10.82%);25.5%综合效应分析模型选择错误,17.6%森林图效应指标95%CI呈现“点状”,11.8%森林图原始数据录入有错误。如“中国人群LEPR基因多态性”的Meta分析中,森林图显示某文献对照组观察总数172例,发生数4172例;“含替吉奥”的Meta分析中,9个森林图中有7个的OR值不在其95%CI范围内。说明有的作者不了解纳入研究偏倚风险评价的意义,不熟悉效应模型选择原则,不清楚Meta分析的P值与95%CI之间的关系。在刊出的论文中也有95%CI呈现“点状”的问题,如刘维高的论文中各文献效应指标95%CI的数值范围均在-7~1的范围内,游玲的论文中各文献效应指标95%CI的数值范围均在-3~1的范围内,森林图标尺范围设定在-100~100,使得效应指标95%CI呈现为“点状”[13-14]。撰写系统评价/Meta分析报告时,作者应报告纳入文献偏倚风险的评价方法与结果,根据异质性检验结果正确选择效应模型,注意OR95%CI与P值的关系;绘制森林图时,应根据纳入文献效应指标95%CI的数值范围设定标尺,使95%CI呈现“菱形”,避免出现“点状”。

三、应重视论文数据前后一致性

数据正确是科研论文撰写的基本要求。本次发现29.4%的论文存在正文描述的数据与统计图表不一致,13.7%的论文存在摘要与正文数据不一致、统计图表之间数据不一致。如“人群LEPR基因多态性”的Meta分析中,文章描述“共8项研究报道了rs1137101位点,4435例研究对象,其中病例组2994例,对照组1441例”,“8项研究报道了rs1805096位点,3594例研究对象,其中病例组1896例,对照组1698例”,而两个森林图的样本量分别为4771例(病例组3166例,对照组1605例)、6544例(病例组3148例,对照组3396例)。“Evolocumab调脂治疗”的Meta分析中,文章描述不良反应发生率的RR=1.05,95%CI=1.00~1.76;严重不良反应发生率的RR=1.03,95%CI=0.85~1.02;严重不良反应导致停药的RR=0.76,95%CI=0.43~1.33;而图3显示不良反应发生率的RR=1.05,95%CI=1.02~1.09;表4显示严重不良反应发生率的RR=1.03,95%CI=0.85~1.25;严重不良反应导致停药的RR=0.91,95%CI=0.31~2.70。如果一篇论文前后数据都不一致,说明数据真实性有疑问,综合结论的可靠性不高。因此,论文投稿前作者应对全文的数据进行核对,看数据前后是否一致,结果描述是否与图表一致,摘要的数据是否与正文一致[15-16]。虽然纳入分析的是某医学期刊送审的部分系统评价论文,但仍然反映出部分论文在文献检索策略与数据提取、效应模型选择与结果表达等方面存在不足。如果系统评价/Meta分析纳入研究筛选有问题,或者文献数据提取有错误,或者效应模型选择不正确,或者报告的数据前后不一致等,得到的综述结论可信度就不高。作者应掌握正确的文献筛选、数据采集、统计分析方法,确保数据来源的准确性和统计分析的正确性,提升稿源质量。