继续医学教育项目评估体系创建思考

时间:2022-04-07 04:21:30

继续医学教育项目评估体系创建思考

1项目评价指标体系构建

1.1评价原则

本评估指标体系遵循科学性、导向性、可操作性及强化实施过程和控制质量为重点的原则,采取过程评估与结果评估、定量评估与定性评估相结合的方法进行评估。

1.2研究方法

本研究运用文献分析法、专家咨询法(Delphi法[5])初步建立一套继续教育项目评估指标体系,进一步采用现场调查法对指标体系进行修订。

1.3指标权重确定方法

采用Delphi专家咨询法初步拟定的评价指标体系向20位长期从事教学、继续教育管理专家和一线工作人员下发《继续医学教育项目评估指标体系》。20位专家平均年龄46.7±7.9岁,男性8位,女性12位,正高10位,副高10位。在整合专家意见基础上,再次召开继续教育项目评价指标征求意见会作二次修订形成目前版本。两次问卷全部收回,有效问卷100%。

1.4《继续医学教育项目评估指标体系》框架构成

本项目评估属于选优性评价,同时又兼具水平性评价和鉴定性评价的特征[6]。根据《“十一五”继续医学教育工作评估指标体系》、《“十一五”继续医学教育评估指南》、《2008年北京市三级医院科教工作检查指标体系》、《教育部第三轮学科评估指标体系(理工农医门类)》、《卫生部部级继续教育基地总结汇报表》等要求,围绕继续医学教育项目全过程所涉及的要素,借鉴国内外相关评估指标体系的评价等级和部分评价内容的成果[2~4,6,7],构建了继续医学教育项目评估的基本框架,包含一级指标4个,二级指标9个,三级指标42个。其中一级指标分别是师资队伍(20分)、项目实施(45分)、项目声誉(25分)、项目改进和创新(10分)。师资队伍和项目实施为客观评分,项目声誉、项目改进和创新为主观评分。二级指标依次是项目负责人(8分)、项目组(12分)、项目组织(20分)、人才培养(20分)、档案管理(5分)、学员评价(16分)、社会贡献(5分)、国际/国内领先(4分)、项目改进和创新(10分)。三级指标针对每一项指标又进一步细化内涵,分为5个等级:A、B、C、D和E,分别代表1.0、0.8、0.7、0.6和0权重系数。继续医学教育项目评估指标体系见附录。

2讨论

人、过程、档案材料和效果及改进为影响继续医学教育项目质量的四大主要因素[7]。依据强化实施过程和控制质量为重点的原则,项目实施过程权重为0.45,项目改进和创新权重为0.10。医院举办继续医学教育项目的数量和项目质量是衡量医院质量,展示医院医疗、教育水平的重要指标之一,而部级项目又是科室学科地位的晴雨表[9]。CME项目评价是实现项目管理科学化、规范化,保证项目质量的前提。通过应用本指标体系定期评价继教项目,选拔和树立优秀典型示范部级继教项目,推广其先进的设计理念、科学的内容设置、有效的教学手段等,使继教项目朝着科学化、规范化、信息化和高内涵水平发展。师资队伍是继教项目的主要承担者,是保证其质量的首要因素,权重为0.20。主要由本院专家、教授和国内知名专家共同授课,部分项目会聘请国外专家,以提升项目水平。因此在国内专家队伍基础上,国外知名专家则另加1人次×0.1分,可突破本指标上限。选取的评价指标更加强调师资队伍的教学经验和教学成果,如是否担任研究生导师以及是否获得过相应的教学成果奖励。项目实施过程是质量控制的关键环节,包括项目组织过程、培训内容质量和培训对象情况。本指标体系强调过程管理,赋权重为0.45。通过对项目申报时的策划、专家资质审核、授课题目确定以及实施与计划的符合程度、教材编印、学员评估等环节进行有效把控,其中档案管理是反映项目终末质量的重要途径。档案材料包括项目申请表、举办前的通知、培训课程安排,到举办过程中的学员通讯录、学员考卷、满意度调查表、学分证书等,以及项目举办后的总结、项目执行情况汇总表、学员考试成绩单等,能够真实反映项目执行全过程的实际情况,尤其对于回顾性评价,档案是评价的主要依据,因此档案评价设权重为0.05。本指标体系具有较强实用性和可操作性。项目效果的评价可分为短期效应和长期效应。长期效应可渗透到医生的临床、科研能力或思维、态度的改变,从而对未来工作中遇到的不确定情况做出明智的判断。但是长期效应是很难独立评价的。因此我们根据可操作性原则仅对短期效应做出评价。学员评价按照卫生部部级继续教育基地评估要求进行,其中第8项根据选择项目数量划分等级。社会贡献、国际/国内领先地位由自评和他评分别评估,各占50%。评价导向可促进技术成果转化和推广应用,注重实效性,强调临床/科研成果应用、学术成果推广或/和人才培养等重要贡献。项目的国际/国内领先地位依据项目的影响力等级划分为国际性、全国性或省市级。项目效果评价方法也是本评价指标的特点之一,采用了学员评价、自评和他评三方相结合的评价方法,一方面避免了项目效果评价的不可操作性和评价结果的不确定性,另一方面避免了由于感情或随意性造成的偏差,增加了一定的科学性。项目改进和创新是项目质量不断提高的重要保证。项目如果能够在原有基础上在项目内容、授课形式、科学研究、新技术、人才培养、教材等方面有所突破和提高,将会进一步提升办班质量。目前国际上成熟的继续教育项目的成功经验提示,在项目评价中应该更加关注培训项目设计理念的先进性、内容设置的科学性、教学手段的有效性[8]的考核。本指标体系初步达到强化继教项目过程管理和质量控制、促进继教项目创新和改进的目的,但仍需要进一步细化项目内容,如增加针对课程内容设计先进性的考核,实践教学的成功经验和实用教学技巧运用的考核,参训者是否达到项目设计的临床实践能力要求[9]的考核等指标。此外,由于评价指标数据覆盖项目管理全过程,数据量大,持续时间长,工作繁琐,因此,加强继续教育项目管理信息化建设刻不容缓。

作者:周彩虹张永明工作单位:北京协和医学院中国医学科学院肿瘤医院