评估工作流程

第四轮学科评估于 2016 年 4 月在系统总结前三轮评估经验、全面调研论证的基础上启动,共经历六大环节:

  1. 信息采集
  2. 信息核实
  3. 主观评价
  4. 权重确定
  5. 结果产生
  6. 结果公布

一、信息采集

通过国家自然科学基金委等有关部门和第三方数据提供商等获取公共数据,再通过参评学科严格按照数据填报标准提供其他评估信息,实现"公共数据与单位填报相结合"。

二、信息核实

通过四个步骤核实相关信息:

  1. 通过证明材料核查、公共数据比对、重复数据筛查等举措,对申报信息进行全面核查。
  2. 在确保国家信息安全的前提下对部分材料进行网上公示,接受同行监督。
  3. 将核查结果与公示异议反馈给各单位进行核实确认。
  4. 对重点数据进行抽查,对发现问题较多的高校加大抽查核实力度。

三、主观评价

主观评价包括问卷调查、专家评议和声誉调查三部分:

  • 对学生和用人单位进行大规模网络问卷调查(本次共 23 万学生、15 万用人单位联系人参与)。
  • 邀请同行专家对"师资队伍质量""优秀在校生""优秀毕业生""学术论文质量""社会服务贡献"等主观指标进行"基于客观事实的主观评价"。
  • 邀请同行专家和行业企业专家进行学科声誉调查,并首次邀请海外同行专家对数学、物理、化学、机械工程、计算机科学与技术、材料科学与工程等 6 个学科试点进行国际声誉调查。

本次评估共有 13000 多名同行专家、23 万学生和 15 万用人单位联系人参与了主观评价。

四、权重确定

学位中心采用专家法和德尔斐法相结合的方法,遵循严格程序分"三步走"确定指标权重:

  1. 形成初值:参考上轮指标权重和本轮评估改革理念,形成指标权重设定基本考虑和权重"初值"。
  2. 确定参考值:召开专家研讨会,确定指标权重设定原则和权重"参考值"。
  3. 求平均得最终权重:在每个参评学科至少挑选一位专家(实际邀请专家近 9000 名),根据权重设置原则和"参考值"给出各自的建议权重,学位中心通过求平均得到 95 个学科的最终权重。

五、结果产生与公布

  • 客观指标:按照"线性规划法"计算得到各末级指标得分。
  • 主观指标:分别邀请同行与行业专家、在校学生、用人单位进行评价,得到各末级指标得分。
  • 加权汇总:学位中心根据指标权重加权得出二级指标、一级指标和整体水平得分。
  • 结果公布:按照"精准计算、分档呈现"的原则公布结果,将高校与科研单位的评估结果分别呈现,并向参评高校提供"学科优秀率"(即 A 类学科占全校博士硕士授权学科数的比例)。