程哲 卢兴富 李福林｜世界一流大学建设成效评价分析——基于科研论文的视角
DOI:10.16298/j.cnki.1004-3667.2020.10.06
摘要
基于科研论文从规模、质量和效益三方面构建世界一流大学建设成效评价指标体系，依据论文发表的学科结构，运用聚类分析为国内建设高校寻找对标院校。评价结果表明：国内建设高校在科研论文发表上，规模显著提升，质量有待加强，效益转化亟待提高。在下一轮“双一流”建设中，国内建设高校应进一步依据建设方案聚焦学科建设方向，更加注重内涵式发展，从重视规模向提升质量转变，提升科研的转化能力。
关键词
科研论文；世界一流大学；成效评价
一、问题的提出
2020年是我国首轮“双一流”建设的收官之年。在第一轮建设周期内，世界一流大学建设高校（后文统称“国内建设高校”）为提高科学研究水平，从改革科研体制机制、搭建跨学科平台、建设国家重点科研基地和智库、加强产学研平台建设等方面做出了巨大努力，投入了大量资源。在此背景下，有必要分析国内建设高校在第一轮建设过程中取得的进展，探究国内建设高校是否缩小与其他国家世界一流大学的差距，评价我国世界一流大学的科研建设成效。
已有研究从不同角度提出对世界一流大学建设成效评价的思考。王战军指出要从全过程的视角动态监测“双一流”建设成效；周光礼指出要从国际标准和国际参照中吸收合理标准开展建设成效评价。其他研究从别国的成效评价过程中汲取经验，提出我国开展建设成效评价要采取多元化评价方式，认识到大学建设是一个动态积累的过程，要在不同阶段选取合适参照大学，理性追赶。
在国内外评价具体建设成效的文献中，有很多研究直接从科研角度开展评价。徐小洲从科研视角分析发现韩国BK21（Brain Korea21）工程实施取得了巨大的成功；Rodionov从科研产出和影响力两方面评价俄罗斯“5-100”项目实施效果，指出俄罗斯要继续加大对建设世界一流大学的投入；王涛涛从博士培养和教师成果两方面分析发现日本大学卓越计划提升了日本顶尖大学的教育研究实力。该类研究均从科研视角出发，评价高校在项目周期内的建设成效。虽然也有其他研究从教学、科研、国际化、大学治理等方面综合开展成效评价，但该类研究难以直观呈现院校的建设成效，也无法实现不同院校的比较，衡量建设高校与其他院校的距离。现有研究中，既能反映高校建设成效，又能比较建设高校与其他高校差距的研究主要基于科研论文开展，如Shin通过比较SCI发文数量，发现BK21工程并未能帮助韩国大学缩小与日本和中国高校的差距；王传毅运用科研论文以及相关衍生指标分析发现入选德国大学“卓越计划”的高校相比未入选高校在提高德国大学科研表现上的效果并不显著。
结合已有研究经验，本研究认为开展建设成效评价需要注意以下几个方面：第一，确定对标对象，建设世界一流大学是一个长期的过程，不同类型、不同发展阶段的高校建设水平、发展目标不同，学科结构也存在较大差异，开展成效评价，需要找到评价维度下同类可比的院校；第二，分析视角多元，视角多元要求研究既从多视角构建评价指标体系，又从多方面分析评价结果；第三，国际公认可比，衡量世界一流大学建设成效，需要与世界一流大学在国际公认可比的指标上开展比较，将评价结果作为衡量成效评价的重要依据。
本研究基于科研论文在成效评价中的优势，通过科研论文及其相关衍生指标构建世界一流大学建设成效评价指标体系，比较国内建设高校与其他国家世界一流大学的差距。首先，采取聚类的方法为国内高校找到对标院校；其次，从规模、结构与质量的角度比较国内建设高校与世界一流大学的差距，分析国内建设高校在第一轮建设中取得的进展；最后，反思我国“双一流”建设中存在的问题，为下一轮“双一流”建设成效评价和政策调整提供参考。
二、基于科研论文的世界一流大学成效评价设计与指标体系的构建
（一）研究设计
科研论文作为证明研究者占有学术优先权的重要手段，其数量和相关衍生指标是开展高等教育评价的重要依据。基于科研论文，运用国际公开数据库也是开展国际比较的通行做法。本研究采用聚类研究方法为国内建设高校定位对标院校，并基于爱思唯尔数据库中的科研论文及其相关衍生指标，构建世界一流大学建设成效评价指标体系，综合评价自2014年以来（“双一流”建设的前一年），国内建设高校在科研论文方面的表现。
（二）比较对象的选取依据
高校发表科研论文的学科结构是反映高校科研产出分布的重要指标，这也为国内建设高校找到评价维度下的比较院校提供依据。为了既保证比较院校属于世界一流大学，又保证比较院校与本校在科研论文发表领域上具有较高的同质性，提升比较的效度，研究通过确定世界一流大学名单，基于院校学科发文结构开展聚类分析，得到国内建设高校与世界一流大学的比较名单。具体步骤如下：①筛选2019年QS、U.S.NEWS、Times和软科世界大学排行榜排名前100的院校，取并集，确认138所世界一流大学名单；②从爱思唯尔数据库下载世界一流大学和国内建设高校27个学科门类的发文数量，计算各校学科发文的相对比例，对学科结构数据进行标准化；③运用二步聚类法，通过预聚类、确定最佳簇数量和范围、分派簇属数据点，获得聚类结果；④为了保证结果的稳定性，研究通过剔除占比最大值低于5%、10%、15%和20%的学科，反复聚类并调整，最终得到基于学科发文结构的聚类名单。（见表1）
各条件下的聚类结果均显示聚类质量良好，基于学科发文结构的分析结果将比较对象分为四类。为了更加直观地反映各类高校的学科特征，研究将各类表现突出的学科（学科占比高于10%）予以呈现，结果如表1所示。
聚类结果显示：第一类高校发文比例突出的学科为医学、工程学和物理与天体学；第二类高校发文比例突出的学科为计算机科学、工程学、材料科学和物理与天体学；第三类高校发文比例突出的学科包括农业与生物科学、生物化学、基因学与分子生物学和环境科学；第四类高校发文比例突出的学科为社会科学、数学和计算机科学。
（三）评价指标体系的构建
高等教育的内涵式发展要求高校发展实现规模、质量和效益的统一，故本研究从规模、质量和效益三方面构建基于科研论文的世界一流大学建设成效评价指标体系。
科研规模扩大是高校科研发展的直接体现，已有研究多采用论文发表数量衡量科研规模的大小。故本研究采用论文数（Article）作为评价高校科研规模的指标。为了突出高校科研规模的特征，研究进一步统计发表在1区期刊论文的数量，表征在高水平期刊上的论文发表规模。
科研质量提升是高校科研发展的核心表现。学科标准化后的论文影响力（FWCI，Field-Weighted Citation Impact）是衡量科研论文质量的常用指标之一，它计算的是学者论文的被引用次数和相同学科、相同年份、相同类型论文平均被引次数的比值，常被用于高水平大学的科研质量比较。但学科标准化后的论文影响力仅能反映高校论文的整体水平。考虑到各院校科研论文发表的质量差异，本研究通过引入5年h指数来反映高校最近五年科研成果的影响力。5年h指数是指学校过去5年发表的N篇成果中，至少有h篇被引达到了h次，该指标既能反映院校的整体科研水平，又能显示高水平科研论文的数量和质量。
科研效益是高校与外界开展知识互动的直接体现。爱思唯尔数据库试图用科研论文与专利的引证关系表征科研的经济效益（Economic Impact）。其中两项指标，引用院校论文的专利数量和千篇论文专利被引数，是反映科研论文效益的常用指标。引用院校论文的专利数量指在特定时间内共有多少专利引用过该校发表的科研论文，千篇论文专利被引数量指在特定时间内院校每发表的1000篇论文中，被专利引用的数量。
综上，本研究基于科研论文构建出包含三个维度、三个一级指标和六个二级指标的世界一流大学建设成效评价指标体系。（见表2）
三、基于科研论文的世界一流大学建设成效比较
基于聚类结果和构建的世界一流大学成效评价指标体系，比较国内建设高校2014—2019年在科研论文发表上与世界一流大学的差距。为了更直观地反映建设成效，本研究仅呈现2014年、2019年各类别建设高校的平均水平和表现突出院校的情况。
（一）规模维度对比
规模比较主要从总体发文规模和1区期刊论文发表规模两个方面开展。
1. 总体发文规模。第一类高校中的国内建设高校总体发文规模在建设初期已经优于境外比较院校，经过五年建设，其整体发文规模更是远高于境外。其中境内表现最好的三所大学是浙江大学、上海交通大学和北京大学，发文规模远高于境外位列前三的东京大学、首尔大学和新加坡国立大学；在境内外排名最末的三所院校中，华东师范大学、中国海洋大学表现也优于境外巴黎高等师范学院和莱斯大学。从增量来看，相较于2014年，国内建设高校总体发文增量几乎全面高于世界一流大学，上海交通大学甚至超过5000篇。从增幅来看，国内建设高校全面高于境外，其中郑州大学发文规模增幅超过了150%。增量和增幅反映出国内建设高校在论文产出上的巨大进步，总体规模已经追赶上世界一流大学。
第二类高校与第一类高校相似，国内建设高校平均水平在2014年已经优于境外，2019年这种优势更加明显，表明国内建设高校发文规模增长迅速。境内表现最好的清华大学、华中科技大学和西安交通大学，发文总数要远高于境外排名前三的南洋理工大学、香港理工大学和佐治亚理工学院。从增量来看，国内高校发文数量普遍高于境外，其中西安交通大学、华中科技大学增量超过4000篇；从增幅来看，国内一流大学建设高校也普遍高于境外高校。
在第三类和第四类高校中，国内两所农业类建设高校相比境外瓦格宁根大学有巨大的进步，差距不断缩小，中国农业大学发文规模也在2019年实现对瓦格宁根大学发文规模的超越。中国人民大学在发文规模上也远高于巴黎第九大学，2019年发文规模超过伦敦政治经济学院。（见图1）
2. 1区期刊发文规模。1区期刊发文数量既能反映出高校科研的规模，也能在一定程度表现出规模水平的质量。
第一类高校1区期刊发文比较结果表明，国内建设高校平均1区期刊发文水平从2014年到2019年有显著提升。表现最好的浙江大学、上海交通大学和北京大学要优于境外位列前三的东京大学、麻省理工学院和首尔大学；在境内外排名最末的三所院校中，华东师范大学、中国海洋大学整体水平也高于境外排名最末的马来亚大学、巴黎高等师范学院和莱斯大学。从增量上看，绝大部分国内建设高校1区期刊论文发表增量高于境外一流大学；从增幅上看，国内建设高校全面高于境外，最低的南京大学增幅超过50%，最高的郑州大学增幅超过280%。
第二类高校的比较结果表明，2014年，国内建设高校1区期刊发文平均水平已经优于境外，2019年优势更加显著。发文最多的三所院校中，清华大学、华中科技大学和中国科学技术大学要远高于境外位列前三的南洋理工大学、香港理工大学和佐治亚理工学院；在境内外排名最末的三所院校中，东北大学、国防科技大学表现也优于境外排名最末的卡内基梅隆大学、阿卜杜拉国防科技学院和浦项科技大学。从增量来看，除了国防科技大学和新疆大学两所高校，国内大学增量均高于境外；从增幅来看，国内大学增幅均显著高于境外，其中西北工业大学增幅最大，高达245.54%。
在其余两类高校中，国内建设高校的1区期刊发文在规模、增量和增幅上都有巨大的提升，虽然国内建设高校与世界一流大学仍然有一定差距，但水平已经非常接近，中国农业大学2019年发文数量已经超过瓦格宁根大学，中国人民大学的增幅显示出对伦敦政治经济学院的超越趋势。（见图2）
（二）质量维度对比
质量比较主要从学科标准化影响力和高校5年h指数两方面开展。
1. 学科标准化影响力。从第一类高校的FWCI水平来看，国内建设高校的平均水平一直低于境外。从境内外排名前三的院校来看，境外麻省理工学院、加州大学伯克利分校和普林斯顿大学的FWCI水平要远高于境内南开大学、北京大学和南京大学，但从五年差距来看，国内建设高校与境外高校的差距在不断缩小。而在排名最末的三所境内外院校中，北京师范大学的表现要优于日本东北大学、名古屋大学和大阪大学，云南大学排名最后。综合来看，国内建设高校整体水平处于上升趋势，境外高校显示下降趋势。
第二类高校与第一类高校情况相似，境外平均水平要优于境内，但是境内外高校的差距在缩小。从境内外排名前三的院校情况来看，境外香港科技大学FWCI水平优于湖南大学，南洋理工大学和阿卜杜拉国王科技大学的水平优于清华大学和中国科学技术大学；而在排名最末的境内外三所院校中，西北工业大学和重庆大学的FWCI水平要优于境外韩国科学技术院、浦项科技大学和东京工业大学。整体来看，虽然国内建设高校的FWCI水平相对更低，但趋势显示处于上升状态，境外高校处于下降状态。
第三类和第四类高校情况也相似，虽然与比较院校在整体上仍有较大差距，但进步显著。特别是中国人民大学，FWCI水平与比较对象的差距在不断缩小；但两所农业类高校的整体质量水平不佳，整体水平仍低于全球平均水平。（见图3）
2. 5年h指数比较。从第一类高校的分析结果来看，境外高校的5年h指数水平一直优于境内。从境内外表现最好的三所院校来看，麻省理工学院和加州大学伯克利分校表现最好，显著高于北京大学，而新加坡国立大学表现要显著高于境内浙江大学和上海交通大学；在排名最末的三所院校中，日本东北大学、名古屋大学和马来亚大学水平也显著高于郑州大学、中国海洋大学和云南大学三所院校。但从整体来看，虽然境内外高校的5年h指数都在上升，但境内高校的增幅高于境外，两者差距在不断缩小。
第二类高校与第一类高校相似，境外高校5年h指数平均水平要高于境内。境内排名前三的清华大学、中国科学技术大学和华中科技大学的表现要分别高于境外南洋理工大学、佐治亚理工学院和卡内基梅隆大学；但在排名最末的三所院校中，境内高校表现远低于境外。整体来看，国内建设高校进步显著，与境外高校的差距正在缩小。
第三类和第四类国内建设高校的5年h指数水平的表现相对较差，与比较院校相比，差距逐渐拉大。（见图4）
（三）效益维度对比
效益比较采用引用论文的专利数量和千篇论文专利引用数来衡量。由于专利引用受时间影响，因此研究通过比较2014—2019年各高校整体表现来反映科研效益。
1. 引用论文专利数。从第一类大学的比较结果来看，境外高校水平要显著高于境内。境外排名前三的麻省理工学院、加州大学伯克利分校和东京大学要远高于境内浙江大学、上海交通大学和北京大学；境内排名最末的华东师范大学、中国海洋大学和北京师范大学表现也远低于境外排名最末的普林斯顿大学、巴黎高等师范学院和马来亚大学。
在第二类大学中，境外高校平均水平仍然远高于境内，虽然我国清华大学在同类院校中表现最佳，略高于南洋理工大学；但佐治亚理工学院和韩国科学技术院要高于华中科技大学和中国科学技术大学；在境内外排名最末的三所院校中，境外香港科技大学、卡内基梅隆大学和香港理工大学的水平要显著高于国防科技大学、东北大学和新疆大学。
在第三类和第四类大学中，中国农业大学和西北农林科技大学中与瓦格宁根大学的差距显著，短期内难以追赶。中国人民大学虽然略高于伦敦政治经济学院，但是该类大学表现突出的学科为社会科学，专利相对较少，并不能反映其在社会服务上的优势。（见图5）
2. 千篇论文专利引用数。千篇论文专利引用的分析结果与引用论文专利分析结果一致。
第一类高校中，境外高校千篇论文专利引用水平显著高于境内高校。在境内外表现最好的三所院校中，境外麻省理工学院、苏黎世联邦理工大学和莱斯大学的表现要显著高于境内复旦大学、北京大学和南京大学，其中麻省理工学院的引用水平是浙江大学的5倍。在排名最末的三所院校中，境外日本东北大学甚至高于境内排名第三的南京大学，反映国内建设高校论文被专利的引用数量水平远低于世界一流大学。
第二类高校与第一类高校相似，境外高校水平显著高于境内高校，境内表现最好的清华大学、中国科学技术大学和华中科技大学仅优于境外香港理工大学，其他院校的千篇论文专利引用水平远低于同类比较院校。
在第三类和第四类高校中，国内两所农林类高校与瓦格宁根大学仍有显著差距；在第四类高校中，虽然中国人民大学水平最高，但各校整体水平偏低，并且该类院校学科占比以社会学科为主，因此论文被专利引用的参考价值不高。（见图6）
四、结论与讨论
（一）结论
本研究基于科研论文构建了世界一流大学建设成效评价指标体系，从规模、质量和效益三个方面开展建设成效评价，得到以下结论。
1. 论文发表规模显著提升。规模扩大到一定程度是与世界一流大学开展比较的前提，基于科研论文的分析结果表明：国内建设高校的论文总规模和高水平期刊论文数量，已经与世界一流大学相当，在建设周期内，国内建设高校发文整体规模、增量和增幅都表现出显著的优势，这表明从科研发表的数量上看，国内建设高校的科研规模增长显著。
2. 论文质量建设有待加强。质量提升是建设世界一流大学的核心。研究结果表明，国内建设高校的科研质量水平有较大提升，与境外高校的差距不断缩小，各高校有望在该趋势下实现对同类比较院校的超越。但分析过程也反映，各高校不仅存在大量论文的影响力低于全球平均水平，甚至有相当比例的论文被引数为0。这也是国内建设高校的整体科研质量仍与世界顶尖一流大学有较大差距的直接原因。
3. 科研转化能力亟待提升。效益比较结果表明，国内高校除了清华大学与比较院校相比有一定的竞争力外，其他院校相比世界一流大学，特别是顶尖大学的科研效益偏低。已有研究也指出，在国内高校专利转化情况中，除了清华大学，其他院校国际专利转化能力普遍偏低，这表明国内建设高校开展的基础研究和应用研究之间存在较大鸿沟。
（二）讨论
从我国高校科研论文的规模、质量和效益的比较结果看，我国建设世界一流大学还存在以下隐忧。
第一，我国高校科研论文规模显著提升的背后已经凸显出一些问题。各高校由于在建设过程中过分强调论文的数量和国际影响，导致科研评价领域衍生出“五唯”导向，这不仅不利于高校教师开展科研工作，还会使发表在本土的科研成果在国际交流中长期处于劣势。2020年，教育部、科技部出台《关于规范高等院校SCI论文相关指标使用树立正确评价导向的若干意见》文件，也强调“双一流”高校要树立正确的评价导向，不把论文相关指标作为评价的直接依据。未来在建设世界一流大学的过程中，要进一步破除“五唯”等错误评价导向，加强国内科技评价体系建设，提高国内科研成果的地位，打造中国科研的国际话语权。
第二，我国高校科研论文的质量进步速度落后于规模扩张速度，反映出我国的科研质量建设存在问题。除了论文存在“灌水”嫌疑，由学术不端而引起的质量问题同样值得关注。已有关于撤稿的调查显示，中国科学论文撤稿率最高，SCI论文中国作者撤稿排名第一，且大多数论文撤稿原因是学术不端。这既体现出国内建设高校盲目追求国际论文发表的弊端，也反映出高校科研评价制度带来急功近利等负面影响。未来国家需要引导高校进一步优化科研评价体系，引导研究者开展高水平、高质量的科学研究。
第三，我国高校科研转化能力远落后于其他世界一流大学。已有研究指出，导致这一现象的主要原因是现行转化体制机制不畅，虽然高校申请的专利数量有几十倍甚至上百倍的增长，但是高校科研成果向产业的转移效率不高，高校没有和企业建立稳定的沟通渠道，双方不了解彼此的需求，无法形成良性循环，从而不利于研发水平的提高。同时，国际专利数量不足，也与我国高校对境外专利市场占有动机不强，境外申请难度较大、申请费用过高、专利管理能力薄弱等有关。这要求未来国内建设高校继续贯彻落实国家创新发展战略，响应国家知识产权战略号召，加强产学研合作、积极开展国际专利布局、提高自身知识产权管理水平，为实现科研效益转化搭建通畅渠道。
第四，我国高校科研论文发表的学科结构显示，部分国内建设高校在世界一流大学建设方案中提到的重点建设学科，其发文数量远低于非重点建设学科（特别是化学、材料科学）的发文数量，这表明在第一轮建设过程中，可能仍然存在一些建设高校没有完全调整科研建设方向，投入较多资源到易于产出科研成果的学科领域，这类高校需要在未来及时做出调整，更加聚焦学科建设方向。
未来我国建设世界一流大学，既需要做到在国际公认可比指标上的一流，更需要植根于我国的基本国情，走有中国特色的世界一流大学建设道路。虽然当前我国科研仍未占领国际科研话语体系，但世界一流大学建设的中国模式已经初见雏形。在未来世界一流大学建设的过程中，我们要树立建设世界一流大学的自信，吸收更多的中国元素作为核心评价点，建设具有中国特色的世界一流大学。
此外，本研究还存在一定局限：第一，本次寻求比较院校的依据主要基于国际论文数据库，未考虑部分中文期刊发表情况，导致部分高校的发文结果显示理工农医类学科发文占比更高，从而无法完全准确实现对标并比较；第二，科研效益的比较主要基于国际专利数据库的情况，未纳入中国专利数据库，这在一定程度上会削弱我国高校的表现，影响对效益建设成效的判断；第三，虽然研究根据二十七个学科分类将院校分成四个类别，但是各个学科类别下还有许多小类，这也造成即使是国际发文学科结构相近，但具体研究方向仍可能不同，未来研究可以基于更加具体的学科发文结构，实现更精准的匹配。
（本文系中国高等教育学会高等教育管理分会2020年学术年会推荐论文）
作者
程 哲，清华大学教育研究院博士研究生，北京 100084
卢兴富，清华大学教育研究院博士研究生，北京 100084
李福林，清华大学教育研究院博士研究生，北京 100084
原文刊载于《中国高教研究》2020年第10期第34-41页
栏目
“双一流”建设研究
中国高教研究
微信号：zggjyj1985
投稿平台：
http://editor.cahe.edu.cn/