朱剑：“三大核心”：拿什么来取而代之？——学术评价的困境（上）

［摘要］学术界和学术期刊界与评价机构的“缠斗”已不下二十年，之所以难分胜负，是因为评价机构有着自己的理论支撑和数据支持，其以“三大核心”为代表的排行榜得到了行政权力事实上的采信；但因专业能力的缺乏，其理论、数据和算法及结果都有经不起推敲之处，其排行榜在学术评价实践中的运用更是导致了一系列严重问题。在现行科研体制下，行政权力既不能无视排行榜带来的问题，但在资源分配与科研管理中又无法舍弃它，故而左右为难，举棋不定，而代价就是学术评价陷于困境、学术研究遭受伤害。清理“四唯”“五唯”行动迈出了重建学术评价机制实质性的一步，但关键还在于能否找到“三大核心”的替代品，而被寄予希望的“定量评价与定性评价相结合”和“代表作评价制度”因条件所限很难取而代之。在这一背景下“三大核心”制作者的进路选择也值得关注。

                           一

       在中国学术界和学术期刊界，学术评价是一个热议多年的问题了，而提起学术评价，必然会说到“三大核心”。所谓“三大核心”，一般指的是：北京大学图书馆等单位制作的《中文核心期刊要目总览》、中国社会科学院文献信息中心制作的《中国人文社会科学核心期刊要览》（今已被中国社会科学评价研究院《中国人文社会科学期刊评价报告》取代），以及南京大学社科评价中心制作的“中文社会科学引文索引(CSSCI)来源期刊目录”。说白了，就是从1990年代初到1990年代末先后问世的三个学术期刊排行榜，其发布者无一不是以文献情报学人员为主组成的评价机构。虽然仅仅是几页或几十页纸的榜单，其能量却不容小觑，因为在几乎所有由行政权力主导或组织的学术评价中，这些榜单都起到了不可替代的作用，故而说其牵动了整个学术界和学术期刊界并不为过。

       围绕“三大核心”，有两个现象想来学术界和学术期刊界都已不再陌生。其一，自从“三大核心”问世不久，学术界特别是学术期刊界对它的批评和讨伐之声就没有平息过，特别是遇有新版期刊排行榜发布之时，讨伐之声就会形成一个令人瞩目的高潮。笔者将其称为学术评价的“潮汐现象”：低潮时常有，而每隔一段时间，必然来场震动学术界和管理层的“天文大潮”。其二，尽管对评价机构期刊排行榜的讨伐从来也没有中断过，讨伐的言辞也不可谓不激烈，然而却收效甚微，“三大核心”的期刊排行榜照样高调推出，以此为蓝本的各高校和科研机构的考核指标日趋刚性。于是，学者和期刊人对这些排行榜的迎合也就不可避免。迎合出现的标志就是对评价机构偏好的研究，从事这种“研究”的行列正在不断地扩展之中，从学术期刊界波及了整个学术界。
　　　
       学术界和学术期刊界与评价机构的“缠斗”不下二十年了，似乎已达成一种巧妙的动态平衡。按说就这么几个评价机构，百十个核心制作人员，如何能够与数以百万计的学者和数以万计的学术期刊人相抗衡，并使得后者中的许多人对其刻意迎合？秘密就在于学术评价背后的行政权力。

       在当今的科研体制下，行政权力不仅垄断了几乎所有学术资源的分配权，而且完全掌控了科学研究的管理权。在这场权力游戏中，行政权力充当的是组织者和裁判员的角色，而学者扮演的则是运动员的角色。权力的运作需要有科学的依据，亦即裁判员需要依据标准对运动员的成绩作出判定，这一过程实际上就是学术评价；继而就是组织者根据评价结果对运动员予以奖励或处罚，这一过程实际上就是资源分配和科研管理。资源总是相对稀缺的，行政权力要让有限的学术资源发挥出最大的作用，就要找到最合适的学者或科研单位来承接资源，此后还要对资源的使用进行管理。所以，只有先有评价结果，才能进行后续的处置（分配和管理）。可见，行政权力作用于学术研究时，至少包括评价权和处置权，前者是后者的基础和依据，而要行使好这两个权力，除了需受职业道德约束之外，裁判员是否具有专业水准和眼光之于评判结果是否科学和公正就显得十分关键。这也是在竞技界裁判员大多出身于运动员或专业研究人员的道理所在。但是，行政权力并非由专业学者所组成，亦即行政权力的行使者并不专业，这就意味着他们是无法直接进行评判的，如此，就只能将评价权与处置权分立，行政权力不得不将评价权分离出来委托给有能力进行评价的人或机构来行使。当然，评价权只是为处置权服务的，只要找到合适的受托人或机构就可以。
　　
       那么，什么样的人或机构有资格和能力接受行政权力的委托，承担起评价的责任，提供合适的评价结果呢？行政权力对评价结果的要求无非有二：一是权威性，即评价结果因其科学和公正而具有不可质疑性；二是简明性，即评价结果对评价对象孰优孰劣一目了然，从而使据此进行的处置或决策具有可操作性，最简明的当然莫过于排行榜。然而，要同时满足这两个要求是极其困难的。学术研究尤其是人文社会科学研究的复杂性决定了见仁见智乃是常态，随着各学科一言九鼎式的开创者逐渐退出研究领域，不可质疑的权威性的评价更显其难；同样，人文社会科学研究的复杂性也决定了其评价结果本身的复杂性，而不是排行榜的形式所能呈现的。
　　　
       在1990年代之前，行政权力所需要的评价往往是委托给各种常设的或临时的专业委员会的，这些委员会大多由各学科的知名专家组成，所实行的评价方法多是同行评议，这也符合国际学术界的惯例。但是，随着国家对学术研究投入的加大以及学术生态的恶化，同行评议的公正性和公开性遭到的质疑日益增多，学术界对更为公正和客观的评价的呼声开始高涨。正是在这样的情况下，以客观和公正相标榜的量化评价出现在人们的视野，“三大核心”则是其代表。与同行评议相比，“三大核心”似乎更加符合行政权力对评价的要求，虽然其制作者说不上权威，但其以客观数据说话的话语形式也是一种对科学和公正的权威性的诠释，而以排行榜为产品形式正好满足了行政权力对评价结果简明性的需要。因此，到21世纪初，在由行政权力主持的学术资源分配和科研管理中，“三大核心”几乎成为学术评价的唯一主角，其制作者也已当仁不让地担负起了学术评价的责任。当然，在这一切的背后，是行政权力对同行评议的抛弃和对“三大核心”为代表的量化评价的采信。
　　　
       “三大核心”对同行评议的取代并非一蹴而就，而是至少有一个从1990年代初到21世纪初这大约十多年的过程，随着这一进程，其弊端也开始显现：一方面，“三大核心”已逐渐成为学术界和学术期刊界的“指挥棒”，但这一“指挥棒”所引领的方向与学术研究和学术期刊的发展规律并不相符，严重干扰了正常的研究和办刊工作；另一方面，学术评价从来没有像现在这样与学术利益紧密勾连，而评价方法又是如此的粗暴和单一：只看排行榜，不上榜不仅意味着无法获取资源，甚至意味着出局。人们不难发现，从1990年代末以来不断增多的学术不端（剽窃、造假和粗制滥造等）事件背后，都可以找到量化评价的影子。于是，对以“三大核心”为代表的量化评价的批评和讨伐之声逐渐响起，并由零星的“发声”演变为学术界和学术期刊界的“大合唱”。
　　　
       不断的批评和讨伐表明学术界和学术期刊界并不甘心听命和受制于这样的“指挥棒”，希望通过批评和讨伐来改善甚至摆脱这样的指挥。但是，“不管每一版期刊排行榜问世时批评和讨伐之声有多猛烈，三两年后，下一版排行榜仍会在更猛烈的批评和讨伐声中隆重推出并继续走红，而关于学术评价问题的热议还会无休止地继续下去。”朱剑：《重建学术评价机制的逻辑起点——从“核心期刊”“来源期刊”排行榜谈起》，《清华大学学报》（哲学社会科学版），2012年第1期。这是笔者七年前在一篇关于学术评价的小文中写下的一段话。撰写此文时，因2010-2012年版CSSCI来源期刊目录公布而引发的一场讨伐风暴刚刚平息。在笔者看来，这固然不是学术评价机构遭遇的第一场，也决不会是最后一场讨伐风暴。果然不幸而言中，相信学术界对于2017-2018年版CSSCI来源期刊目录公示后某些学术期刊主编发起的讨伐风暴一定记忆犹新。讨伐者的非理性出击和评价机构的不予正面回应与以往如出一辙；同样，这场声势不可谓小的风暴随着其他热点事件的出现也逐渐淡出了人们的视野，而更多的学者不得不加入到迎合的队伍中来。
　　　
       学术界和学术期刊界与评价机构的“缠斗”之所以持续二十余年而不见止境，是因为作为资源分配者和管理者的行政权力态度的暧昧：既不干预学术界和学术期刊界对以“三大核心”为代表的评价机构的批评和讨伐，也不中止在学术资源分配和科研管理中对“三大核心”事实上的运用，从而造成了学术界和学术期刊界对评价机构的讨伐与迎合的奇妙组合：不讨伐，于心不甘；不迎合，利益受损。这样的状况的持续至少说明了以下几点：
　　
       第一，在行政权力主导的学术资源分配和科研管理中，学术评价有着无法替代的作用，行政权力通过对学术评价委托权的掌控深度地介入了学术研究，从而也使得评价由一般的学术权利而蜕变为名副其实的评价权力。
　　　
       第二，伴随这一蜕变的是量化评价对同行评议的取代，继而是排行榜对量化评价的取代。前者剥夺了学术共同体从事学术评价的权利；后者让专门从事排行榜制作的评价机构垄断了学术评价。
　　　
       第三，任何评价机构要获得评价权力，都必须使其产品得到行政权力部门的采信。尽管到目前为止，尚未有一家评价机构或其产品得到高层行政权力的公开承认，亦即尚未有任何评价机构正式获得行政权力关于学术评价的委托权，但作为学术评价产品的“三大核心”已在各级行政权力主导的学术资源分配和科研管理中发挥了决定性的作用却是不争的事实。这一事实说明，在既有的各种学术评价活动中，“三大核心”已与权威的学术评价画上了等号，其制作者因其产品在学术资源分配和科研管理中的决定作用已跻身于学术权力场中。
　　　
       第四，在资源和利益均来自行政权力的当下，体制中人对权力的迎合是必然的，而当评价成为一种权力时，对权力的迎合首先就是对评价的迎合，对评价的迎合同样具有必然性。在现实中，对评价权力迎合的最典型的表现就是对“三大核心”偏好的研究并投其所好。
　　　
       第五，学术界和学术期刊界对“三大核心”的刻意迎合行为说明了其背后往往是某种程度的屈从。如果评价完全符合学术研究和学术期刊的规律，就不会存在研究评价机构的偏好而削足适履的迎合行为。既然有屈从，就必然有反抗，所以迎合和讨伐才会同时呈现。

       由以上几点观之，“三大核心”之所以得到行政权力的加持，是因为它们在一定程度上满足了行政权力分配和管理学术资源的需要；同时，来自学术界和学术期刊界前仆后继、锲而不舍的讨伐又意味着“三大核心”存在着重大缺陷。这就是行政权力部门既不抛弃“三大核心”，又不向其公开授权，也不阻止学术界和学术期刊界讨伐的原因。于是，“缠斗”也就达到了一种微妙的动态平衡。
　　　
       那么，这样的讨伐与迎合的平衡何时会被打破？笔者不敢断言，但当时间来到2018-2019年之时，几乎同时发生的两件事至少会对这一平衡产生一定的影响，或者还会掀起一番前所未有的波澜。
　　　
       其一是评价机构新版排行榜的集中发布。如果不出意外，新一版即2019-2020年版CSSCI来源期刊目录即将发布，而此前不久，另两大“核心”刚刚发布了新版排行榜。不论哪个“核心”，新一版榜单的发布，有进有出是必然的，而评刊标准、方法也都或多或少会有变化，从已发布的两个“核心”来看，谁进谁出固然引人注目，但后者显然更值得关注。“三大核心”在相距很短的时间内分别发布新版已是多年不见的现象了，这种现象引发“天文大潮”当是大概率事件，但至少从目前来看，超大的风暴潮尚未如期而至，当然，最终是否会呈现，还要看新版“C刊”发布后的情况。
　　　
       其二是始于2018年中、当下正席卷高校和科研单位的清理“四唯”（唯论文、唯职称、唯学历、唯奖项）或“五唯”（唯论文、唯帽子、唯职称、唯学历、唯奖项）行动。所谓“唯”，大概是只看一点，不及其余的意思，也就是只以某一项指标为评判标准，而不管其他，“三大核心”显然具有这样的特征。虽然此次行动并不专门针对“三大核心”，但“三大核心”必然受到波及则是确定无疑的。
　　　
       以上这两件同一时段中发生的事情颇值得玩味。此次清理“四唯”“五唯”行动表明，行政权力一反过去对排行榜的暧昧态度，对科研体制特别是评价机制的改革似乎要动真格了。此项行动的开展，对陷于“缠斗”中的学者和学术期刊人来说，多年来的努力和付出总算没有白费，平衡即将打破，胜利的天平已向他们倾斜。而对评价机构来说，“三大核心”在这个时候发布新版榜单不大会是对清理“四唯”“五唯”行动的公开挑战，必须看行政权力脸色行事的制作者还没这个胆量，只是按照惯例正巧到了该更新的时候，箭在弦上不得不发而已。但在这样的高压态势下发布新版榜单，要说没有压力是不可能的。所以，“三大核心”作出策略上的应变也是必然的。
　　　
       那么，“三大核心”在学术评价中的唯一或核心地位是否会就此轰然倒塌呢？对此，笔者以为问题并不如此简单。清理“四唯”“五唯”行动涉及的只是评价的标准和方法，并不触及由行政权力掌控资源分配和科研管理的科研体制，也就是说，学术评价在资源分配和科研管理中的地位不会因此而改变，能改变的只是委托谁来从事学术评价。清理“四唯”“五唯”行动无疑是一种“破”，所要“破”的固然是在学术评价中以类似“三大核心”这样的排行榜为唯一标准的做法，“破”字确已当头了，但是，“立”，即对评价机制的重建，具体而言，找到“三大核心”的替代品以作为学术评价的新标准，是否也就在其中了呢？换言之，我们能否找到“三大核心”的替代品，就成为决定此次清理“四唯”“五唯”行动能否取得预期效果的关键。本文将对此展开分析，不当之处，敬请方家指正。

                           二

       要回答“三大核心”能否被取代的问题，我们先要弄清“三大核心”成为“核心”而号令天下这一局面是怎样形成的。一言以蔽之，是因为它们被行政权力相中而加持了。那么，为何这三个目录荣幸入选呢？一个重要原因就是，在参与学术评价之初，“三大核心”制作者们就为自己精心地打造了“科学”的学术评价者的形象，为其排行榜披上了“公平”“公正”的外衣，颇具迷惑性。
　　　
       首先，不管哪个“核心”，在其背后，都有一套精心构造的评价理论支撑着。这套理论至少可以追溯到1930年代英国文献计量学家布拉德福（S.C.Bradford）发现的文献集中与分散定律。布氏发现，某一学科或主题的论文都相对集中地分布于少数期刊中，这些期刊就形成了对该学科或主题最有贡献的核心区。接着，在1950年代，美国文献计量学家尤金·加菲尔德（Eugene Garfield）发现了期刊论文被引用也有类似现象，期刊刊载论文的引文分布也有一个比较集中的核心区域，这就是著名的加菲尔德引文集中分散定律。“加菲尔德强调的引用关系本身带有天然的评价关系，是核心期刊具有评价功能的出发点。”姜晓辉：《核心期刊的评价功能与作用》，《澳门理工学报》（人文社会科学版）2012年第1期。所以，无论是核心期刊，还是CSSCI来源期刊，都是以布氏和加氏理论作为其评价行为和评价产品理论基础的。由于布氏定律和加氏定律都是在对学术期刊进行分析和研究后得出的，故而在这样原理指导下的“三大核心”其实都是以学术期刊为对象的评价。必须指出的是，核心期刊与CSSCI来源期刊是有着本质区别的，这一点，稍后再分析。但至少在它们问世时，在世人眼里，并没有什么不同。不然，也不会有“三大核心”之称了。
　　　
       其次，“三大核心”虽然都只是关于学术期刊的排名，但却为所有的评价定下了基调。学术评价种类繁多，诸如项目申报、绩效考核、头衔授予、职称评审等，都需要对单位、机构、团队或个人科研水平进行评价。其中的关键都是对评价对象所产出的学术论文价值的评价，因为学术成果最主要的表现形式就是公开发表的学术论文。评价论文不仅需要深入内容层面的专业分析和判断，还需要经过较长时段沉淀的历史检验，且见仁见智是常态，可见其难。而在同行评议失去公信力后，如何科学、公正且及时地评价论文，更加成为困扰人们的难题。核心期刊的问世为解决这一难题提供了替代方法，就是“以刊评文”。如同前些年采用的检测奶粉质量的方法一样，奶粉的质量标准应该是蛋白质的含量，但直接测定蛋白质含却是复杂和困难的，于是人们找到了间接办法，通过检测出奶粉中氮元素的含量换算出蛋白质含量，凭此判断奶粉的质量。所以，论文评价也可用间接的办法，即通过期刊过往的形式数据来“算出”其优劣，分出等级，再依据期刊的不同等级确定其后来发表的论文质量的高下。这样一来，有了期刊评价，更确切地说是有了期刊等级排行榜，就有了论文评价；有了论文评价，也就有了一切评价。故在所有评价中，期刊评价结果的基础地位谁也无法撼动。“三大核心”虽然只是期刊排行榜，却能左右绝大多数学术评价的奥秘就在于此。
　　　
       再次，“三大核心”之所以成为所有评价的基础，还因为其制作者都声称他们所做的是客观的“定量评价”，故而具有天然的公正性和公平性。除了CSSCI制作者坚守了只依凭引文数据外，另两大“核心”制作者还进行了理论创新。“‘布拉德福文献离散定律’和‘加菲尔德引文集中定律’揭示了学科文献在期刊中的分布存在‘集中’和‘分散’的客观规律，为定量评价学术期刊奠定了理论基础。后人进一步研究证明，学科文献的被摘录、被转载、被阅读等多种特征在期刊中的分布都遵循集中和分散的规律。”蔡蓉华、何峻：《论期刊评价之目的、方法和作用》，《澳门理工学报》（人文社会科学版），2012年第2期。从而创造性地将对学科文献的摘录、转载、阅读等带有一定目的性行为的简单计量都视为与引文计量等量齐观的定量评价。如此一来，核心期刊评选指标的“丰富性”“全面性”就远远超过了加菲尔德只重引文而不及其他的单一性。他们还声称所有的数据不仅都是具有评价意义的，而且都是客观的，他们只是通过“科学”的算法，按其结果对所有的学术期刊进行排序，因而“公开”“公正”和“公平”是有保证的。在同行评议声誉每况愈下之时，这样量化的“客观评价”在1990年代的确曾经给学术界带来了科学合理评价的希望。
　　　
       最后，“三大核心”都以一定的周期进行期刊排行榜的更新，每次更新其评价指标或方法都会有一定程度的调整，比如应行政权力的要求而增加某些指标，或为应对学术界的批评而调整某些指标的权重。这在“三大核心”说来是很正常的事，情况总是在不断变化的，学术研究和学术期刊也不会例外，故而排行榜也当常排常新。一般的排行榜对于被排行者来说，每一次更新，无非是前进了几名还是后退了几名的事，但“三大核心”的更新有点不一样，因为其制作的目的是为期刊划分等级，所以制作者公布的并不是对所有学术期刊的排名，而只是其中大约20%即被认定为“核心”或“来源”的期刊的排名，所以每次更新都是有进有出的，进出则意味着等级的变化。这样一来，对于个体的学术期刊来说，重要的问题首先是在不在这个榜单上，其次才是排在第几的问题。因此，尽管“三大核心”一次又一次地说明他们的评价是纯客观的，但在每次新版公布之前，都会有不少期刊主编前来公关或打探消息《中文核心期刊要目总览》主编之一蔡蓉华曾告诉《中国青年报》记者，每4年一次的核心期刊评审，都是一系列“公关”与“反公关”的过程。每到评审时节，就有不少学术期刊的主编们纷纷找到课题组，甚至动员同学、同乡、师友等各路人马说情（参见《“核心期刊”评选的背后: 主编们频频公关》，《中国青年报》，2009年4月27日）。；又因为刊物等级的变化直接影响到其所刊发论文的评价，故也会有已被某刊录用但尚未刊发的作者前来询问该刊是否还留在榜单上，以考虑是否需要撤稿；而在榜单公布之后，又都会掀起一场关于评价的热议，特别是那些被挤出榜单的期刊，有时还会表现得非常激烈，要过上一段时间后才会逐渐风平浪静。当下一个更新周期到来之时，这一切又会再演一遍，从而在客观上得以牢牢锁住期刊界和学术界的关注。
　　　
       从以上分析不难看出，“三大核心”的评价结果既简单直观，又有广泛的适用性和关注度，而且还“客观”“公正”和“科学”，因此，它们被行政权力部门相中也就不奇怪了，因为具有这些特征的评价产品正是行政权力部门在学术资源分配和科研管理中最为需要和最好用的，故而“三大核心”才得以在如今学术研究的全领域、全过程中无处不在，由此也足见“三大核心”在我国的学术评价体系中的分量。其实，“三大核心”本身也常常会被冠以或自封为“评价体系”之名，意即它们是自成体系可以独立运作的。必须指出的是，行政权力之所以采信“三大核心”，最初其实与吃够了同行评议苦头的学术界对“三大核心”一定程度的认可是分不开的；而一旦为行政权力部门采信，在学术界当然更是通行无阻。只要看一下高校皆以期刊为本的相似的考核方式和各自制定的用于考核的期刊目录就可以清楚这一点，至今，这些目录无不以“三大核心”中的某一个为蓝本。
【原文链接】2019年第2期 朱 剑：“三大核心”：拿什么来取而代之？——学术评价的困境