注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

南桥的博客

Be the change you want to see.

 
 
 

日志

 
 

学术影响也有诈,怎么破?   

2015-11-30 07:02:46|  分类: 教育 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
近日,中国教育部、科学技术协会、中国科学院、中国工程院、国家新闻出版广电总局发出《关于准确把握科技期刊在学术评价中作用的若干意见》。对基于学术论文的学术评价体系提出了一些思考,矛头指向评价的“标准单一化”、“程序程式化”、“方法简单化”、“方式机械化”。这一《意见》的出台,也说明现有的学术评价方式已经过于简单原始,远远落后于时代的需要。也说明,学术界在思考对策上,也已经超过了单纯造假的讨论,而是开始思考到底什么样的学术成果有实质影响。

我们经常会看到科学家在学术期刊的论文造假,遭到论文被撤销的丑闻。近来最著名的事件,是日本生物学者小保方晴子在《自然》所发的关于STAP细胞的论文,被质疑后,论文被撤销。2015年11月2日,早稻田大学还取消了她的博士学位。2015年八月,德国施普林格出版集团也将旗下10本周刊的64篇论文撤下,其中有不少论文来自中国。

这些期刊多为“同行评议”(peer reviewed)的学术期刊,一般来说,比较公正、内行,少受外部因素干扰。人们一般不去评价这些期刊本身的公信力。可学术期刊多如牛毛。如何评价学术文章的重要性?2005年物理学者希尔什(Jorge E. Hirsch)提出了衡量个人作者学术影响力的方法,亦即h指数,这是指学者发表文章的数量和引用数量的交汇点,比如一个学者发表了100篇文章,其中有48篇至少被引用了48次,那么他的h指数是48。这种计算方法,理论上说可以衡量一个学者的产量和文章的影响力。而学术期刊的影响力,一般是通过影响系数(impact factor)计算。影响因子方法由科学信息协会(Institute for Scientific Information)创办人尤金·加菲德(Eugene Garfield)所创立,具体算法是用学术期刊两年内发表的论文数(N),去除这两年内的该期刊内文章被引用的总次数(C), 亦即C/N. 例如某学术期刊2013-14年发表的总数量为50篇,被引用总次数为100, 那么期刊的影响系数就是2,这种系数越高越好。比如影响系数为2的期刊,通常被视为比影响系数为0.5的期刊重要。

2015年11月5日,《高教内参》(Inside Higher Ed)发文称,这种影响系数的公信力非常可疑。学术期刊本身为了提高“影响力”,在影响系数上会做很多手脚。很简单,这种影响系数既然是C/N,要么编辑可以在分子上做文章,要么在分母上做文章。在“引用数量”上,有一些期刊或明或暗地胁迫作者引用该期刊自身的文章,这样可以扩大期刊论文被引用数量。而在论文数量上做文章的办法更多,比如将知名作者的文章在年初发布,以便增加被引用的可能性。很多期刊在纸媒和网媒之间玩平衡,比如把很多可以发出来的文章发在网络上,这样这些文章被引用,可计入“被引用数量”,而纸质文章的数量会大量下降,一下子可以提高“影响系数”。由于这些操纵,越滑头的期刊系数越高,越老实的期刊系数越低,已经和文章实质影响没有什么关系了。而这些手脚,对学术成果的发布、转化、传播极为不利。比如编辑会拉长审核、发布的周期,以便在文章排序等方面做文章,好去扩大影响。在操纵期间,又不允许“一稿多投”。同样的学术研究,可能不同研究者在做,有时候不过是大家在和时间赛跑的问题。由于学术期刊操纵影响系数的做法,一些优质文章就此失去被发表的可能,造成资源的巨大浪费。

之所以这些“影响系数”被人看重,也是因为学术官僚们对于人才的评估能力有限,只能倚重这些外部的、貌似“客观”的数字。这种做法,有内部结构上的巨大局限性。比如在我所熟知的外语教育界,曾经存在一流的译著不被纳入学术体系,而发表垃圾论文会被计入“成果”的奇特现象。前者或许更能体现人的水平,但是领导不懂外语,也不知道怎么评估,所以意外地被“遗漏”。而学术文章数量可以数,质量可以通过各种影响系数去计算,评估变成了按照公式加加减减的事,亦即“数豆子”式的评估。这样的“客观”造成的讹误其实更大。过于迷信数字的客观,忘了数字可以被人操纵,这是很危险的事。

这个问题怎么破?既然学术期刊可以通过网络发布文章,不如直接全部上网,废除发行量不大、制作周期漫长的纸质期刊的存在。现在有不少期刊直接在网上、或者通过应用程序发布,这样可以增加更多多媒体的材料,更容易纠错。这种发布,也更容易统计相关下载、浏览数据。影响系数也不过是一种衡量重要性的代理指标,不如利用阅读的、下载、互动的实际数据,彻底取代排名的数字迷信。越来越多的学术期刊已经这么在做,如《国际护理知识期刊》(International Journal of Nursing Knowledge)、《领导力》(Leadership Journal)、《国际教育期刊》(InternationalJournal of Education)、《国际口腔和上颌面手术期刊》(International Journalof Oral & Maxillofacial Surgery)、《妇女病理学期刊》(International Journal of Gynecological Pathology).这些期刊有的非常专业而冷门,不是那种大众性质的大批量发行的期刊。利用版面有限的传统纸媒发行提高声望,反不如借助网络渠道发行高效。在知识传播上,这么做也更为合理。这种借助网络手段公开发行的做法,也符合前哈佛大学法学教授劳伦斯拉希格(LawrenceLessig)提出的让新知快速传播的“知识留下”一说(Copy Left, 相对于保障知识产权而妨碍知识传播的copyright)。这种更为高效的传播,需要人们打破基于篇幅和引用数的影响系数计算方法的迷信。

与此同时,各种排名的消费者,包括高校管理层,也应该增强学术评估的水平。不能通过数字方法去一刀切。了解一个人,也好比是一个社会科学研究项目,你不能只通过数字,去了解一个人的学术“身价”,而也应该增加更多质性研究的评估方法,这样才有真正的客观。

这个问题推广了看,是凡是有数字的地方就可以造假。比如大学排名也是这样。我曾与《优秀的绵羊》一书作者威廉·德雷谢维奇(William Deresiewicz)交流过这个问题。他说美国大学排名的计算方法颇为随机,虽然大体上可以分辨出哈佛和某社区大学,但是在同一阵营的内部,排名的作用几近于无(比如哈佛和耶鲁)。而这样的排名,逆向刺激大学做不合理的事,比如人为降低录取比例,以便提高排名。而美国这些年的学费之所以一再上涨,也是一种数字操纵的结果。很多学校,虽然纸面上的学位是五万六万,但是实际上会给出各种奖学金、助学金的一揽子“红包”,一来让学生感觉自己重要,二来让自己显得高大上。末了,真正全额交学费的,只有一些国际学生。大部分国际学生和家长是不了解内情的,只根据排名去选择,殊不知数字本身,也是有欺诈性的。

参考资料:

David, M. (2015, November 5). Editorial says journal impact factors have lost credibility. Retrieved November 24, 2015, from https://www.insidehighered.com/news/2015/11/05/editorial-says-journal-impact-factors-have-lost-credibility
  评论这张
 
阅读(7790)| 评论(16)
推荐

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017