PeerXiv！一种全新的学术论文评审方式。
自己辛辛苦苦写的论文，又是做实验，又是写报告，精益求精地润色每一句话…… 写完论文已然是一个耗费精力的活，但提交的论文同行评审结果迟迟没有消息，有时自己都会怀疑编辑是不是忘了我的稿件。你唯一能做的就是：等。到底多长时间才能收到同行评审人和期刊编辑的反馈？据了解至多约为 3 个月（研究表明，同行评审通常平均需要 7 到 12 周），但很多变量会对时长造成影响。假如现在重新设计同行评审会是什么样子？同行评审是研究社区的基石之一，然而，在社区不断进步和发展的同时，评审过程几乎没有变化。一群研究人员利用业余时间设计和开发了 PeerXiv 平台，通过该平台审稿过程只需一个月。我们先来看下 PeerXiv 审稿结果，一篇论文有 5 个评价指标，评审结果会综合这 5 个指标给出平均分数。我们还能看到 5 位审稿人的打分情况。
地址：https://peerxiv.web.app/dashboard/papers该平台的研究者包括计算机视觉研究者和爱好者 Elad Richardson、计算机视觉和 ML 研究员 Kfir Goldberg、特拉维夫大学计算机科学专业硕士学生 Yuval Alaluf，以及 Nofar Menashe。
这一平台的推出，收到众多好评，网友不禁感叹：太需要这种平台了，这种利好广大研究者的东西早就该有了，目前的同行评审体制完全是一团糟。
不过也有人提出担忧：这个平台看起来很整洁，同时我也非常担心，我怀疑这个平台的评审结果会不会偏向比较出名的研究者。此外，一旦人们开始花时间审查 PeerXiv 提交的内容，这会不会完全破坏其他出版机构的审查流程？换句话说，具有盲审流程的机构是否允许人们将他们的论文提交给 PeerXiv？
也有网友表示：该平台如何保证提交的论文质量，以及如何让高 H 指数的人利用他们的空闲时间来审查？同行评审低效的部分原因是提交的内容太多，而具有资格进行评审的人太少。对于大家的疑问，PeerXiv 网站整理了几个大家比较关心的问题，大家可以前往查看。PeerXiv 是一个现代化的同行预印本评审平台。论文作者可以提交他们的预印本，并直接从一组匿名的 PeerXiv 审稿人那里获得反馈。同时，审稿人会根据他们的工作获得声誉分（reputation point）。首先是快速（Fast）。当前的同行评审过程往往让论文作者苦等数月才能收到反馈。PeerXiv 在论文提交后的一个月时间内就可以为作者提供有用、详细的反馈。其次是透明（transparent）。创建者认为，论文作者和审稿人理应得到一个可访问、透明的审稿流程视图。PeerXiv 对每篇提交论文的状态以及作者、审稿人和整个系统的统计数据都会提供详细的信息。与此同时，PeerXiv 不提供接收 / 拒绝分数，而是在多个评价指标的基础上对论文进行清晰的评估。具体地，5 位审稿人被要求按照 5 分制、5 指标的评价系统对每篇论文进行打分，这 5 个评价指标分别如下：新颖性（Novelty），论文主要贡献的原创和新颖性；
重要性（Significance），论文对研究社区及其他的影响度；
复现性（Reproducibility），复现所提方法和评估的难易度；
验证性（Validation），论文中所提评估和比较的彻底性；
展现性（Presentation），论文动机和思路的展现和组织度。
最后是奖励（Rewarding）。审稿人是每篇论文评审过程的核心，他们的工作理应得到奖励。声誉系统（Reputation System）是 PeerXiv 对审稿人工作给予认可的方式。PeerXiv 审稿过程仅需要一个月，对于论文作者和审稿人都很直观。作者可以在 PeerXiv 提交现有预印本以供评审。论文可以随时提交，并将立即被添加到评审池（reviewing pool）中。审稿人标记自己觉得有趣的论文。PeerXiv 还将提供匹配分数（match score），帮助审稿人找到与自己专业知识匹配的论文。在投标之前，审稿人还可以看到自己评审论文所获得的声誉。每周的周二和周三，PeerXiv 平台将尝试将论文与审稿人匹配，并根据他们的专业知识和经验来创建一个多元化委员会。评审通常由 5 位审稿人完成，提供更值得信赖的流程。并且，审稿人整个过程中将匿名进行。PeerXiv 的目的不是提供一个简单的接收 / 拒绝分数，而是提供一个基于 5 个评价指标的清晰评估，上文中已经提到，它们分别是新颖性、重要性、复现性、验证性和展现性。在得出初评审之后，审稿人之间将展开讨论，互相听取意见并完善最终评审。初始和最终分数都将呈现给论文作者和公众。审稿人提交最终评分之后，论文作者有机会根据需要对评审意见进行回应。作者回应将与评审意见一块呈现。需要注意，PeerXiv 中没有设置 rebuttals/camera-ready 步骤。PeerXiv 根据提交的预印本进行评审，论文作者可以再次提交新版本。至此，评审过程结束。论文和相应的评审意见将出现在 PeerXiv 的首页上，并显示最终评分。高分论文将由 @peerxiv 自动发表，以提供进一步曝光。创建者表示，PeerXiv 目前只是一个模拟（mock），展示了他们对同行评审系统的全新愿景。https://peerxiv.web.app/abouthttps://www.reddit.com/r/MachineLearning/comments/uuhy4e/n_introducing_peerxiv_a_modern_platform_for/
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：content@jiqizhixin.com
关注公众号：拾黑（shiheibook）了解更多
[广告]赞助链接：
四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/
机器之心
关注网络尖刀微信公众号
