AI审稿首次席卷ICLR 2025,12222条建议被接受!ICLR 2025正式开启了审稿周期,并首次引入了大模型参与评审。根据最新公布的结果,AI智能体提供了12,222条建议,被审稿人采纳,显著提高了评审质量。ICLR还发布了一份30页的详细报告,介绍了实验中AI在学术评审中的巨大潜力。
研究显示,有26.6%的审稿人根据AI的建议更新了评审,反馈使审稿意见平均增加了80个字,从而提供了更丰富的反馈。此外,AI反馈还在Rebuttal期间提升了讨论活跃度,作者和审稿人的回应篇幅都有所增加。然而,在最终论文的录用结果方面,反馈组和对照组之间没有显著差异,这与设计目标一致。
ICLR是目前唯一允许AI参与审稿的AI顶会。此前,CVPR 2025曾禁止使用LLM参与审稿。ICLR组委会采纳AI建议的原因在于同行评审面临日益严峻的压力,尤其是随着论文投稿量的迅速增长。低质量的反馈不仅让作者不满,还影响了学术交流效率。据统计,ICLR 2024年约有10.6%的审稿人利用LLM辅助完成评审。
为了提升评审质量,ICLR 2025为每位审稿人分配了最多3篇论文,并引入了“评审反馈智能体”,识别审查中的问题并向审稿人提供改进建议。这些建议包括鼓励审稿人改写含糊的评论,突出文章中可能已经回答的问题部分,以及处理不专业、不恰当的言论。