人工智能頂級學術(shù)會議 NeurIPS 2019 的論文評審結(jié)果放出后。這屆的 NeurIPS 程序主席、谷歌大腦研究員 Hugo Larochelle 等人發(fā)出了一篇公告，宣布大會因為一稿多投拒掉了 19 篇論文。這讓人們的神經(jīng)再次緊張了起來。

首先，對于作者來說論文提交的 Deadline 是一道坎。對于審稿人來說，評審 Deadline 也一樣刺激。

7 月 25 日至 7 月 31 日是 NeurIPS 2019 論文作者起草并提交論文評審反駁意見的時間。針對目前給出的評審意見，作者們可以進行解釋消解評審的顧慮，抑或澄清審查中可能存在的任何誤解和事實錯誤。隨后，作者的回復將通知提交給審稿人和大會區(qū)域主席（AC）之間進行討論，最終他們會給出評審建議。

大家可能已經(jīng)注意到，論文評審的提交截止日 7 月 15 日和評審放出時間 7 月 25 日之間相隔多天。大會組織者表示，這一段時間原本計劃用于區(qū)域主席、高級區(qū)域主席和程序主席（PC）跟蹤逾期未審的論文，以在必要時緊急進行評審。

雖然大多數(shù)評審者按時完成了自己的評審任務，但仍然出現(xiàn)了大量評審者推遲提交評審，甚至在截止時間最后一刻選擇退出評審者行列的情況。所以直到 Deadline 之后 36 個小時，只有 73% 的論文獲得了至少 3 個評審結(jié)果，大約有 90% 的評審者提交了評審結(jié)果。

看來對于大會評審人員、區(qū)域主席和程序主席來說，他們度過了一段緊張繁忙的階段。

針對這種情況，我們已經(jīng)與 BMVC、ECML-PKDD、EMNLP-IJCNLP 以及 ICCV 的程序委員會主席展開合作。我們的流程管理人員運行相應腳本，對提交至 NeurIPS 的論文與這些學術(shù)會議上同一作者提交的論文進行對比。然后，我們檢查了相似度最高的論文，確定它們是否違反了雙重提交政策。

通過以上操作，我們發(fā)現(xiàn)并確定提交至 NeurIPS 的 19 篇論文與同一作者提交至不同學術(shù)會議的其他論文存在明顯重復。因此，我們現(xiàn)在已經(jīng)拒絕接收這 19 篇論文。我們還識別出了一些疑似出現(xiàn)重復的論文，并指定領(lǐng)域主席進行仔細調(diào)查，以幫助我們確定一個公平的解決方案。

此外，大會還對所有相同作者提交至 NeurIPS 的論文中運行相似度腳本，從而突出顯示具有明顯重復的論文案例。大會主席并沒有親自檢查這些重復論文，而是指定相同的評審者和領(lǐng)域主席進行審核。然后，NeurIPS 會通知他們，這些提交的論文會被一同進行評估，以確定接收其中的一篇是否導致另一篇因重復而無法被接收。

鏈接：

有損論文評審公平性？

將相同的評審分配給類似的論文以避免它們「可能」的雷同雖然可以提高評審論文的效率，但顯然也會有損論文評審的公平性。人們對于這種新的評審做法頗有微詞，英特爾科學家 Randall Munroe 表示：「這是一個讓評審機制走向偏見的好方法，我很驚訝機器學習會議會變得如此墮落——故意加劇審查制度的偏見。」

Munroe 認為，如果把應對「一稿多投」問題的任務交給大會的領(lǐng)域主席（AC），但讓他們以無偏見的方式進行審查效果或許會好得多，因為這對于領(lǐng)域主席來說相對簡單，而且一稿多投且在兩個大會上都被接收的情況其實很少見。

對此，程序主席 Hugo Larochelle 并不贊同：「請注意，如果論文有高度重復性，我們實際上希望兩邊都把它拒掉，因為我們希望阻止這種投機取巧的策略。」

你文章里標點為什么用那么多？很難讀啊，我建議你把它修改一下。

What is softmax?

最后，如果看到這些不淡定了，先吃一袋 NIPS 壓壓驚。

文章來源：機器之心

IEEE Spectrum

《科技縱覽》

官方微信公眾平臺