ICLR 2020共收到近2600篇投稿，增幅約為62.5%。但近日，南大周志華曝出：ICLR 2020竟然有47%的審稿人從來沒有在本領域發表過論文。消息引發網友熱議：這屆ICLR審稿人“太專業”！
━━━━
前段時間，素有深度學習頂會 “無冕之王” 之稱的ICLR 2020論文提交截止，大會共收到近2600篇投稿，相比ICLR 2019的1580篇論文投稿，今年增幅約為62.5%，競爭尤其激烈。
就在這個審稿的關鍵時期，新智元 AI 朋友圈的一個帖子打破了寧靜。杜克大學教授陳怡然轉發了一條關于ICLR 2020審稿人的驚天秘密：陳怡然轉發的是南京大學人工智能學院院長周志華的一條微博——某高層群傳來的信息：ICLR 2020竟然有47%的審稿人從來沒有在本領域發表過論文。。。投稿量遠遠大于合格審稿人群所能（超負荷）承受的程度，會使得頂會逐個垮塌。。。或許最終只好回到期刊去了 ”在7583位ICLR 2020審稿人中，1078人“不了解該領域”；2484人“讀過該領域的很多論文”；2604人“發表過1-2篇論文”；1417人“在該領域發表論文很多年”。這樣計算，47%的審稿人從來沒有在該領域發表過論文！國內外專家網友齊吐槽：不要再讓語文老師判數學卷子了！
周志華表示，open review僅當參與者都是相當level的專家才有效，否則更容易被誤導。學術判斷不能“講平等”，一般從業者與高水平專家的見識和判斷力不可同日而語，頂會能“頂”正是因為有高水平專家把關，但現在已不可能了。除了杜克大學教授陳怡然外，加州大學伯克利分校教授馬毅、清華大學副教授劉知遠等都轉發了這條微博，并發表了自己的看法。
━━━━
劉知遠吐槽這喪失了審稿應有的意義
這條微博立即引發了網友的熱烈討論，內容直指當前同行評議體系的缺陷。一方面，AI頂會文章投稿數量逐年激增，審稿人數量有限，質量下降在所難免。但更多的是審稿機制本身的缺陷，如審稿人權限過大，缺乏監督、很容易謊報資歷，嚴重影響文章質量。不過人總歸要現實一點，為了畢業和深造，該投還是得投。近年來，AI學術會議的同行評議質量問題幾乎每年都會成為備受關注的焦點。這次ICLR 2020曝出如此令人尷尬的數字，更加凸顯出評議人本身學術水準和工作態度的嚴重問題，在國外的社交媒體上也引發了熱烈討論。
英偉達AI研究負責人、前亞馬遜AWS主任科學家Anima Anandkumar連發數條推文，直言不諱地批評了這一現狀。她表示，這種不負責任的審稿安排，不僅會給年輕研究人員的學術生涯造成不可逆的負面影響，而且會危及他們的心理健康。她甚至建議年輕的投稿人不要把所有的負面審稿意見太當真，要自己判斷哪些是“建設性意見”，哪些不是。此外，Anima Anandkumar在Twitter上也與周志華微博下的熱門評論內容相吻合，即：審稿人謊報資歷，一些學生本來不是專家，卻聲稱自己是專家，給出的評論很多都是沒有營養的廢話，還把文章槍斃了。Anandkumar表示，審稿人的資歷是“自評價”的，而這個評價體系管理混亂。她自己就曾見過身為AC、知名教授，謙虛地自評為“中等”，而一些沒畢業的研究生卻給自己評為“專家”。吐完槽，總免不了要說說問題怎么解決。Twitter網友給支了一些招，說實話，這些建議都不是第一次提出來了。——我讀博士的時候，應付這些“有毒”的評議意見的最好方法把它們概括整理到一張分類表上，比如“這項工作完全無用”，或“這項工作動力不足，研究方法不清晰”。主要是為了寫Rebuttal的時候更方便。——我覺得一個解決方法是對審稿人進行審稿質量評分（有權評分的包括論文作者、其他審稿人和AC），然后公開發布。這樣也許可以完全激發審稿人的積極性，AC也能根據分數參考，按學術背景分配審稿任務。——我覺得需要認真考慮一下現有的期刊/會議的投稿和審稿模式了。現在的模式讓兩邊都覺得別扭。我當審稿人時，經常要重審一些已經被拒稿、又重新投過來的論文，簡直浪費時間。
一名機器學習博士生在twitter上分享了ICLR 2020平均分數分布，結果顯示，在4分左右的占比最高：那么問題來了，能達到8分的論文都是怎樣的呢？這位博士生分享了幾篇8分范文，但其中有不少審稿人都沒有在該領域發表過論文、甚至對該領域都不了解，就這樣他們給論文打出8分，分享幾篇受到這樣待遇的“8分范文”：FreeLB: Enhanced Adversarial Training for Language Understanding
對抗訓練可以最大程度地降低保留標簽輸入干擾的最大風險，它已被證明可以有效地改善語言模型的通用性。在這項工作中，我們提出了一種新穎的對抗訓練算法-FreeLB，該算法通過在單詞嵌入中添加對抗性擾動并使輸入樣本周圍不同區域內的對抗風險最小化，從而提高了嵌入空間的魯棒性和不變性。為了驗證所提出方法的有效性，我們將其應用于基于Transformer的模型中以實現自然語言理解和常識推理任務。GLUE基準測試表明，僅將其用于微調階段時，它可以將基于BERT的模型的整體測試得分從78.3提高到79.4，將大型RoBERTa的模型的總體測試得分從88.5提高到88.8。此外，在ARC-Easy和ARC-Challenge上，所提出的方法還可以達到85.39％和67.32％的最新測試精度。在CommonsenseQA基準測試上的實驗進一步證明，FreeLB可以被推廣，并且可以提高RoBERTa-large模型在其他任務上的性能。
再來看看一位官方盲審對這篇論文的評論，TA打了8分，但TA的評估經驗是“我對此領域了解不多”。評論中挑了不少毛病，但最后給過了，這恐怕就是傳說中的不明覺厲吧？Dynamics-Aware Unsupervised Skill Discovery
傳統上，基于模型的強化學習（MBRL）旨在學習環境動態的全局模型。一個好的模型可以潛在地使計劃算法生成各種各樣的行為并解決各種各樣的任務。但是，要為復雜的動力學系統學習準確的模型仍然很困難，即使如此，該模型也可能無法在訓練它的狀態分布之外很好地推廣。在這項工作中，我們將基于模型的學習與對原語的無模型學習結合在一起，從而簡化了基于模型的計劃。為此，我們旨在回答這個問題：我們如何發現其結果易于預測的技能？我們提出了一種無監督的學習算法，即“動態感知技能發現（DADS）”，它可以同時發現可預測的行為并學習其動態。從理論上講，我們的方法可以利用連續的技能空間，即使對于高維狀態空間，我們也可以學習無限多種行為。我們證明，在學習的潛在空間中的零散規劃顯著優于標準MBRL和無模型的目標條件RL，可以處理稀疏獎勵任務，并且比無監督技能發現的現有分層RL方法有了顯著改進。
這篇論文下的兩位審稿人同樣是對該領域不了解，給出的評論顯示，第一位審稿人基本上是簡單敘述了一下這篇論文；第二位審稿人列出了研究的4個貢獻，并指出了兩個錯字。Depth-Width Trade-offs for ReLU Networks via Sharkovsky's Theorem
（通過 Sharkovsky 定理對 ReLU 網絡進行深度-寬度折衷）在這項工作中，我們指出了DNN的表現力與動力學系統中的Sharkovsky定理之間的新聯系，這使我們能夠基于存在不動點的廣義概念來表征ReLU網絡在表示功能時的深度-寬度折衷，稱為周期點（固定點是周期1的點）。
這位對此領域了解不多的審稿人表示自己特別喜歡啟發性的例子，以及Sharkovsky定理的清晰闡述，并強烈建議接受。還提出了幾個問題和建議。如何爬取并可視化 ICLR 2020 OpenReview？除此之外，CS at USC @ CLVR Lab 在讀研究生Shao-Hua Sun還給出了爬取并可視化 ICLR 2020 OpenReview 的具體操作方法，開源在GitHub上。https://github.com/shaohua0116/ICLR2020-OpenReviewData- pyvirtualdisplay (run on a headless device)
接下來可以制作詞云，用來直觀的顯示哪些是熱門研究領域。
https://github.com/amueller/word_cloud但是網頁那么多元素，怎么找到我們需要的內容呢？首先要inspect網頁內容。key = browser.find_elements_by_class_name("note_content_field")value = browser.find_elements_by_class_name("note_content_value")
ICLR 2020 OpenReview數據概覽
數據統計截止到2019-11-05。這里我們只列出Top 100的數據，完整的數據列表可以自己實現，或者直接進入原GitHub查看，地址：https://github.com/shaohua0116/ICLR2020-OpenReviewData#DataIEEE Spectrum
《科技縱覽》
官方微信公眾平臺
