粉嫩一区二区三区四区公司1,中文字幕一区日韩电影,中文字幕av一区二区三区人

自然語(yǔ)言處理頂會(huì)EMNLP 201910月8號(hào)在中國(guó)香港閉幕，最佳論文也重磅出爐！今年雖然中國(guó)人投稿論文和錄取論文都很多，然而基本無(wú)緣獎(jiǎng)項(xiàng)。最佳論文一作是約翰霍普金斯大學(xué)的華人學(xué)生，她的導(dǎo)師Jason Eisner是NLP界大神級(jí)人物。

━━━━

自然語(yǔ)言處理頂會(huì)EMNLP 2019 的最佳論文重磅出爐了！

EMNLP-IJCNLP 2019 于11月3日到7日聯(lián)合在中國(guó)香港舉辦，在昨晚的閉幕式上，頒發(fā)了本年度的最佳論文獎(jiǎng)項(xiàng)。

今年共有四個(gè)獎(jiǎng)項(xiàng)，分別是最佳論文獎(jiǎng)、最佳論文提名獎(jiǎng)、最佳資源獎(jiǎng)和最佳Demo獎(jiǎng)。

其中，最佳論文一作是約翰霍普金斯大學(xué)的華人學(xué)生Xiang Lisa Li，以及她的導(dǎo)師Jason Eisner。Jason Eisner是NLP界大神級(jí)人物，在語(yǔ)言結(jié)構(gòu)的概率模型和算法方面做出了許多重要貢獻(xiàn)。

最佳論文提名獎(jiǎng)獲獎(jiǎng)?wù)邅?lái)自斯坦福大學(xué)，最佳資源獎(jiǎng)由Facebook、索邦大學(xué)和約翰霍普金斯大學(xué)的聯(lián)合團(tuán)隊(duì)摘得，最佳Demo獎(jiǎng)獲得者來(lái)自艾倫人工智能研究所和加州大學(xué)歐文分校。遺憾的是，雖然中國(guó)投稿論文最多、也不乏錄取為Oral、Poster的論文，但國(guó)內(nèi)師生基本無(wú)緣獎(jiǎng)項(xiàng)。

獲獎(jiǎng)?wù)撐姆謩e是：

最佳論文獎(jiǎng)：Specializing Word Embeddings (for Parsing) by Information Bottleneck

作者：Xiang Lisa Li，Jason Eisner (約翰霍普金斯大學(xué))

最佳論文提名獎(jiǎng)：Designing and Interpreting Probes with Control Tasks

作者：John Hewitt，Percy Liang（斯坦福大學(xué)）

最佳資源獎(jiǎng)：Two New Evaluation Datasets for Low-Resource Machine Translation: Nepali-English and Sinhala-English

作者：Francisco Guzmán, Peng-Jen Chen, Myle Ott, Juan Pino, Guillaume Lample, Philipp Koehn, Vishrav Chaudhary, Marc'Aurelio Ranzato

作者機(jī)構(gòu)：Facebook AI Research、索邦大學(xué)、約翰霍普金斯大學(xué)

最佳Demo獎(jiǎng)：AllenNLP Interpret: A Framework for Explaining Predictions of NLP Models

作者：Eric Wallace, Jens Tuyls, Junlin Wang, Sanjay Subramanian, Matt Gardner, Sameer Singh

作者機(jī)構(gòu)：艾倫人工智能研究所、加州大學(xué)歐文分校

在介紹最佳論文前，讓我們回顧一下今年EMNLP的相關(guān)數(shù)據(jù)：今年提交論文2914篇，比2018年的EMNLP增加了約30%，使EMNLP-IJCNLP 2019成為有史以來(lái)最大規(guī)模的NLP會(huì)議。

有38篇論文因?yàn)楦鞣N原因被拒，因此最終評(píng)審的論文是2876篇，錄取論文683篇，錄取率為23.7%。其中，錄取為Oral論文的有212篇。

下圖是提交論文最多的5個(gè)國(guó)家/地區(qū)，中國(guó)提交的論文最多，接近1000篇，其次是美國(guó)，但美國(guó)被錄取的論文更多。

錄取論文的分?jǐn)?shù)區(qū)間如下圖所示：

會(huì)上同時(shí)也公布了未來(lái)幾個(gè)NLP重要的舉辦城市：

ACL 2021將在泰國(guó)曼谷舉辦
EMNLP 2020將在多米尼加共和國(guó)的普塔卡納舉辦。
COLING 2020：西班牙巴塞羅那
AACL 2020：中國(guó)蘇州
ACL 2020：美國(guó)西雅圖

華人一作摘獲最佳論文：變分信息瓶頸的新穎應(yīng)用和理論證明

最佳論文獎(jiǎng)：Specializing Word Embeddings (for Parsing) by Information Bottleneck

作者：Xiang Lisa Li，Jason Eisner (約翰霍普金斯大學(xué))

摘要：

ELMo和BERT這類的預(yù)訓(xùn)練詞嵌入包含了豐富的語(yǔ)法和語(yǔ)義信息，從而在各種任務(wù)中獲得最先進(jìn)的性能。

我們提出一種非常快速的變分信息瓶頸(variational information bottleneck, VIB)方法來(lái)對(duì)這些嵌入進(jìn)行非線性壓縮，只保留有助于判別解析器的信息。我們將嵌入詞壓縮為離散標(biāo)簽或連續(xù)向量。

在離散標(biāo)簽版本中，我們的自動(dòng)壓縮標(biāo)簽形成了一個(gè)備選標(biāo)簽集：我們通過(guò)實(shí)驗(yàn)證明，這些標(biāo)簽可以捕獲傳統(tǒng)POS標(biāo)簽注釋中的大部分信息，但是在相同的標(biāo)簽粒度級(jí)別上，我們的標(biāo)簽序列能夠被更準(zhǔn)確地解析。

在連續(xù)向量版本中，我們通過(guò)實(shí)驗(yàn)證明，通過(guò)我們的方法適當(dāng)?shù)貕嚎s詞嵌入，可以在9種語(yǔ)言中的8種語(yǔ)言中生成更精確的解析器，而不像簡(jiǎn)單的降維那樣。

我們用瓶頸變量t來(lái)實(shí)例化信息瓶頸。鋸齒形箭頭表示一個(gè)隨機(jī)映射，即鋸齒形箭頭從一個(gè)分布的參數(shù)指向從該分布抽取的樣本。

最佳論文提名獎(jiǎng)：Designing and Interpreting Probes with Control Tasks

作者：John Hewitt，Percy Liang（斯坦福大學(xué)）

摘要：

“探針”(Probes)是一類監(jiān)督模型，用于從表示(如ELMo)中預(yù)測(cè)屬性(如詞性)，它們?cè)谝幌盗姓Z(yǔ)言任務(wù)中取得了很高的準(zhǔn)確性。但這是否意味著表示對(duì)語(yǔ)言結(jié)構(gòu)進(jìn)行了編碼，還是僅僅意味著探針模型已經(jīng)學(xué)會(huì)了語(yǔ)言任務(wù)？

在這篇論文中，我們提出控制任務(wù)(control tasks)，即把單詞類型和隨機(jī)輸出聯(lián)系起來(lái)，從而對(duì)語(yǔ)言任務(wù)進(jìn)行補(bǔ)充。這些任務(wù)只能通過(guò)探針本身來(lái)學(xué)習(xí)。因此，一個(gè)好的探針應(yīng)該是有選擇性的，能夠?qū)崿F(xiàn)較高的語(yǔ)言任務(wù)準(zhǔn)確性和較低的控制任務(wù)準(zhǔn)確性。探針的選擇性將語(yǔ)言任務(wù)的準(zhǔn)確性與探針記憶單詞類型的能力聯(lián)系起來(lái)。

我們構(gòu)造了英文詞性標(biāo)注和依賴項(xiàng)邊緣預(yù)測(cè)的控制任務(wù)，并證明了常用的ELMo表示的探針是沒(méi)有選擇性的。我們還發(fā)現(xiàn)，通常用于控制探針復(fù)雜度的dropout對(duì)提高M(jìn)LP的選擇性無(wú)效，但其他形式的正則化是有效的。最后，我們發(fā)現(xiàn)在ELMo的第一層上的探針比第二層上的探針產(chǎn)生的詞性標(biāo)記精度稍好一些，而在第二層上的探測(cè)具有更強(qiáng)的選擇性，這就提出了一個(gè)問(wèn)題，即哪個(gè)層能更好地表示詞性。

控制任務(wù)為詞匯表中的每個(gè)單詞類型定義隨機(jī)行為(如隨機(jī)輸出)。無(wú)論上下文如何，每個(gè)單詞標(biāo)記都被分配其類型的輸出。控制任務(wù)與語(yǔ)言任務(wù)(例如，詞性任務(wù))具有相同的輸入和輸出空間，但是只在探針記住映射時(shí)才能學(xué)習(xí)。

最佳資源獎(jiǎng)：Two New Evaluation Datasets for Low-Resource Machine Translation: Nepali-English and Sinhala-English

作者：Francisco Guzmán, Peng-Jen Chen, Myle Ott, Juan Pino, Guillaume Lample, Philipp Koehn, Vishrav Chaudhary, Marc'Aurelio Ranzato

作者機(jī)構(gòu)：Facebook AI Research、索邦大學(xué)、約翰霍普金斯大學(xué)

對(duì)于機(jī)器翻譯，世界上絕大多數(shù)語(yǔ)言對(duì)都是低資源的，因?yàn)樗鼈儙缀鯖](méi)有可用的并行數(shù)據(jù)。除了在有限的監(jiān)督下學(xué)習(xí)這一技術(shù)挑戰(zhàn)之外，由于缺乏自由和公開(kāi)的基準(zhǔn)，很難評(píng)估在低資源語(yǔ)言對(duì)上訓(xùn)練的方法。

在這項(xiàng)工作中，我們基于從維基百科翻譯的句子，提出了尼泊爾語(yǔ)-英語(yǔ)和僧伽羅語(yǔ)-英語(yǔ)的FLORES評(píng)估數(shù)據(jù)集。與英語(yǔ)相比，這些語(yǔ)言具有非常不同的形態(tài)和語(yǔ)法，而且很少有領(lǐng)域外的并行數(shù)據(jù)可用。

我們描述了收集和交叉檢查翻譯質(zhì)量的過(guò)程，并使用幾種學(xué)習(xí)設(shè)置報(bào)告了基準(zhǔn)性能：完全監(jiān)督、弱監(jiān)督、半監(jiān)督和完全無(wú)監(jiān)督。我們的實(shí)驗(yàn)表明，目前最先進(jìn)的方法在這個(gè)基準(zhǔn)上表現(xiàn)相當(dāng)差，這對(duì)研究低資源機(jī)器翻譯的社區(qū)提出了挑戰(zhàn)。

實(shí)驗(yàn)的數(shù)據(jù)和代碼已經(jīng)在GitHub公布：

https://github. com/facebookresearch/flores.

最佳Demo獎(jiǎng)：AllenNLP Interpret: A Framework for Explaining Predictions of NLP Models

作者：Eric Wallace, Jens Tuyls, Junlin Wang, Sanjay Subramanian, Matt Gardner, Sameer Singh

作者機(jī)構(gòu)：艾倫人工智能研究所、加州大學(xué)歐文分校

摘要：

Neural NLP模型越來(lái)越精確，但并不完美，而且不透明——它們的方式是反直覺(jué)的，讓最終用戶對(duì)它們的行為感到困惑。模型解釋方法通過(guò)為特定的模型預(yù)測(cè)提供解釋來(lái)改善這種不透明性。遺憾的是，現(xiàn)有的解釋代碼庫(kù)很難將這些方法應(yīng)用到新的模型和任務(wù)中，這阻礙了從業(yè)者采用這些方法，并給可解釋性研究人員帶來(lái)了負(fù)擔(dān)。

我們提出了一個(gè)用于解釋NLP模型的靈活框架——AllenNLP Interpret。該工具包能為任何AllenNLP模型和任務(wù)提供了解釋原語(yǔ)(例如，輸入梯度)、一套內(nèi)置的解釋方法和一個(gè)前端可視化組件庫(kù)。

我們通過(guò)在各種模型和任務(wù)上演示了五種解釋方法(例如，顯著性映射和對(duì)抗性攻擊)，展示了該工具包的靈活性和實(shí)用性。