論文摘要

盡管最近在訓練高質量的句子嵌入上做出了很多的努力，但是大家仍然對它們所捕捉的內容缺乏了解。基于句子分類的‘Downstream’tasks通常用于評估句子表示的質量。然而任務的復雜性使得它很難推斷出句子表示中出現了什么樣的信息。在本文將介紹10個probing tasks，旨在捕捉句子的簡單語言特征，并用它們來研究由三種不同編碼器產生的句子嵌入，這些編碼器以八種不同的方式進行訓練，揭示了編碼器和訓練方法的有趣特性。

總結

Facebook AI研究團隊試圖更好地理解句子嵌入所捕獲的內容。因為任務的復雜性不允許我們直接獲得理解。因此，論文介紹了10個旨在捕捉句子簡單語言特征的探究任務。通過這些探測任務獲得的結果可以揭示編碼器和訓練方法的一些有趣特性。

論文的核心思想是什么？

·???????我們有許多句子嵌入方法，表現出非常好的表現，但我們仍然缺乏對它們如何捕獲的內容的理解。

·???????研究人員通過引入10個探測任務來研究由3種不同編碼器（BiLSTM-last，BiLSTM-max和Gated ConvNet）生成的嵌入來解決這個問題，這些編碼器以8種不同的方式進行訓練。

·???????探測任務測試句子嵌入保留的程度：

1.???表面信息（句子中的單詞數、單詞內容）;

2.???句法信息（詞序、句子的層次結構、最高成分的順序）;

3.???語義信息（主句動詞的時態、主語和賓語的數量、隨機替換的單詞）。

什么是關鍵成就？

·???????對現代句子編碼器進行廣泛的評估。

·???????揭示編碼器和訓練方法的一些有趣屬性：

1.???由于自然語言輸入的冗余，Bag-of-Vectors所擅長得捕獲句子級屬性令人驚訝。

2.???相似性能的不同編碼器架構可導致不同的嵌入。

3.???卷積架構的整體探測任務性能與最佳LSTM架構的性能相當。

4.???BiLSTM-max在探測任務中優于BiLSTM。此外，即使沒有經過任何訓練，它也能實現非常好的性能。

未來的研究領域是什么？

·???????將探測任務擴展到其他語言和語言域。

·???????調查多任務訓練如何影響探測任務的性能。

·???????通過引入的探測任務，找到更多具有語言意識的通用編碼器。

什么是可能的商業應用？

1、更好地理解不同預訓練編碼器捕獲的信息將有助于研究人員構建更多具有語言意識的編碼器。反過來，這將改善將會被應用在NLP系統中。

你在哪里可以得到實現代碼？

1、GitHub上提供了本研究論文中描述的探測任務。

5.SWAG：一個用于給定信息的常識推理的大規模對抗性數據集，作者：ROWAN ZELLERS，YONATAN BISK，ROY SCHWARTZ，YEJIN CHOI

論文摘要

人類可以因為一些描述從而推斷出下面要發生什么，例如“她打開汽車的引擎蓋”，“然后，她檢查了發動機”。在本文中，我們介紹并整理了基礎常識推理。我們提出SWAG，一個新的數據集，包含113k多項選擇問題，涉及豐富的基礎推理。為了解決許多現有數據集中發現的注釋工件和人類偏見的反復出現的挑戰，我們提出了一種新穎的過程，它通過迭代訓練一組風格分類器構建一個去偏見的數據集，并使用它們來過濾數據。為了解釋對抗性過濾，我們使用最先進的語言模型來大量過濾一組不同的潛在反事實。實證結果表明，雖然人類可以高精度地解決由此產生的推理問題（88％），但各種競爭模型仍在努力完成我們的任務。

總結

當你讀到“他將生雞蛋面糊倒入鍋中時，他…”你可能會這樣選擇“提起鍋并移動它來攪拌。”我們可以發現，答案并不明顯，這需要常識推理。SWAG是支持研究自然語言推理（NLI）與常識推理大規模數據集。它是使用一種新穎的方法——對抗性過濾創建的，它可以以最經濟有效的方式構建未來的大規模數據集。

論文的核心思想是什么？

·???????SWAG包含113K多項選擇題，大多是視頻字幕：

1、上下文的句子來自于視頻字幕。

2、正確的答案是實際視頻中的下一個字幕。

3、使用對抗過濾（AF）生成錯誤的答案。

·???????Adversarial Filtering背后的想法：

1、大量生成錯誤答案，然后選擇哪些看起來像真正答案的回答。

2、過濾模型確定哪些回答似乎是機器生成的。這些回答被刪除并替換為模型認為是人為編寫的新回答。

·???????最后，整個數據集由眾包工作者驗證。

什么關鍵成就？

·???????提出一個新的具有挑戰性的大規模數據集來測試NLI系統。

·???????引入Adversarial Filtering，這種方法可用于經濟高效地構建大型數據集，具有以下幾個優點：

1、句子的多樣性不受人類創造力的限制；

2、數據集創建者可以在數據集構建期間任意提高難度；

3、人類不會寫回答但只會驗證它們，這樣更經濟；

AI社區的想法是什么？

·???????該論文在2018年一個自然語言處理領域領先的會議上被發表。

·???????即使在此重要的NLP會議上發布之前，該數據集也是通過Google的新BERT模型解決的，該模型的準確度達到了86.2％并且非常接近人類的準確度（88％）。

未來的研究領域是什么？

1?使用更好的Adversarial Filtering和語言模型創建更具對抗性的SWAG版本。

什么是可能的商業應用？

1?該數據集可以幫助構建具有常識推理的NLI系統，從而改善Q＆A系統和會話AI的開發。

你在哪里可以獲得實現代碼？

1、SWAG數據集可在GitHub上獲得。

6.（ELMO詞向量模型）作者：MATTHEW E. PETERS，MARK NEUMANN，MOHIT IYYER，MATT GARDNER，CHRISTOPHER CLARK，KENTON LEE，LUKE ZETTLEMOYER

論文摘要

本文推出了一種新的基于深度學習框架的詞向量表征模型，這種模型不僅能夠表征詞匯的語法和語義層面的特征，也能夠隨著上下文語境的變換而改變。簡單來說，本文的模型其實本質上就是基于大規模語料訓練后的雙向語言模型內部隱狀態特征的組合。實驗證明，新的詞向量模型能夠很輕松的與NLP的現有主流模型相結合，并且在六大NLP任務的結果上有著巨頭的提升。同時，作者也發現對模型的預訓練是十分關鍵的，能夠讓下游模型去融合不同類型的半監督訓練出的特征。

總結

艾倫人工智能研究所的團隊引入了一種新型的深層語境化詞匯表示：語言模型嵌入（ELMo）。在ELMO增強模型中，每個單詞都是根據使用它的整個上下文進行矢量化的。將ELMo添加到現有NLP系統可以實現：

1：相對誤差減少范圍從6-20％；

2：顯著降低訓練模型所需的時期數量；

3：顯著減少達到基線性能所需的訓練數據量。

論文的核心思想是什么？

·???????生成詞嵌入作為深度雙向語言模型（biLM）的內部狀態的加權和，在大文本語料庫上預訓練。

·???????包括來自biLM的所有層的表示，因為不同的層表示不同類型的信息。

·???????基于角色的ELMo表示，以便網絡可以使用形態線索來“理解”在訓練中看不到的詞匯外令牌。

取得了什么關鍵成就？

·???????將ELMo添加到模型中會創造新的記錄，在諸如問答、文本蘊涵、語義角色標記、共指解析、命名實體提取、情緒分析等NLP任務中相對誤差降低6-20％。

·???????使用ELMo增強模型可顯著著降低達到最優性能所需的訓練次數。因此，具有ELMo的語義角色標簽（SRL）模型僅需要10個時期就可以超過在486個訓練時期之后達到的基線最大值。

·???????將ELMo引入模型還可以顯著減少實現相同性能水平所需的訓練數據量。例如，對于SRL任務，ELMo增強模型僅需要訓練集的1％即可獲得與具有10％訓練數據的基線模型相同的性能。

AI社區對其的評價？

·???????該論文被NAACL評為優秀論文，NAACL是世界上最具影響力的NLP會議之一。

·???????本文介紹的ELMo方法被認為是2018年最大的突破之一，也是NLP未來幾年的主要趨勢。

未來的研究領域是什么？

1、通過將ELMos與不依賴于上下文的詞嵌入連接起來，將此方法合并到特定任務中。

可能的商業應用的范圍是什么？

ELMo顯著提高了現有NLP系統的性能，從而增強了：

1.???聊天機器人將更好地理解人類和回答問題;

2.???對客戶的正面和負面評論進行分類;

3.???查找相關信息和文件等；

你在哪里可以得到實現代碼？

艾倫研究所提供英語和葡萄牙語預訓練的ELMo模型，你還可以使用TensorFlow代碼重新訓練模型。

7.用于低資源神經機器翻譯的元學習，作者：JIATAO GU，WANG WANG，YUN YUN，KYUNGHYUN CHO，VICTOR OK LI

論文摘要

在本文中，我們建議擴展最近引入的模型：不可知元學習算法（MAML），用于低資源神經機器翻譯（NMT）。我們將低資源翻譯構建為元學習問題，并且我們學習基于多語言高資源語言任務來適應低資源語言。我們使用通用詞匯表示來克服不同語言的輸入輸出不匹配的問題。我們使用十八種歐洲語言（Bg，Cs，Da，De，El，Es，Et，Fr，Hu，It，Lt，Nl，Pl，Pt，Sk，Sl，Sv和Ru）評估所提出的元學習策略，源任務和五種不同的語言（Ro，Lv，Fi，Tr和Ko）作為目標任務。我們證實了，所提出的方法明顯優于基于多語言遷移學習的方法，這能夠使我們只用一小部分訓練樣例來訓練有競爭力的NMT系統。例如，通過通過16000個翻譯單詞（約600個并行句子），用所提出的方法在羅馬尼亞語-英語WMT'16上實現高達22.04 BLEU。

總結

香港大學和紐約大學的研究人員使用模型無關的元學習算法（MAML）來解決低資源機器翻譯的問題。特別是，他們建議使用許多高資源語言對來查找模型的初始參數，然后，這種初始化允許僅使用幾個學習步驟在低資源語言對上訓練新的語言模型。

論文的核心思想是什么？

·???????介紹了一種新的元學習方法MetaNMT，該方法假設使用許多高資源語言對來找到良好的初始參數，然后從找到的初始參數開始在低資源語言上訓練新的翻譯模型。

·???????只有在所有源和目標任務之間共享輸入和輸出空間時，元學習才能應用于低資源機器翻譯。然而，由于不同的語言具有不同的詞匯。為了解決這個問題，研究人員使用鍵值存儲網絡動態地構建了針對每種語言的詞匯表。

關鍵成就是什么？

·???????為極低資源語言找到了神經機器翻譯的新方法，其中：

1、能夠在高資源和極低資源語言對之間共享信息;

2、僅使用幾千個句子來微調低資源語言對上的新翻譯模型;

·???????實驗證明：

1、元學習始終比多語言遷移學習好；

2、元學習驗證集語言對的選擇會影響結果模型的性能。例如，當使用羅馬尼亞語-英語進行驗證時，芬蘭語-英語受益更多，而土耳其語-英語則更喜歡拉脫維亞語-英語的驗證。

AI社區對它的看法？

·???????該論文在自然語言處理領域領先的會議EMNLP上被發表。

·???????所提出的方法獲得了Facebook的低資源神經機器翻譯獎。

未來的研究領域是什么？

·???????半監督神經機器翻譯的元學習或單語語料庫的學習。

·???????當學習多個元模型且新語言可以自由選擇適應的模型時，進行多模態元學習。

什么是可能的商業應用？

·???????MetaNMT可用于改善可用并行語料庫非常小的語言對的機器翻譯結果。

?

?

原文鏈接
本文為云棲社區原創內容，未經允許不得轉載。

總結

以上是生活随笔為你收集整理的可应用于实际的14个NLP突破性研究成果（二）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。