這是何世柱老師團(tuán)隊(duì)發(fā)表于COLING2018的一篇文章。

一. 文章貢獻(xiàn)：

提出進(jìn)行模式提取和實(shí)體鏈接，并提出模式修改程序來緩解錯(cuò)誤傳播問題

學(xué)習(xí)對(duì)候選主謂詞對(duì)進(jìn)行排序以使得能夠在給出問題的情況下進(jìn)行相關(guān)事實(shí)檢索，我們建議通過關(guān)系檢測(cè)來增強(qiáng)聯(lián)合事實(shí)選擇。利用多級(jí)編碼和多維信息（計(jì)算語義相似性，問題話語和主語謂語對(duì)的多級(jí)編碼）來加強(qiáng)整個(gè)過程

我們的方法在Simple KB-QA任務(wù)中創(chuàng)造了一項(xiàng)新記錄

二 .數(shù)據(jù)集： Simple Questions

三. 網(wǎng)絡(luò)模型：

1. 模式提取和實(shí)體鏈接

要解決的問題：

識(shí)別問題中連接到KB中實(shí)體的提及范圍 （mention span） ----模式提取

生成問題應(yīng)該引用的KB中的候選實(shí)體 (subject entities) ----實(shí)體鏈接（通過模式修改得到增強(qiáng)）

方法：

模式提取

• 通常是使用所有N-gram來檢索KB中的候選主題，但由于大量非主題N-gram，導(dǎo)致候選池noise太大。
• 本文將問題表達(dá)分為兩部分：涉及跨度以及問題模式（mention span 和 question pattern），其中涉及跨度是以引用KB中實(shí)體的比較少用的詞，問題模式包含常用的反映問題表達(dá)所指代的關(guān)系的單詞。
• 可以看做一個(gè)連續(xù)的標(biāo)簽任務(wù)，將少見的涉及跨度的連續(xù)詞分為一種，相對(duì)常見的問題模式的詞標(biāo)記為另一種。
• 所以模式提取環(huán)節(jié)的主要任務(wù)是訓(xùn)練模型來預(yù)測(cè)文本涉及跨度中指向主題的連續(xù)詞。
• 最終問題被分割為（mention，pattern）對(duì)。

模式修正：

上面模式提取中由于順序標(biāo)記模型的性能，在(mention,pattern)對(duì)中存在一些不好的結(jié)果，比如：上面模式提取中由于順序標(biāo)記模型的性能，在(mention,pattern)對(duì)中存在一些不好的結(jié)果，比如：

• 常見的錯(cuò)誤有mention span標(biāo)記錯(cuò)誤
• 更嚴(yán)重的錯(cuò)誤比如mention是問題表達(dá)本身，pattern為空。
  
  所以對(duì)以上進(jìn)行模式修正來增加好的pattern。該部分基于數(shù)據(jù)集中常見詞組成的問題模式應(yīng)該多次出現(xiàn)，pattern出現(xiàn)的次數(shù)越多越正確，保留所有提取的次數(shù)大于1的pattern作為pattern base Pn，原始問題作為句子表達(dá)baseQn。對(duì)于每個(gè)句子，重新評(píng)估其提取模式來實(shí)體找到更合適的模式。

實(shí)體鏈接：找到每個(gè)問題的mention span（用來鏈接KB中的實(shí)體）。基于mention span，我們用里面的每個(gè)單詞來檢索subject entities并選擇得分最高的K個(gè)實(shí)體（這里通過最長(zhǎng)公共子序列？？沒太懂）。

2. 關(guān)系檢測(cè)和事實(shí)選擇

關(guān)系檢測(cè)增強(qiáng)

• 對(duì)于一個(gè)問題，相關(guān)聯(lián)的實(shí)體有很多，為了簡(jiǎn)化問題，對(duì)關(guān)聯(lián)實(shí)體進(jìn)行排序，找出前K個(gè)最接近于gold fact的 candidate實(shí)體，訓(xùn)練了一個(gè)關(guān)系檢測(cè)網(wǎng)絡(luò)將每個(gè)問題表達(dá)映射為最可能的pridicate。

• predicates用不同粒度來表示，分別是predicate-level和word-level，其中word-level作為predicate-level的補(bǔ)充來減輕數(shù)據(jù)稀疏性，因?yàn)楹枚鄍redicate名稱沒有在訓(xùn)練數(shù)據(jù)集中出現(xiàn)

• 用問題表達(dá)作為關(guān)系檢測(cè)器的輸入。相似性分?jǐn)?shù)srel(r, q) 是問題表達(dá)的LSTM 編碼和predicate嵌入的cos距離。

• 提取candidate subject的顯著類型作為類型信息，利用word-level LSTM 編碼器來獲取類型信息編碼。然后再綜合考慮predicate和word level類型信息，獲取candidate subject的類型信息。

• 對(duì)于關(guān)聯(lián)實(shí)體e和對(duì)應(yīng)的關(guān)系Re，生成最終的分?jǐn)?shù)。選擇top-N entities生成事實(shí)池。

• 對(duì)于事實(shí)池中的每個(gè)subject entity s，有對(duì)應(yīng)的predicate set Ps，問題轉(zhuǎn)化為一個(gè)事實(shí)選擇問題或者稱為一個(gè)匹配問題。給定問題q(mention,pattern),subject entities和predicates,事實(shí)選擇模型聯(lián)合找出最匹配問題提的subject和predicate.

主題匹配網(wǎng)絡(luò)：

• 計(jì)算問題的mention span和Predicate實(shí)體的相關(guān)性。由于單詞嵌入的范圍有限，實(shí)體名稱中很多次都是OOV單詞。計(jì)算問題的mention span和Predicate實(shí)體的相關(guān)性。由于單詞嵌入的范圍有限，實(shí)體名稱中很多次都是OOV單詞。
• 因此用character-level的RNN編碼來編碼mention span和candidate subject’s 名字，來減少OOV。

predicate匹配：

• 將從問題表達(dá)中提取的模式和相應(yīng)的candidate predicate進(jìn)行匹配

• 【問題模式編碼】和【predicate編碼】，然后計(jì)算相似度

總結(jié)

以上是生活随笔為你收集整理的论文略读 | Pattern-revising Enhanced Simple Question Answering over Knowledge Bases的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。