來(lái)源：ACL2020

鏈接：https://arxiv.org/pdf/2005.00856.pdf

摘要

知識(shí)圖譜的嵌入愈發(fā)變成AI的熱點(diǎn)之一，對(duì)許多下游任務(wù)至關(guān)重要（如個(gè)性化推薦、問(wèn)答等）

同時(shí)，此模型強(qiáng)調(diào)兩個(gè)關(guān)鍵特性：

利用足夠多的特征進(jìn)行交叉計(jì)算（分塊）

同時(shí)在計(jì)算時(shí)，區(qū)別對(duì)稱關(guān)系、非對(duì)稱關(guān)系特征

本文的貢獻(xiàn)有兩個(gè)：
1.提出了輕量級(jí)框架SEEK，同時(shí)滿足模型低復(fù)雜性、高表達(dá)力
2.提出了新的打分函數(shù)，同時(shí)完成特征整合、關(guān)系留存

1 引言

知識(shí)圖譜 knowledge graph (KG)含有大量的實(shí)體和關(guān)系，表示為三元組(h, r, t)，即(頭實(shí)體 , 關(guān)系, 尾實(shí)體)

知識(shí)圖譜嵌入(KGE)是為了，把大量相關(guān)的三元組映射到低維空間（保留潛在的語(yǔ)義信息）現(xiàn)有的KGE模型存在的問(wèn)題：不能很好地平衡模型復(fù)雜性（模型參數(shù)的數(shù)量）和模型表達(dá)力（獲取語(yǔ)義信息的能力），如下分為兩類(lèi)：

1）模型簡(jiǎn)單、表達(dá)有限
如：TransE、DistMult （簡(jiǎn)單易用，獲取語(yǔ)義信息的能力欠佳）

2）模型復(fù)雜、表達(dá)力強(qiáng)
如：TransH、TransR、Single DistMult、ConvE、InteractE （模型復(fù)雜，需要大量向量計(jì)算，擴(kuò)展性差）

本文的輕量級(jí)KGE框架SEEK有如下特性：特征有交互、保留關(guān)系特性、高效的打分函數(shù)、

特征交互：把嵌入空間分為多塊，讓各塊之間有關(guān)聯(lián)（而不用增加模型參數(shù)）

關(guān)系特性：同時(shí)保留對(duì)稱的、非對(duì)稱的關(guān)系（對(duì)稱關(guān)系：雙向關(guān)系；非對(duì)稱關(guān)系：單向關(guān)系）

打分函數(shù)：結(jié)合上述兩種特征，計(jì)算得分（來(lái)自于3個(gè)模型的打分函數(shù)：DistMult、HoIE、ComplEx）

2 SEEK的框架

各種打分函數(shù)是KGE(knowledge graph embedding )的基礎(chǔ)，基于此我們建立了SEEK本文提出的SEEK模型的參數(shù)和TransE、DistMult一樣少，卻能更好地表達(dá)圖譜。

2.1 得分函數(shù)的Design

SEEK在得分函數(shù)的設(shè)計(jì)中，迭代了四個(gè)版本，逐一看下。

f₁: Multi-linear Dot Product：

下圖是公式，具體是計(jì)算頭實(shí)體h，尾實(shí)體 t，關(guān)系 r 之間的點(diǎn)乘。這個(gè)是以下公式的基礎(chǔ)。

?????????????

f₂: Multi-linear Dot Product Among Segments：

將嵌入維度劃分為多段，考慮段與段之間的信息交互。其中 k 是段的個(gè)數(shù)，d是維度，x 代表關(guān)系向量 r 切分后的第 x 段，y 代表頭實(shí)體向量 h 切分后的第 y 段，w 代表尾實(shí)體向量 t 切分后的第 w 段。

例如，我們可以將關(guān)系向量嵌入表示為：

??????????

?????????

f₃: Modeling both Symmetric and Antisymmetric Relations：

我們需要考慮關(guān)系的對(duì)稱性和反對(duì)稱性。

對(duì)于f₂模型來(lái)說(shuō)，當(dāng)給一個(gè)具有對(duì)稱性的關(guān)系 r 和一個(gè)三元組 (h, r, t)，存在f₂(h, r, t) = f₂(t, r, h)，但是對(duì)于給定一個(gè)反對(duì)稱關(guān)系 r ，仍然存在f₂(h, r, t) = f₂(t, r, h)，這就是不對(duì)的，因?yàn)榇藭r(shí)的 f₂(t, r, h)是一個(gè)錯(cuò)的三元組。

為了考慮關(guān)系的對(duì)稱性和反對(duì)稱性，將關(guān)系向量 r的切割分為奇數(shù)和偶數(shù)兩部分，并引入變量 S_x,y，偶數(shù)部分能夠捕捉對(duì)稱性，并且奇數(shù)部分能夠捕捉反對(duì)稱性。

???????????

??????????

其中S_x,y控制了關(guān)系向量的切割點(diǎn)為奇數(shù)與偶數(shù)時(shí)三元組的正負(fù)關(guān)系。下面是分成 2 段的一個(gè)例子

?????

f₄: Reducing Computing Overheads

優(yōu)化計(jì)算復(fù)雜度。

f3 算法的時(shí)間復(fù)雜度是O(n²)級(jí)別的，還是較高，f4優(yōu)化了其復(fù)雜度，降至O(n²)。

對(duì)尾實(shí)體 t 引入變量W_x,y，具體的計(jì)算公式如下，也是分為奇數(shù)偶數(shù)部分， k 為分割段數(shù)，S_x,y計(jì)算和f₃一樣。

???????

??????????

??? 其中由于W_x,y的計(jì)算只與x和y存在關(guān)系，因此時(shí)間復(fù)雜度降為了O(n2),下面是分成 4 段的一個(gè)例子

r 的下標(biāo)為偶數(shù)的情況下，考慮了對(duì)稱性，S_x,y計(jì)算和f₃一樣，都是正(+)，偶數(shù)的情況下 t 也沒(méi)有變化。

r 的下標(biāo)為奇數(shù)的情況下，考慮了反對(duì)稱性，Sxy 計(jì)算和 f₃ 一樣，x + y 大于等于 4 的時(shí)候?yàn)樨?fù)，其余為正，t 的計(jì)算是 (x + y) % k 取余，替換尾實(shí)體，段之間的特征交互隨著k的增大而增多。

????????

2.2 模型訓(xùn)練

損失函數(shù)為-log函數(shù)，L₂正則化，激活函數(shù)sigmoid

?? ?Θ：向量嵌入時(shí)的參數(shù)
??? ?：圖譜中本來(lái)的三元組、生成的負(fù)樣本三元組
梯度的計(jì)算公式：

??? L目標(biāo)函數(shù)，Θ參數(shù)，對(duì)f₄求導(dǎo)時(shí)：

3 實(shí)驗(yàn)效果

驗(yàn)證效果采用的數(shù)據(jù)集是 FB15K，DB100K 和 YAGO37，FB15K 是 Freebase 的子集，DB100K來(lái)自DBpedia，YAGO37 來(lái)自 YAGO3，具體數(shù)據(jù)如下：

???????

采用的評(píng)測(cè)任務(wù)是鏈接預(yù)測(cè)，在三個(gè)數(shù)據(jù)集上面的效果如下圖，其中k和d 的設(shè)置在三個(gè)數(shù)據(jù)集上面都不一致，是采用網(wǎng)格搜索找到的最優(yōu)超參數(shù)。

評(píng)測(cè)指標(biāo)，MRR：所有正確實(shí)例排名的倒數(shù)的平均值；Hits@N：正確實(shí)例的排名中不大于 N 的比例。

4 總結(jié)

本文提出一個(gè)輕量級(jí)框架SEEK，利用打分函數(shù)，在不增加模型參數(shù)的情況下，提高了模型對(duì)知識(shí)圖譜的嵌入表示效果。主要原理是：1.分塊并利用不同塊之間的特征交叉計(jì)算 2.區(qū)分并保留多種關(guān)系 。同時(shí)SEEK是一個(gè)普適性更強(qiáng)的模型，DistMult, ComplEx, HolE可作為SEEK的特例。本文從效率、效果、魯棒性方面闡述了SEEK的性能。

?

---

?

OpenKG

開(kāi)放知識(shí)圖譜（簡(jiǎn)稱 OpenKG）旨在促進(jìn)中文知識(shí)圖譜數(shù)據(jù)的開(kāi)放與互聯(lián)，促進(jìn)知識(shí)圖譜和語(yǔ)義技術(shù)的普及和廣泛應(yīng)用。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 網(wǎng)站。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 - ACL2020 | Segmented Embedding of Knowledge Graphs的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。