摘要SemEval-2任務8專注于名詞對之間語義關系的多分類。 該任務旨在比較語義關系分類的不同方法，并為將來的研究提供標準的測試平臺。 本文定義了任務，描述了訓練和測試數據及其創建過程，列出了參與的系統（10個團隊，28個運行），并討論了其結果。

1簡介

SemEval-2010任務8著重于名詞對之間的語義關系。例如，茶和人參在“杯子中含有來自人參干的茶”中具有“實體-原點”關系。語義關系的自動識別具有許多應用，例如信息提取，文檔摘要，機器翻譯或敘詞表和語義網絡的構建。它還可以促進輔助任務，例如單詞義消除歧義，語言建模，釋義和識別文本含義。我們的目標是創建一個自動分類語義關系的測試平臺。在制定任務時，我們遇到了幾個挑戰：選擇合適的關系集，指定注釋過程以及確定任務本身的細節。它們將在第2節中進行簡要討論。另請參見Hendrickx等。 （2009年），其中包括相關工作的調查。任務8的直接前身是名詞之間的語義關系分類，即SemEval-1中的任務4（Girju等，2009），它為七個關系中的每一個都有一個單獨的二進制標簽數據集。我們將SemEval2010任務8定義為多向分類任務，其中每個示例的標簽都必須從十個關系的完整集合中選擇，并且事先不提供從名詞到參數槽的映射。我們還提供了更多數據：10,717個帶注釋的示例，而SemEval-1 Task 4中為1,529個。

2數據集創建

2.1語義關系清單

我們首先決定了語義關系清單。理想情況下，它應該是詳盡無遺的（啟用任何一對名詞之間的關系描述）并且是互斥的（上下文中的每對名詞僅應映射到一個關系）。但是，文獻表明，任何關系清單都不能同時滿足這兩種需求，并且在實踐中，必須接受它們之間的某種權衡。作為務實的妥協，我們選擇了九種關系，涵蓋范圍廣泛，足以引起一般和實際利益。我們旨在盡可能避免語義重疊。但是，我們包括兩組高度相關的關系（ENTITY-ORIGIN / ENTITY-DESTINATION和CONTENT-CONTAINER / COMPONENTWHOLE / MEMBER-COLLECTION），以評估模型進行細粒度區分的能力。我們的庫存如下。前四個也用在SemEval-1任務4中，但是注釋準則已經過修訂，因此不應假定完全連續。

因果（CE）。事件或物體會產生效果。示例：那些癌癥是由輻射暴露引起的
文書機構（IA）。代理人使用工具。示例：電話接線員
產品生產商（PP）。生產者導致產品存在。示例：一家工廠生產西服
內容容器（CC）。對象物理上存儲在空間的劃定區域中。示例：稱重滿滿一瓶蜂蜜
實體來源（EO）。實體來自原點（例如，位置或材料）或從原點衍生。示例：來自外國的信件
?實體目標（ED）。實體正在走向目的地。例子：男孩上床睡覺
整體分量（CW）。對象是更大整體的組成部分。示例：我的公寓有一個大廚房
成員集合（MC）。成員構成集合的非功能部分。例子：森林里有很多樹
消息主題（MT）。消息（書面或語音）與主題相關。示例：講座是關于語義的

2.3注釋過程
注釋進行了三輪。首先，我們通過基于模式的Web搜索為每個關系手動收集了大約1200個句子。為了確保各種例句，我們為每種關系使用了大量的模式，通常在一百到幾百之間。重要的是，在第一輪中，關系本身未加注釋：目標只是收集積極和幾乎未遂的候選實例。一個粗略的目標是讓90％的候選人實例化目標關系（“積極實例”）。在第二輪中，為每個關系收集的候選者轉到兩個獨立的注釋器進行標記。由于我們有一個多向分類任務，因此注釋者使用了9個關系以及OTHER的完整清單。由于重疊的案例在很大程度上是系統性的，因此這種注釋變得更加容易，這是由諸如隱喻用法之類的一般現象和存在多個關系的情況引起的。例如，CONTENTCONTAINER和ENTITY-DESTINATION之間存在系統的潛在重疊，具體取決于句子中描述的情況是靜態還是動態，例如，, “When I came, the apples were already put in the basket.” is CC(e1, e2), 而 “Then, the apples were quickly put in the basket.” is ED(e1, e2).

3任務參與
系統必須解決以下任務：給定一個句子和兩個標記的名詞，預測這些名詞之間的關系以及關系的方向。 我們發布了一個詳細的評分器，該評分器輸出（1）混淆矩陣，（2）準確性和覆蓋率，（3）每個關系的精度（P），召回率（R）和F1-分數，（4）微觀平均P，R，F1，（5）宏觀平均P，R，F1。 對于（4）和（5），計算將忽略OTHER關系。 我們的官方評分指標是針對（9 + 1）方式分類的宏觀平均F1-分數。 要求團隊為訓練數據的不同部分提交測試數據預測。 具體來說，我們要求獲得前1000、2000、4000和8000個訓練實例（稱為TD1到TD4）的結果。 TD4是完整的培訓套件。

?

總結

以上是生活随笔為你收集整理的SemEval-2010任务8：成对名词之间的语义关系的多分类的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。