此論文內(nèi)容來自于復(fù)旦-達觀聯(lián)合研究成果，發(fā)表于第 61 屆國際計算語言學(xué)協(xié)會年會（ACL 2023）
關(guān)系抽取（Relation Extraction，RE）是自然語言處理領(lǐng)域一項重要的基礎(chǔ)任務(wù)，旨在從非結(jié)構(gòu)化文本中提取實體對之間的關(guān)系。抽取出來的關(guān)系事實在諸多下游應(yīng)用中具有重大實用價值，比如智能對話系統(tǒng)、知識圖譜、互聯(lián)網(wǎng)信息檢索等。
許多研究致力于提高關(guān)系抽取的質(zhì)量。傳統(tǒng)的有監(jiān)督關(guān)系抽取針對的是在預(yù)先定義模式下的已知關(guān)系。因此，這類方法遵循封閉集設(shè)置，即訓(xùn)練和測試過程中涉及的關(guān)系保持不變。如今，神經(jīng)網(wǎng)絡(luò)關(guān)系抽取方法在這種封閉集設(shè)置下取得了顯著成果。與之相對，開放關(guān)系抽?。∣penRE）則聚焦于發(fā)現(xiàn)不斷涌現(xiàn)的未知關(guān)系。常見做法包括直接標(biāo)記連接實體對的關(guān)系短語，以及對具有相同關(guān)系的實例進行聚類。然而，實際應(yīng)用中的關(guān)系抽取遵循開放集設(shè)置，這意味著測試數(shù)據(jù)中既有已知關(guān)系，也有未知關(guān)系。這就要求模型不僅能夠區(qū)分已知關(guān)系，還能過濾掉表達未知關(guān)系的實例。這種過濾實例的能力也被稱為“以上皆非”（ none-of-the-above ，NOTA）檢測。
圖 1 僅在已知關(guān)系上優(yōu)化的決策邊界無法應(yīng)對開放集設(shè)置，在開放集設(shè)置中，輸入可能來自訓(xùn)練中未見過的關(guān)系。我們旨在通過合成困難負(fù)實例來規(guī)范決策邊界。
遺憾的是，一個在封閉集上表現(xiàn)出色的模型，在遇到未知測試數(shù)據(jù)時，仍可能做出錯誤的預(yù)測。如圖1（a）所示，決策邊界僅在已知關(guān)系數(shù)據(jù)（白點）上進行了優(yōu)化，導(dǎo)致整個空間被劃分為三個區(qū)域。因此，未知關(guān)系數(shù)據(jù)（黑點），尤其是那些遠離決策邊界的數(shù)據(jù)，會被以高置信度分類到某個已知關(guān)系中。相比之下，圖1（b）中更緊湊的決策邊界對NOTA檢測更有利。然而，構(gòu)建緊湊的決策邊界需要使用 “困難” 的負(fù)樣本數(shù)據(jù)（圖1（b）中的紅點），這樣才能提供強大的監(jiān)督信號。需要注意的是，合成這樣的負(fù)樣本數(shù)據(jù)并非易事。
在這項研究中，我們提出了一種未知感知訓(xùn)練方法，該方法能同時優(yōu)化已知關(guān)系分類和NOTA檢測。我們迭代生成負(fù)實例，并優(yōu)化NOTA檢測分?jǐn)?shù)。在測試階段，分?jǐn)?shù)較低的實例會被視為NOTA并過濾掉。該方法的關(guān)鍵在于合成 “困難” 的負(fù)樣本實例。受文本對抗攻擊的啟發(fā)，我們通過替換原始訓(xùn)練實例中的少量關(guān)鍵詞匯來實現(xiàn)這一目標(biāo)。這樣一來，原本的關(guān)系語義就會被抹去，而模型卻無法察覺。借助基于梯度的詞匯（token）歸因和語言規(guī)則，我們能夠找到表達目標(biāo)關(guān)系的關(guān)鍵詞匯。然后，這些詞匯會被使NOTA檢測分?jǐn)?shù)提升最大的誤導(dǎo)性普通詞匯所替換，從而合成更易被模型誤判為已知關(guān)系的誤導(dǎo)性負(fù)實例。人工評估顯示，幾乎所有合成的負(fù)實例都不表達任何已知關(guān)系。實驗結(jié)果表明，我們提出的方法能學(xué)習(xí)到更緊湊的決策邊界，并在NOTA檢測性能上達到了當(dāng)前最優(yōu)水平。
本文的貢獻主要體現(xiàn)在三個方面：
01
我們提出了一種新的未知感知訓(xùn)練方法用于開放集關(guān)系抽取。該方法在不影響已知關(guān)系分類的前提下，實現(xiàn)了最先進的NOTA檢測；
02
與主流合成方法相比，我們合成的負(fù)實例給模型帶來了更大的挑戰(zhàn)；
03
全面的評估和分析為未來研究這一緊迫但尚未充分探索的任務(wù)提供了便利。
核心方法
01?任務(wù)定義
02?方法概述
我們提出未知感知的訓(xùn)練方法，該方法動態(tài)合成 “困難 ”的負(fù)實例，并優(yōu)化已知關(guān)系分類和 NOTA 檢測的雙重目標(biāo)。如圖 2 所示，訓(xùn)練循環(huán)由兩個迭代步驟組成：
圖2 提出的未知感知訓(xùn)練方法概述。訓(xùn)練循環(huán)由兩個迭代步驟組成：合成步驟包括根據(jù)模型的狀態(tài)自適應(yīng)合成 “困難” 實例;而在學(xué)習(xí)步驟中，根據(jù)已知和合成的實例對已知關(guān)系分類和 NOTA 關(guān)系檢測的雙重目標(biāo)進行優(yōu)化。
03?開放集關(guān)系提取器
實例編碼器和分類器：
NOTA 檢測分?jǐn)?shù)：
04?迭代式負(fù)實例合成
基于梯度的詞匯歸因：
基于語言規(guī)則的詞匯權(quán)重調(diào)整：
誤導(dǎo)性標(biāo)記選擇：
05?未知感知訓(xùn)練目標(biāo)
實驗結(jié)果
我們通過將所提出的方法與幾種有競爭力的開放集分類方法進行比較來評估該方法。結(jié)果在表 1 中，從中可以觀察到我們的方法實現(xiàn)了最先進的 NOTA 檢測（通過 FPR95 和 AUROC 反映），而不會影響已知關(guān)系的分類（通過 ACC 反映）。在一些基線方法中（例如，MSP、ODIN、Energy、SCL），僅使用已知關(guān)系的實例進行訓(xùn)練。與它們相比，我們明確合成了負(fù)樣本以完成缺失的監(jiān)督信號，NOTA 檢測的改進表明了未知感知訓(xùn)練的有效性。
表格 1開集關(guān)系提取的主要結(jié)果。下標(biāo)表示相應(yīng)的標(biāo)準(zhǔn)差（例如 $74.000.56$ 表示 74.00+0.56）。表 7 提供了 n 個已知關(guān)系的 ACC 結(jié)果。
為了直觀地展示決策邊界的變化，我們可視化了模型在輸入空間中的決策邊界。從圖 3 可以看出，在未知感知訓(xùn)練的幫助下，學(xué)習(xí)到了更緊湊的決策邊界。
圖 3 決策邊界可視化。當(dāng)刪除未知感知訓(xùn)練時，能量可以被視為我們方法的退化版本。縱軸表示檢測閾值 \alpha 與 NOTA 分?jǐn)?shù) s_\theta\left(x\right) 之間的差異，標(biāo)準(zhǔn)化為 [?1， 1] 的范圍。當(dāng)實例落在低于零的黃色區(qū)域內(nèi)時，模型會將其分類為已知關(guān)系。相反，當(dāng)句子落在零以上的綠色區(qū)域內(nèi)時，模型會將其標(biāo)識為 NOTA。
