近日，第二十一屆中國計算語言學(xué)大會（CCL2022）于南昌完美落幕，其中，由達(dá)觀數(shù)據(jù)組織開展的“達(dá)觀杯”汽車工業(yè)故障模式關(guān)系抽取評測研討會在CCL2022線上線下同時召開。
“達(dá)觀杯”汽車工業(yè)故障模式關(guān)系抽取評測自今年CCL評測6月1日正式啟動報名通道，并向參考選手發(fā)布評測數(shù)據(jù)，8月25日公布測試集數(shù)據(jù)，8月31日參賽隊提交預(yù)測結(jié)果及模型代碼，9月30日評測排名發(fā)布，10月28-30日在CCL 2022評測研討會上公布排名。本次比賽吸引了60支科研小組120名選手報名參賽，最終共6支隊伍突出重圍斬獲獎項。

評測概要?

本次“達(dá)觀杯”評測研討會依托第二十一屆中國計算語言學(xué)大會CCL-2022(The Twenty-first China National Conference on Computational Linguistics, CCL 2022)于2022年10月28-30日在江西省南昌市舉行，由中國中文信息學(xué)會計算語言學(xué)專業(yè)委員會負(fù)責(zé)組織。CCL作為中國中文信息學(xué)會(CIPS)的旗艦會議，經(jīng)過三十年的發(fā)展被廣泛認(rèn)為是最權(quán)威的、全國最具影響力、規(guī)模最大的NLP會議。
達(dá)觀數(shù)據(jù)作為國內(nèi)頂尖文本智能處理專家，為推動認(rèn)知智能不斷向產(chǎn)業(yè)界應(yīng)用轉(zhuǎn)型，使得其具備各個行業(yè)領(lǐng)域?qū)＜业闹R積累和運用的能力。特以汽車工業(yè)故障模式關(guān)系抽取為題，開展本次評測。汽車工業(yè)故障知識圖譜幫助汽車及零部件廠商構(gòu)建質(zhì)量管控知識庫，整合知識經(jīng)驗，輔助質(zhì)量工程師高效、全面地分析故障。匯聚所有專家的智慧，降低對工程師自身經(jīng)驗的依賴，實現(xiàn)降本增效，提升企業(yè)競爭力。實體抽取和關(guān)系抽取是信息抽取的基礎(chǔ)任務(wù)，面向汽車故障領(lǐng)域的信息抽取對于實現(xiàn)智能化檢修和診斷具有重大意義。識別數(shù)據(jù)中的部件單元、性能表征、故障狀態(tài)等核心實體及其組合的故障模式關(guān)系至關(guān)重要。
本次測評任務(wù)聚焦于工業(yè)制造業(yè)中故障模式的抽取，包括部件故障以及性能故障這兩類關(guān)系，在本次評測任務(wù)中，我們提供了4500多個故障模式關(guān)系三元組，涉及到2500多條文本，所有triple都是通過人工標(biāo)注的方式生成，并且均來自于汽車故障維修案例。在評測任務(wù)中，我們將所有數(shù)據(jù)按照2:1的比例分為訓(xùn)練集和評測集，驗證集需要選手根據(jù)情況自己切分，本次任務(wù)中的數(shù)據(jù)分布和工業(yè)界中的真實情況高度契合，存在嚴(yán)重的數(shù)據(jù)不平衡以及數(shù)據(jù)短缺問題，更加考驗參賽隊伍在底質(zhì)量數(shù)據(jù)下的的關(guān)系抽取能力。

評測研討會?

達(dá)觀聯(lián)合創(chuàng)始人文輝現(xiàn)場報告

本次研討會由達(dá)觀數(shù)據(jù)聯(lián)合創(chuàng)始人兼賽題出題人文輝主持及報告，文輝首先對達(dá)觀知識圖譜產(chǎn)品技術(shù)及落地場景進(jìn)行簡單介紹，主要包含歸因分析、語義檢索、知識問答以及配件管理等場景。后針對本次評測進(jìn)行了回顧，賽題背景、數(shù)據(jù)的來源、數(shù)據(jù)分布以及排名結(jié)果，同時對各獲獎小組所用評測方法進(jìn)行了總結(jié)分享。
本次評測所采用的評測指標(biāo)為關(guān)系的F1-score，數(shù)據(jù)集方面充分貼合真實的工業(yè)界場景，以便觀察各選手對于真實場景問題的解決能力。最后，文輝指出，由于數(shù)據(jù)不平衡問題嚴(yán)重，模型學(xué)習(xí)難度明顯提高，但本次評測最佳性能依然能達(dá)到66.44%，可謂成績顯著。

獲獎選手報告?

上海工程技術(shù)大學(xué)報告

上海工程技術(shù)大學(xué)學(xué)生代表作題為“基于小樣本數(shù)據(jù)增強策略的汽車故障領(lǐng)域知識抽取方法”的報告。首先針對評測任務(wù)標(biāo)注數(shù)據(jù)進(jìn)行了問題分析，提煉了三個本次關(guān)系抽取評測任務(wù)的學(xué)術(shù)問題，后續(xù)針對該三個問題引出了數(shù)據(jù)增強策略解決思路。

第一步基于該團(tuán)隊在科技部重大項目“工業(yè)領(lǐng)域知識自動構(gòu)建與推理決策技術(shù)與應(yīng)用”所積累的成果，設(shè)計了模板匹配法擴(kuò)充數(shù)據(jù)解決了原數(shù)據(jù)的長尾問題；第二步在PURE實體關(guān)系抽取模型上進(jìn)行改進(jìn)，融入了實體的詞性特征和邊界特征；第三步通過對錯誤的預(yù)測結(jié)果進(jìn)行分類分析，設(shè)計了交叉訓(xùn)練的方法，修復(fù)了原始標(biāo)注數(shù)據(jù)的質(zhì)量。最后分析了部分超參數(shù)對模型效果的影響以及交叉預(yù)測迭代次數(shù)對結(jié)果的影響。

頒獎典禮?

經(jīng)過審核評比，工程大工業(yè)KE隊一舉拿下本次評測F1最佳得分：0.664454，其他隊伍緊隨其后。達(dá)觀聯(lián)合創(chuàng)始人文輝向大家宣讀了獲獎名單，并與大連理工大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院楊亮老師共同為抵達(dá)會場的上海工程技術(shù)大學(xué)和達(dá)慧智能科技有限公司這兩支參賽隊現(xiàn)場頒獎。本次評測獲獎隊伍將獲得中國中文信息學(xué)會官方榮譽證書以及達(dá)觀數(shù)據(jù)提供的評測獎金。

上海工程技術(shù)大學(xué)&復(fù)旦&北大&韓國全北國立大學(xué)&華師大現(xiàn)場領(lǐng)獎

達(dá)慧智能現(xiàn)場領(lǐng)獎

??大會風(fēng)采??

今年，達(dá)觀很榮幸以金牌贊助商的身份參與CCL大會，并在現(xiàn)場與業(yè)界大咖和高校學(xué)子展開熱烈的學(xué)術(shù)討論，共話智能文本處理技術(shù)未來新篇章。

金牌贊助商達(dá)觀現(xiàn)場展覽

作為深耕文本智能處理的領(lǐng)軍企業(yè)，達(dá)觀數(shù)據(jù)持續(xù)用技術(shù)賦能產(chǎn)業(yè)發(fā)展的同時，將繼續(xù)不斷挖掘認(rèn)知智能領(lǐng)域人才，為人工智能學(xué)術(shù)與產(chǎn)業(yè)發(fā)展做出貢獻(xiàn)。