視覺接地（Visually Grounded ）指的是將語言和用戶的語境中相關(guān)的事物聯(lián)系起來處理的過程。王小捷教授首先介紹了視覺接地的自然語言處理的起源：視通道是接收感知信息最多的，因而也是語言的感知接地研究中需要主要研究的。同時機(jī)器視覺研究是有最好研究基礎(chǔ)的感知信息處理，因而視覺接地有最好的研究基礎(chǔ)。

在分享過程中，王小捷教授著重介紹了VGNLP的研究內(nèi)容、發(fā)展和三個典型的研究任務(wù)。早期處理需要分別利用不同的方法，圖像有向量，語言的向量表示還沒有較好的方法。語言的向量表示方法給向下的研究提供了一種好的支撐。隨之王小捷教授圍繞跨模態(tài)檢索、跨模態(tài)生成–圖像描述、跨模態(tài)推理–視覺問答著三個典型研究內(nèi)容展開了進(jìn)一步的分享。

?

隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，國內(nèi)外專家們不斷提出新的理論和方法，設(shè)計(jì)出新的生成模型，使該研究不斷取得新進(jìn)展。隱喻機(jī)制由具體、熟悉或已知的概念(語言)及其關(guān)聯(lián)結(jié)構(gòu)來理解抽象、不熟悉或新的概念(語言)及其關(guān)聯(lián)結(jié)構(gòu)。通過建模這種語言的產(chǎn)生與發(fā)展機(jī)制，進(jìn)行基于模態(tài)相關(guān)表示的認(rèn)知計(jì)算，例如表示的抽象產(chǎn)生語言符號系統(tǒng)，表示的關(guān)聯(lián)發(fā)展語言符號系統(tǒng)。最后王小捷教授表示未來視覺接地自然語言處理也將有很好的應(yīng)用潛力。