本文摘自達(dá)觀數(shù)據(jù)出版書籍《智能文本處理實(shí)戰(zhàn)》3.3.3

表格區(qū)域檢測(cè)是指從文檔中定位出表格區(qū)域。早期研究中，表格區(qū)域檢測(cè)多應(yīng)用在電子文檔中，比如PDF文檔、Word文檔等。隨著圖像采集技術(shù)的發(fā)展，表格區(qū)域檢測(cè)更多應(yīng)用在自然場(chǎng)景中，比如手持拍照等掃描件。
基于傳統(tǒng)的區(qū)域檢測(cè)算法

與國(guó)內(nèi)相比，國(guó)外的表格檢測(cè)技術(shù)起步較早，早期方法可分為基于規(guī)則啟發(fā)式算法和簡(jiǎn)單的機(jī)器學(xué)習(xí)算法。基于傳統(tǒng)的區(qū)域檢測(cè)算法首先使用圖像處理方法對(duì)文檔進(jìn)行預(yù)處理，然后利用表格布局特征或者PDF編碼信息得到線條、文本塊等視覺(jué)信息，最后定位出表格區(qū)域。

Watanabe、Hirayama 等人首先對(duì)文檔圖片進(jìn)行預(yù)處理，利用形態(tài)學(xué)方法獲取文本塊等信息，然后利用文本塊、水平線和垂直線來(lái)定位出表格區(qū)域。Ramel等人利用線條信息來(lái)定位出表格區(qū)域，首先尋找表格區(qū)域頂部的第1條水平線，然后通過(guò)匹配9種框線相交情況中的4種“T”字形模板來(lái)檢測(cè)其他線條。Kieninger、Dengel等人指出線條不能作為表格的必備特征，認(rèn)為表格列之間具有不相交的特性，可以利用列與列之間的空白信息定位出表格區(qū)域。

表格檢測(cè)技術(shù)在國(guó)內(nèi)起步較晚，早期的研究主要是解決PDF文件中的表格定位問(wèn)題。最有代表性的是Fang等人提出的基于表格線條特征及頁(yè)面分隔符的方法。該方法首先會(huì)對(duì)PDF文件進(jìn)行協(xié)議碼解析以獲取頁(yè)面的線條信息，然后會(huì)使用規(guī)則方法對(duì)頁(yè)面布局進(jìn)行分析，獲取頁(yè)面分隔符，最后會(huì)基于線條信息，利用形態(tài)學(xué)方法定位出表格區(qū)域。該方法僅適用于有線表格區(qū)域檢測(cè)。利用線條檢測(cè)表格區(qū)域的流程如圖1所示。

圖1?基于線條的區(qū)域檢測(cè)算法流程

基于深度學(xué)習(xí)的區(qū)域檢測(cè)算法

隨著人工智能技術(shù)的飛速發(fā)展，深度學(xué)習(xí)在圖像的語(yǔ)義分割、目標(biāo)檢測(cè)等任務(wù)上取得了優(yōu)異表現(xiàn)。越來(lái)越多的研究學(xué)者將語(yǔ)義分割或目標(biāo)檢測(cè)技術(shù)應(yīng)用到表格區(qū)域檢測(cè)任務(wù)上。

01
基于目標(biāo)檢測(cè)的算法

Schreiber 等人使用Faster R-CNN 算法模型來(lái)檢測(cè)表格區(qū)域。Gilani等人在采用相同的目標(biāo)檢測(cè)網(wǎng)絡(luò)的同時(shí)，還使用了3種距離變換方法對(duì)頁(yè)面的圖像特征進(jìn)行增強(qiáng)。經(jīng)過(guò)微調(diào)后的模型不受表格結(jié)構(gòu)和布局變化的影響，并且適用于更多的數(shù)據(jù)集進(jìn)行目標(biāo)檢測(cè)。

Huang 等人使用YOLOv3網(wǎng)絡(luò)來(lái)檢測(cè)表格區(qū)域，對(duì)算法中的錨點(diǎn)進(jìn)行了適應(yīng)性調(diào)整， 并在后續(xù)處理中過(guò)濾了檢測(cè)框的空白區(qū)域，以減少噪聲對(duì)表格區(qū)域定位的影響，進(jìn)而提高了表格區(qū)域檢測(cè)的準(zhǔn)確率。

Sun 等人采用無(wú)錨點(diǎn)的目標(biāo)檢測(cè)算法來(lái)檢測(cè)表格區(qū)域，該算法基于CornerNet的思想定位出表格的4個(gè)角點(diǎn)位置，并且利用角點(diǎn)對(duì)扭曲表格進(jìn)行矯正，以提高后續(xù)表格結(jié)構(gòu)識(shí)別的準(zhǔn)確率。

02
基于語(yǔ)義分割的算法

He 等人采用多尺度特征，利用FCN（fully convolutional network）定位出文檔中的表格、段落及圖像區(qū)域，然后通過(guò)形態(tài)學(xué)、CRF等獲得表格區(qū)域。

03
基于圖網(wǎng)絡(luò)的算法

Zhang 等人提出了VSR（vision, semantics and relation）模型。該模型融合了視覺(jué)和語(yǔ)意信息，以圖像及文本信息作為輸入，利用雙流網(wǎng)絡(luò)提取出視覺(jué)和語(yǔ)意特征，然后將特征送入多尺度自適應(yīng)的聚合模塊中，最后利用GNN模塊對(duì)視覺(jué)及語(yǔ)義特征的關(guān)系進(jìn)行建模，最終生成結(jié)果。