以下文章來源于金融電子化?,作者金融電子化
文 / 鵬華基金管理有限公司金融科技部副總經(jīng)理?李學(xué)森
鵬華基金管理有限公司金融科技部?羅劍波
鵬華基金為探索人工智能技術(shù)在基金行業(yè)的應(yīng)用,啟動了AI中臺項目的建設(shè),完成AI中臺技術(shù)框架設(shè)計,搭建了鵬華基金AI中臺OCR能力,在投研、銷售、運營業(yè)務(wù)場景和流程中通過運用OCR技術(shù),在業(yè)務(wù)效率和風(fēng)險控制方面進行提質(zhì)增效。隨著業(yè)務(wù)場景的不斷拓展,面對各式各樣的復(fù)雜業(yè)務(wù)表單格式,OCR平臺在圖像增強、印章識別、手寫簽名比對、復(fù)選框解析和復(fù)雜表格識別等方面無法完全滿足業(yè)務(wù)需求。因此,通過構(gòu)建更智能化、可拓展的OCR技術(shù)框架,提高識別處理能力和智能文檔處理能力,以滿足業(yè)務(wù)運營中更高階、更復(fù)雜的智能化處理需求。在AI中臺能力建設(shè)中,進一步完善AI中臺的PDF、Word文件的智能解析能力,自動抽取出業(yè)務(wù)關(guān)注的內(nèi)容并以可視化方式為業(yè)務(wù)運營所用,通過對鵬華基金AI中臺不斷迭代優(yōu)化升級,持續(xù)賦能鵬華基金業(yè)務(wù)運營的數(shù)字化變革。
AI中臺建設(shè)面臨的技術(shù)與應(yīng)用挑戰(zhàn)
隨著基金公司數(shù)字化建設(shè)的深入,在各類業(yè)務(wù)場景中對AI能力的要求也不斷提高,AI中臺中僅能處理簡單證照票據(jù)材料的基礎(chǔ)OCR能力已不能滿足業(yè)務(wù)部門的實際需求,這為OCR、NLP等人工智能技術(shù)在基金公司的深入應(yīng)用帶來了挑戰(zhàn)。此外,隨著人工智能技術(shù)的不斷發(fā)展,以及相關(guān)AI技術(shù)在基金行業(yè)的運用不斷深入,一些典型問題和痛點難點逐漸顯現(xiàn)。包括以下問題。
1.針對復(fù)雜文檔的識別,傳統(tǒng)OCR技術(shù)仍存在挑戰(zhàn)
OCR技術(shù)在基金行業(yè)的運用場景眾多,許多場景下的識別技術(shù)已趨向成熟,如各類通用證照、通用票據(jù)的識別準(zhǔn)確率已達(dá)到99%。然而,在基金行業(yè)的實際業(yè)務(wù)應(yīng)用中,大量耗費人力的是相對復(fù)雜的業(yè)務(wù)文檔資料處理。例如:直銷柜臺賬戶、交易表單、資金指令、基金公告等業(yè)務(wù)表單的解析和處理。傳統(tǒng)的OCR技術(shù)無法對上述復(fù)雜表單的內(nèi)容識別及信息提取能力進行有效處理。由于涉及圖像增強、印章識別、手寫簽名比對、復(fù)選框解析和復(fù)雜表格識別技術(shù),使得OCR在復(fù)雜文檔資料的處理方面面臨較大的技術(shù)挑戰(zhàn)。
2.針對非結(jié)構(gòu)化長文檔,需要智能化文檔處理能力
在基金業(yè)務(wù)實際業(yè)務(wù)運營中,除了格式相對固定的表單文件,還涉及大量的長文檔和非結(jié)構(gòu)化形式的文檔資料,例如基金合同、基金公告等,需要通過AI平臺實現(xiàn)文檔信息的識別、提取和審核。然而,單純依靠OCR能力無法解決非結(jié)構(gòu)化長文檔的智能處理需求,還需要引入NLP能力,通過訓(xùn)練智能信息抽取模型,從長文檔中智能化提取相關(guān)信息,為業(yè)務(wù)系統(tǒng)所用,輔助業(yè)務(wù)人員實現(xiàn)相關(guān)的信息錄入、業(yè)務(wù)審核等工作。因此,AI中臺的建設(shè)需要引入智能文檔處理能力,并與OCR能力相結(jié)合,從而解決非結(jié)構(gòu)化長文檔的智能處理工作,打造更全面的文本處理智能化AI平臺。
3.業(yè)務(wù)需求靈活多變,需構(gòu)建可拓展的模型訓(xùn)練能力
基金業(yè)務(wù)各類憑證及文檔資料會隨著業(yè)務(wù)需求或監(jiān)管制度的變化而不斷調(diào)整格式,即使識別文件對象的格式?jīng)]有改變,對模型進行持續(xù)優(yōu)化,不斷提升識別效果的需求也始終存在。因此,如何對OCR識別模型、智能文檔處理模型的生命周期進行有效管理,從而實現(xiàn)模型的快速更新迭代,是AI平臺使用過程中的一大挑戰(zhàn)。
鵬華基金AI中臺智能化建設(shè)方案
1.設(shè)計企業(yè)級的AI中臺架構(gòu)
針對上述主要痛點問題,鵬華基金基于公司的業(yè)務(wù)特點,結(jié)合OCR、NLP技術(shù)特點及發(fā)展趨勢,設(shè)計了一套基金行業(yè)通用級AI平臺架構(gòu)(如圖1所示)。AI平臺包含基金數(shù)據(jù)層、AI智能處理引擎層、AI標(biāo)注訓(xùn)練平臺、AI能力服務(wù)層、AI應(yīng)用層。通過自下而上的AI數(shù)據(jù)處理、AI引擎構(gòu)建、AI模型訓(xùn)練、AI模型服務(wù),為上層的業(yè)務(wù)應(yīng)用場景提供有效賦能。
圖1? 鵬華基金AI中臺架構(gòu)圖
(1)基金數(shù)據(jù)層?;饠?shù)據(jù)層是AI平臺底層數(shù)據(jù)的來源?;饠?shù)據(jù)的格式支持圖像文件、PDF文件、Word文件、Excel文件及其他支持的文件。基金信息文件包含了基金公告、基金合同、信息披露等文件?;鹞募慕尤肟梢酝ㄟ^手工接入平臺或接口接入平臺等方式。
(2)AI智能處理引擎層。AI智能處理引擎主要是基于OCR和NLP等人工智能技術(shù),能夠?qū)崿F(xiàn)對各類基金文檔進行自動分類、字段識別、語義識別、圖像內(nèi)容識別等。AI智能處理引擎包括OCR識別、NLP處理等核心AI原子能力,是整個平臺的核心技術(shù)引擎。
(3)AI標(biāo)注訓(xùn)練平臺。AI標(biāo)注訓(xùn)練平臺是基于AI智能處理引擎的底層核心技術(shù),實現(xiàn)對文檔的類型管理、AI標(biāo)注管理,以及基于深度學(xué)習(xí)算法等進行AI模型訓(xùn)練和AI模型管理。充分利用AI標(biāo)注訓(xùn)練平臺對不同的基金文件的類型和核心字段進行管理識別,用于上層的抽取應(yīng)用。
(4)AI服務(wù)能力層。AI服務(wù)能力層主要封裝完整的AI能力組件,可為業(yè)務(wù)應(yīng)用層的業(yè)務(wù)需要所調(diào)用,主要包括OCR圖像識別和智能文檔處理能力,如圖像增強識別、簽名識別、表格解析、長文檔抽取、版面解析、文檔審核等可視化的AI系統(tǒng)服務(wù)能力,上層業(yè)務(wù)系統(tǒng)可按照業(yè)務(wù)需求進行調(diào)用。
(5)業(yè)務(wù)應(yīng)用層。AI服務(wù)能力層主要涉及各類業(yè)務(wù)系統(tǒng)的AI服務(wù)接口調(diào)用,通過AI服務(wù)層的API服務(wù)及iframe頁面嵌入的方式,將AI能力有效地嵌入至業(yè)務(wù)系統(tǒng),實現(xiàn)業(yè)務(wù)作業(yè)自動化,通過AI賦能促進運營、投顧、投研等業(yè)務(wù)數(shù)字化轉(zhuǎn)型。
2.針對復(fù)雜文檔的OCR技術(shù)優(yōu)化
通過在AI中臺現(xiàn)有OCR能力的基礎(chǔ)上構(gòu)建更智能化、可拓展的OCR識別處理能力,優(yōu)化針對復(fù)雜文檔的OCR識別能力,以實現(xiàn)更加高效、精準(zhǔn)的OCR服務(wù),主要包括以下優(yōu)化場景。
(1)AI平臺實現(xiàn)對圖像的增強處理,包括圖像切邊增強、彎曲矯正、透視矯正、去摩爾紋、水印去除、陰影處理、手寫文字擦除等預(yù)處理,提升待識別圖像質(zhì)量。
(2)平臺實現(xiàn)印章識別能力,可涵蓋日常工作中常見的印章內(nèi)容識別,印章類別包含公章、財務(wù)章、法定代表人章、發(fā)票專用章、合同專用章等類別;顏色包含灰度印章、紅色印章等;形狀包含圓形、橢圓印章等。
(3)平臺實現(xiàn)手寫體文字的檢測,可識別和定位文檔中手寫體文字的位置并生成對應(yīng)的圖片,接入數(shù)據(jù)庫中的簽名,人工可比對兩份簽名圖片。
(4)平臺實現(xiàn)復(fù)雜表格的解析,可將有框表格、無框表格、半框表格、傾斜、透視變化等多種復(fù)雜表格實現(xiàn)精準(zhǔn)識別及表格數(shù)據(jù)的解析,并支持人工對表格內(nèi)容進行編輯,包括但不限于繪制表格、調(diào)整表格、刪除表格、新增長線、新增短線、合并單元格、刪除線條、跨頁合并/拆分、撤銷操作等操作,方便業(yè)務(wù)人員支持一鍵定位表格解析內(nèi)容,直觀查看解析結(jié)果。
3.構(gòu)建非結(jié)構(gòu)化文檔智能處理能力
在基金業(yè)務(wù)實際業(yè)務(wù)運營中,涉及大量的內(nèi)外部非結(jié)構(gòu)化長文檔資料的處理工作,例如基金合同、基金公告等材料,需要通過AI平臺實現(xiàn)文檔信息的識別、提取和審核。AI中臺通過構(gòu)建非結(jié)構(gòu)化長文檔智能處理能力,實現(xiàn)非結(jié)構(gòu)化文檔的智能版面分析,并且訓(xùn)練智能信息抽取模型,從長文檔中智能化提取相關(guān)信息為業(yè)務(wù)系統(tǒng)所用,大幅提升工作人員在長文檔資料處理方面的工作效率。
(1)平臺可全文識別掃描件、PDF、Word等各種格式文檔中的段落、表格、目錄、圖片、標(biāo)題等信息,支持前端自定義版面解析模型,不同的文件可通過不同的版面解析參數(shù)進行解析。
(2)構(gòu)建面向基金行業(yè)的專用文檔識別抽取模型,基金合同、基金公告、基金申購確認(rèn)單、基金交易確認(rèn)單等文檔的智能識別和關(guān)鍵信息提取。
4.構(gòu)建可拓展的AI模型訓(xùn)練能力
基金業(yè)務(wù)各類憑證及文檔資料會隨著業(yè)務(wù)需求或監(jiān)管制度的變化而不斷調(diào)整格式,AI中臺需要具備訓(xùn)練模型自定義能力以及對模型進行持續(xù)優(yōu)化的能力。AI中臺充分考慮到OCR識別模型、智能文檔處理模型的生命周期有效管理,從而實現(xiàn)模型的快速更新迭代。
AI平臺可通過可視化的方式訓(xùn)練OCR及NLP應(yīng)用模型,提供劃選、框選、字段拼接等5種簡易標(biāo)注方式實現(xiàn)訓(xùn)練數(shù)據(jù)的預(yù)標(biāo)注能力,大大減少用戶標(biāo)注工作量。平臺預(yù)置序列標(biāo)注、模板匹配、表格抽取、規(guī)則匹配等多種算法,靈活適配不同場景下的AI模型訓(xùn)練方式。自動計算準(zhǔn)確率、召回率、F1值、通用準(zhǔn)確率等指標(biāo),為模型提供參考依據(jù),支持對每一個抽取字段進行評估結(jié)果量化統(tǒng)計,方便開發(fā)人員快速判斷模型效果,以支撐快速實現(xiàn)模型從開發(fā)訓(xùn)練到落地應(yīng)用(如圖2所示)。
圖2? AI模型訓(xùn)練能力結(jié)構(gòu)圖
鵬華基金AI中臺智能化建設(shè)特色
鵬華基金設(shè)計構(gòu)建企業(yè)級的AI服務(wù)能力,建設(shè)面向全公司各類業(yè)務(wù)場景的統(tǒng)一AI服務(wù)平臺,對項目實施路徑進行充分規(guī)劃,明晰實施要點,并對實現(xiàn)AI平臺過程中可能面臨的重要技術(shù)難點和困難進行全面分析,并制定針對性的解決方案。
1.設(shè)計良好的AI服務(wù)架構(gòu),充分考慮共享性及拓展性
鵬華基金企業(yè)級AI平臺建設(shè)的核心理念是形成規(guī)范統(tǒng)一的技術(shù)及應(yīng)用服務(wù)架構(gòu),需要從資源使用、數(shù)據(jù)治理、AI原子能力構(gòu)建、AI服務(wù)能力構(gòu)建、應(yīng)用賦能等多個維度進行架構(gòu)設(shè)計及規(guī)范制定,并需要充分考慮到平臺未來可能擴展的其他AI能力,實現(xiàn)面向全公司的資源與服務(wù)共享,這需要在AI平臺建設(shè)過程中,始終堅持資源可共享、模型可復(fù)用、需求可拓展、系統(tǒng)可運維的原則。同時,在各類業(yè)務(wù)系統(tǒng)的設(shè)計過程中,要對涉及AI處理的相關(guān)需求進行充分統(tǒng)籌考慮,納入AI平臺整體范疇,避免AI能力單點建設(shè)及重復(fù)建設(shè),造成開發(fā)資源浪費。
2.注重基礎(chǔ)數(shù)據(jù)治理工作,積累高質(zhì)量的訓(xùn)練數(shù)據(jù)
AI模型的訓(xùn)練離不開高質(zhì)量的訓(xùn)練數(shù)據(jù),可獲得的訓(xùn)練數(shù)據(jù)量和數(shù)據(jù)質(zhì)量將直接影響AI模型的預(yù)期訓(xùn)練效果?;鸸揪哂刑烊坏臄?shù)據(jù)資源優(yōu)勢,在日常內(nèi)外部業(yè)務(wù)運營過程中,會產(chǎn)生存儲海量的業(yè)務(wù)數(shù)據(jù)。但不同的數(shù)據(jù)往往是分布式存儲于各類業(yè)務(wù)系統(tǒng)中,通過規(guī)劃數(shù)據(jù)中臺可將各類數(shù)據(jù)進行歸集,以便AI中臺進行調(diào)用。此外,大量的數(shù)據(jù)均以非結(jié)構(gòu)化的形式存儲,訓(xùn)練AI模型在使用這些數(shù)據(jù)時還需要對其進行標(biāo)注,完善AI模型訓(xùn)練數(shù)據(jù)的標(biāo)注規(guī)范也是一項重要的工作。數(shù)據(jù)標(biāo)注工作需要對業(yè)務(wù)充分的了解,因此,除科技部門外,應(yīng)用部門參與或指導(dǎo)數(shù)據(jù)標(biāo)注工作也非常必要。在AI項目建設(shè)中,業(yè)務(wù)部門也需要加大人力資源投入,組織人員持續(xù)開展數(shù)據(jù)標(biāo)注工作,以支撐算法模型訓(xùn)練所需。
3.探索大模型等新技術(shù),拓寬AI平臺的應(yīng)用邊界
當(dāng)前大語言模型、深度學(xué)習(xí)等技術(shù)快速發(fā)展,尤其是基于大語言模型的各類AI應(yīng)用探索也取得了快速突破,AI平臺未來能力的拓展也需要充分考慮到大語言模型對傳統(tǒng)AI能力的賦能,通過大語言模型能力挖掘出更多的AI應(yīng)用場景。例如通過大語言模型的預(yù)訓(xùn)練能力,可替代傳統(tǒng)的NLP算法,實現(xiàn)文本抽取、文本分類、智能標(biāo)簽、智能摘要這些基礎(chǔ)性的NLP任務(wù),并可拓展基于大語言模型能力,拓展知識問答、文檔翻譯、文檔創(chuàng)作等智能應(yīng)用場景。通過前沿AI技術(shù)的加持,結(jié)合傳統(tǒng)AI技術(shù)的應(yīng)用深化,持續(xù)加強諸如大模型、深度學(xué)習(xí)方面技術(shù)資源和人才資源積累,積極探索新技術(shù)的應(yīng)用場景,不斷拓展和升級AI平臺的能力范圍應(yīng)用邊界,這也是在數(shù)字化時代保持核心競爭力的重要手段。
總????結(jié)
在當(dāng)前這個數(shù)字化時代,積極擁抱AI能力以促進數(shù)字化變革的價值和意義是不可忽視的。建設(shè)企業(yè)級的AI服務(wù)平臺,形成統(tǒng)一的AI服務(wù)能力,助力公司在更有效地進行市場數(shù)據(jù)分析,并提高投資決策的準(zhǔn)確性和效率,實現(xiàn)更好地管理客戶關(guān)系,提供更加個性化的服務(wù)。此外,AI技術(shù)的有效應(yīng)用還可以幫助公司更好地控制風(fēng)險,降低運營成本。公司要充分吸納各項前沿技術(shù)優(yōu)勢,通過利用先進的人工智能技術(shù),更好地適應(yīng)市場變化,提高競爭力,為客戶提供更優(yōu)質(zhì)的服務(wù)。
(此文刊發(fā)于《金融電子化》2024年5月下半月刊)