浦銀理財(cái)員工數(shù)字助理—智浦小鹿 王巖

背景與意義

01?項(xiàng)目背景

近年來(lái)，伴隨著光學(xué)字符識(shí)別（OCR）、機(jī)器人流程自動(dòng)化（RPA）、大規(guī)模模型（LLM）、音視頻處理、多模態(tài)等技術(shù)的不斷進(jìn)步，以及企業(yè)數(shù)字化升級(jí)的推動(dòng)，人工智能（AI）的發(fā)展已經(jīng)邁入了2.0時(shí)代。其中，以ChatGPT為代表的大語(yǔ)言模型產(chǎn)品在發(fā)布之初就掀起了前所未有的熱潮。這種基于深度學(xué)習(xí)的大語(yǔ)言模型具備了前所未有的語(yǔ)言理解和生成能力，能夠?qū)崿F(xiàn)自然、流暢的人機(jī)交互，為人工智能技術(shù)開辟了新的領(lǐng)域。

當(dāng)前，國(guó)內(nèi)眾多金融公司，包括：銀行、證券、保險(xiǎn)、信托等已經(jīng)在積極探索大模型技術(shù)在業(yè)務(wù)中的應(yīng)用，并已有一定的行業(yè)課題申報(bào)和實(shí)際項(xiàng)目落地，已經(jīng)取得了較好的成效。經(jīng)過對(duì)行業(yè)應(yīng)用及大模型應(yīng)用的深入調(diào)研，浦銀理財(cái)結(jié)合自身情況，啟動(dòng)了“員工數(shù)字助理-智浦小鹿建設(shè)項(xiàng)目”，從該應(yīng)用場(chǎng)景入手，開展大模型應(yīng)用探索，具體場(chǎng)景包括構(gòu)建企業(yè)級(jí)知識(shí)庫(kù)，提供便捷的訪問渠道，通過問答的方式便捷獲取企業(yè)知識(shí)信息、實(shí)現(xiàn)辦公流程便捷辦理功能。通過該項(xiàng)目引入大模型基礎(chǔ)服務(wù)的智慧化系統(tǒng)平臺(tái)，在底層上提供OCR、RPA、多模態(tài)、大模型的工具、算力支撐，統(tǒng)一技術(shù)棧、集中管理數(shù)據(jù)模型、對(duì)接業(yè)務(wù)系統(tǒng)、降低上層應(yīng)用開發(fā)門檻，提升AI解決實(shí)際問題的能力。

02?整體規(guī)劃

以大模型為代表的人工智能技術(shù)在金融行業(yè)的應(yīng)用，其主要目的還是為了服務(wù)公司業(yè)務(wù)發(fā)展，為公司整體效能帶來(lái)提升。基于對(duì)大模型的不可解釋性以及安全性方面的考慮，浦銀理財(cái)?shù)那腥朦c(diǎn)落在了構(gòu)建一個(gè)內(nèi)部員工服務(wù)平臺(tái)，并在后端構(gòu)建以大模型為主、整合OCR、RPA、向量模型以及各類應(yīng)用插件的Agent（智能體）平臺(tái)，實(shí)現(xiàn)平臺(tái)“四化”：

01知識(shí)服務(wù)智能化

能夠?qū)竞弦?guī)文件、制度文件、投研報(bào)告、產(chǎn)品資料、新聞資訊、系統(tǒng)使用手冊(cè)等文件實(shí)現(xiàn)智能標(biāo)簽化處理、存儲(chǔ)，實(shí)現(xiàn)以材料數(shù)據(jù)驅(qū)動(dòng)的智能服務(wù)；

02員工服務(wù)自動(dòng)化

基于領(lǐng)域大模型技術(shù)，完成員工問題意圖識(shí)別、信息自動(dòng)抽取、答案自動(dòng)生成，并結(jié)合私有化大模型知識(shí)庫(kù)，對(duì)接公司其他系統(tǒng)API接口，也可嵌入業(yè)務(wù)系統(tǒng)，同時(shí)也接入公域大模型，實(shí)現(xiàn)員工知識(shí)查詢和工作流程辦理自動(dòng)化，折疊員工日常任務(wù)的處理時(shí)間；

03模型服務(wù)本地化

本次項(xiàng)目部署了私有化領(lǐng)域大模型，并且本地大模型能力調(diào)用及多模態(tài)文檔識(shí)別能力調(diào)用均提供外部調(diào)用接口，可為浦銀理財(cái)本次大模型應(yīng)用場(chǎng)景探索及未來(lái)新的大模型應(yīng)用場(chǎng)景拓展提供底層大模型能力基礎(chǔ)；

04智能服務(wù)中臺(tái)化

構(gòu)建AI管理平臺(tái)，融合Prompt管理、模型管理及知識(shí)庫(kù)管理，具備OCR、RPA能力，提供豐富的AI服務(wù)SDK/API，以便各方構(gòu)建智慧化的上層業(yè)務(wù)應(yīng)用，并提供可視化后臺(tái)控制系統(tǒng)，方便運(yùn)營(yíng)、管控及監(jiān)測(cè)AI服務(wù)，可更有效地響應(yīng)多方開發(fā)需求。

總體方案

01?整體方案

圖1?智浦小鹿整體架構(gòu)圖

目前智浦小鹿一階段已經(jīng)在浦銀理財(cái)內(nèi)部推廣使用，搭建了OCR智能文檔平臺(tái)、RPA機(jī)器人平臺(tái)、大模型服務(wù)平臺(tái)共同組成的智能模型中臺(tái)，結(jié)合數(shù)據(jù)中臺(tái)、企業(yè)知識(shí)庫(kù)以及統(tǒng)一工作臺(tái)，提供RPA、智能文檔、語(yǔ)義理解及推理、定制化自動(dòng)流程以及綜合信息收集檢索5大能力，可通過插件、API接口等方式為智浦魔方及各個(gè)業(yè)務(wù)系統(tǒng)提供服務(wù)支撐，并將面向員工的所有應(yīng)用場(chǎng)景統(tǒng)一一個(gè)入口即小鹿客戶端，員工通過與小鹿的對(duì)話可以實(shí)現(xiàn)知識(shí)庫(kù)信息快速獲取，辦公以及業(yè)務(wù)流程自動(dòng)辦理，壓縮重復(fù)性工作時(shí)長(zhǎng)，解放生產(chǎn)力。

02?技術(shù)架構(gòu)設(shè)計(jì)

圖 2?智浦小鹿一期技術(shù)架構(gòu)圖

整個(gè)系統(tǒng)由Python、Java、C#、 JavaScript 、Lua等多語(yǔ)言開發(fā)。其中Web前端使用JavaScript+React框架進(jìn)行開發(fā)，桌面端由C#進(jìn)行開發(fā)，后端平臺(tái)及模型部分由Python、Java、Lua進(jìn)行后端開發(fā)。

在項(xiàng)目規(guī)劃中，前臺(tái)的業(yè)務(wù)老師可使用小鹿桌面端進(jìn)行問答和任務(wù)操作；也可使用小鹿Web端使用功能更全面的問答體驗(yàn)；也可使用OCR平臺(tái)進(jìn)行功能調(diào)用，或?qū)CR平臺(tái)的能力提供給其他服務(wù)。

后臺(tái)的管理員可進(jìn)入小鹿管理后臺(tái)查看工作流監(jiān)控、效能提升、審計(jì)日志等功能；也可進(jìn)入問答后臺(tái)查看和使用問答知識(shí)庫(kù)、權(quán)限、敏感詞、參數(shù)修改、第三方模型接入等功能的管理配置；也可使用大模型管理平臺(tái)進(jìn)行大模型的管控、標(biāo)注、訓(xùn)練、上線等。系統(tǒng)對(duì)接公司統(tǒng)一單點(diǎn)登錄，同時(shí)配套已有場(chǎng)景的統(tǒng)一用戶中心，實(shí)現(xiàn)權(quán)限同步，保障所有系統(tǒng)功能與行內(nèi)的權(quán)限統(tǒng)一。為了完成業(yè)務(wù)功能、權(quán)限、模型三者的集成統(tǒng)一，并為各類工具和流程的擴(kuò)展提供標(biāo)準(zhǔn)API，建設(shè)了小鹿功能后臺(tái)，以接收前臺(tái)桌面端、Web端的請(qǐng)求并調(diào)度轉(zhuǎn)發(fā)、接受后臺(tái)管理平臺(tái)的請(qǐng)求并響應(yīng)、集成權(quán)限與其他各產(chǎn)品同步、完成內(nèi)部數(shù)據(jù)的安全對(duì)接和服務(wù)嵌入、為所有接入的工具化能力提供標(biāo)準(zhǔn)API的接入流程。

最后，為了保障問答能夠調(diào)度各個(gè)工具能力，將多個(gè)原子能力打包為能力模塊矩陣，提供如音轉(zhuǎn)寫、NL2SQL、RPA、大模型管理平臺(tái)等專業(yè)的能力模塊，以便利的構(gòu)建各個(gè)業(yè)務(wù)流程。

所有服務(wù)使用Docker Swarm進(jìn)行分布式、多節(jié)點(diǎn)部署，在少數(shù)節(jié)點(diǎn)故障時(shí)自動(dòng)進(jìn)行服務(wù)轉(zhuǎn)移和重啟，保障服務(wù)的高可用和長(zhǎng)期穩(wěn)定運(yùn)行。

場(chǎng)景應(yīng)用實(shí)踐

01企業(yè)知識(shí)庫(kù)問答

大模型外掛知識(shí)庫(kù)是一種將大型語(yǔ)言模型與外部知識(shí)庫(kù)結(jié)合使用的業(yè)務(wù)場(chǎng)景，也是目前垂類領(lǐng)域使用相對(duì)較為成熟的一類場(chǎng)景，大模型在回答問題或生成文本時(shí)，首先會(huì)從外掛的向量知識(shí)庫(kù)中檢索出相關(guān)的信息，然后基于這些信息生成回答或文本，能夠很好的解決垂類領(lǐng)域數(shù)據(jù)不足、數(shù)據(jù)更新以及多輪問答的問題。浦銀理財(cái)作為金融資管行業(yè)企業(yè)，內(nèi)部外部相關(guān)制度、法律法規(guī)、產(chǎn)品相關(guān)材料、各系統(tǒng)手冊(cè)以及各業(yè)務(wù)部門培訓(xùn)文檔已經(jīng)有大量沉淀，但并沒有進(jìn)行體系化的整理，各類文檔格式、存放方式各異，對(duì)于一般員工難以快速查找到需要的信息，因此在建設(shè)員工數(shù)字助理大模型平臺(tái)時(shí)，將這一場(chǎng)景作為首先上線的服務(wù)在公司內(nèi)部推出，并發(fā)布了員工數(shù)字助理的統(tǒng)一入口——智浦小鹿客戶端。

首期上線時(shí)智浦小鹿知識(shí)庫(kù)中已集成了公司制度庫(kù)、外部法規(guī)庫(kù)、產(chǎn)品文檔庫(kù)、系統(tǒng)手冊(cè)庫(kù)，員工可以直接在智浦小鹿客戶端上進(jìn)行問答并獲取到標(biāo)注準(zhǔn)確答案來(lái)源的原文檔。知識(shí)庫(kù)也可以根據(jù)業(yè)務(wù)部門的需要快速集成其他文檔庫(kù)。小鹿客戶端對(duì)接了浦銀理財(cái)統(tǒng)一認(rèn)證平臺(tái)，可以根據(jù)員工的角色配置個(gè)性化的知識(shí)庫(kù)權(quán)限。

圖?3?智浦小鹿一期客戶端

在使用過程中，有業(yè)務(wù)部門提出希望可以通過問答的方式獲取到指定理財(cái)產(chǎn)品的稅費(fèi)、最新凈值信息，指定資產(chǎn)的最新利率，業(yè)務(wù)對(duì)這類數(shù)據(jù)時(shí)效性要求更高，字段數(shù)量相對(duì)優(yōu)先且獲取邏輯簡(jiǎn)單，員工數(shù)字助理平臺(tái)直接后臺(tái)對(duì)接業(yè)務(wù)系統(tǒng)，針對(duì)更新頻率低的數(shù)據(jù)單表同步至結(jié)構(gòu)化數(shù)據(jù)庫(kù)中，對(duì)高頻數(shù)據(jù)業(yè)務(wù)系統(tǒng)根據(jù)需求提供API接口，供員工助理平臺(tái)調(diào)用。針對(duì)數(shù)據(jù)的查詢方式分為兩種，指標(biāo)字段的直接問答，大模型直接調(diào)度預(yù)開發(fā)好的查詢程序；如果涉及數(shù)據(jù)邏輯處理，例如統(tǒng)計(jì)一段時(shí)間內(nèi)的數(shù)據(jù)情況，則使用大模型的NL2SQL功能，實(shí)時(shí)生成SQL查詢后臺(tái)數(shù)據(jù)庫(kù)。

02?智能化辦公流程

在引入垂直領(lǐng)域大模型之前，浦銀理財(cái)已落地了RPA場(chǎng)景，實(shí)現(xiàn)了若干流程固定、規(guī)則明確、重復(fù)性高的工作流程，也根據(jù)業(yè)務(wù)流程需求在各系統(tǒng)中開發(fā)了定制化的自動(dòng)化工作流。員工數(shù)字助理則將RPA、OCR以及定制化的系統(tǒng)自動(dòng)流程，通過大模型進(jìn)行交互、需求理解、調(diào)度編排、結(jié)果生成，對(duì)于用戶來(lái)說(shuō)則是在智浦小鹿客戶端進(jìn)行自然語(yǔ)言對(duì)話，即可完成需要的流程。在智浦小鹿一期實(shí)現(xiàn)的公司員工個(gè)人投資申報(bào)流程，就是這一場(chǎng)景的典型實(shí)現(xiàn)。

在自動(dòng)化流程之前，浦銀理財(cái)所有員工報(bào)送個(gè)人證券投資信息，均需要登錄中國(guó)結(jié)算官網(wǎng)，進(jìn)行若干步操作后才能獲取到pdf投資明細(xì)信息，之后還需要在內(nèi)網(wǎng)登錄個(gè)人投資申報(bào)系統(tǒng)，填報(bào)明細(xì)上傳附件，整個(gè)流程需要在內(nèi)網(wǎng)和外網(wǎng)進(jìn)行多步操作，并需要填報(bào)正確的賬號(hào)、時(shí)間段以及賬號(hào)和投資情況，步驟繁瑣且不連續(xù)。在數(shù)字員工助理大模型應(yīng)用落地后，員工僅需要在智浦小鹿客戶端通過與小鹿對(duì)話的方式回答中國(guó)結(jié)算賬號(hào)信息，提交收到的短信驗(yàn)證碼，從外網(wǎng)下載正確附件、完成內(nèi)網(wǎng)投資申報(bào)系統(tǒng)信息填寫確認(rèn)的操作均由大模型調(diào)度RPA機(jī)器人、OCR平臺(tái)及相關(guān)系統(tǒng)API接口完成，流程如下圖。

圖?4?員工個(gè)人投資申報(bào)流程

整個(gè)流程向公司內(nèi)部推出后，切實(shí)解決了員工痛點(diǎn)，收到良好的反饋，并收到多個(gè)同類型需求。目前已完成的智能辦公流程還包括大模型調(diào)度RPA及OCR處理郵件并核對(duì)信息、根據(jù)員工要求合并文檔并連續(xù)處理打印任務(wù)、通過對(duì)話預(yù)訂會(huì)議等，實(shí)現(xiàn)員工辦公時(shí)間折疊，提高效能。

03?分析及生成場(chǎng)景

資管行業(yè)投研場(chǎng)景中有一部分工作是需要分析同業(yè)產(chǎn)品信息，而當(dāng)前市場(chǎng)上同業(yè)機(jī)構(gòu)信披文件動(dòng)輒上千份，人工幾乎難以處理，不同機(jī)構(gòu)文件格式各異，且有多種獲取方式，很難通過傳統(tǒng)軟件工程方式解析。針對(duì)這一情況，浦銀理財(cái)每日定時(shí)通過RPA機(jī)器人每日自動(dòng)登錄不同機(jī)構(gòu)站點(diǎn)或客戶端，下載最新信披文件入庫(kù)，大模型調(diào)度OCR精準(zhǔn)識(shí)別提取信息，統(tǒng)一調(diào)度并匯總，加工生成報(bào)告初稿，針對(duì)業(yè)務(wù)重點(diǎn)關(guān)注的信披文件，自動(dòng)落入知識(shí)庫(kù)，用戶也可直接進(jìn)行相關(guān)內(nèi)容對(duì)話問答。

這一場(chǎng)景的實(shí)施關(guān)鍵是有RPA機(jī)器人可通過網(wǎng)頁(yè)、客戶端等訪問或下載的文件與信息，業(yè)務(wù)可整理出規(guī)則提取出需要的文本，信息統(tǒng)一入庫(kù)或由大模型加工形成表格/報(bào)告。在智浦小鹿客戶端每日推送最新的報(bào)告，也可通過問答的方式獲取所需的個(gè)性化信息。

總結(jié)展望

由于浦銀理財(cái)在數(shù)智化賦能員工方面之前已經(jīng)有了相當(dāng)?shù)姆e累，例如原有的RPA、系統(tǒng)自動(dòng)化以及公司內(nèi)部各種知識(shí)庫(kù)的沉淀，在建設(shè)員工數(shù)字助理系統(tǒng)時(shí)，大模型就能夠作為調(diào)度、理解和輸出的核心，有機(jī)結(jié)合過往的各種能力，便捷地實(shí)現(xiàn)之前需要大量程序定制開發(fā)的場(chǎng)景。在應(yīng)用大模型時(shí)，不可為了落地智能化而推一些業(yè)務(wù)上收益甚微的場(chǎng)景，那么如何量化智能大模型項(xiàng)目的產(chǎn)出，就是后續(xù)工作需要重點(diǎn)關(guān)注的。員工數(shù)字助理，落點(diǎn)還是在位員工提供切實(shí)的工作效率優(yōu)化，辦公時(shí)間折疊，后續(xù)的建設(shè)中，還需要業(yè)務(wù)高度參與，需要有強(qiáng)大的產(chǎn)品思維，梳理出可以優(yōu)化的工作流程，充分利用大模型中臺(tái)提供的各種能力，為公司業(yè)務(wù)發(fā)展賦能。