本文整理自7月6日世界人工智能大會(huì)“垂直大模型重新定義知識管理”論壇上國泰君安證券首席信息官、數(shù)據(jù)平臺運(yùn)營部總經(jīng)理俞楓《行業(yè)大模型落地應(yīng)用的實(shí)踐與探索》的主題分享，從大模型成為驅(qū)動(dòng)數(shù)字化轉(zhuǎn)型的新動(dòng)力、國泰君安的人工智能推進(jìn)策略兩個(gè)方面進(jìn)行介紹。
在今年備受矚目的世界人工智能大會(huì)上，國泰君安證券首席信息官、數(shù)據(jù)平臺運(yùn)營部總經(jīng)理俞楓出席達(dá)觀數(shù)據(jù)主辦的“知識改變世界——垂直大模型重新定義知識管理”主題論壇，分享對行業(yè)大模型落地的思考與公司實(shí)踐。以下為分享內(nèi)容：
01大模型成為驅(qū)動(dòng)數(shù)字化轉(zhuǎn)型的新動(dòng)力
大模型出現(xiàn)以后，引發(fā)了整個(gè)對人工智能新的熱潮。人工智能發(fā)展有這么多年的起伏，2017年AlphaGO出來以后，大家有熱情。這次ChatGPT出來以后，各個(gè)層級大家熱情高漲。因?yàn)槭裁?？因?yàn)镃hatGPT讓普通百姓也感受到人工智能的潛力，這是一個(gè)大的背景。生成式AI完成質(zhì)變以后，對整個(gè)市場、生產(chǎn)力，大家的憧憬越來越強(qiáng)烈。在講我的觀點(diǎn)之前有兩個(gè)誤區(qū)，先跟大家做些探討。第一個(gè)關(guān)于AI、關(guān)于大語言模型與ChatGPT的差別。AI的概念，它也包括深度學(xué)習(xí)、自然語言處理等。相對來說，生成式AI應(yīng)該是它的一個(gè)子集，它應(yīng)該關(guān)于生成數(shù)據(jù)。從ChatGPT來講，雖然這個(gè)應(yīng)用很成功，是一個(gè)現(xiàn)象級的產(chǎn)品，讓我們百姓都可以感受到人工智能的潛力。但不管怎么講，它的背后是基礎(chǔ)語言模型。
從這張圖上可以發(fā)現(xiàn)，我們談AI不能只談生成式AI，也不能只講大模型。我們對人工智能的認(rèn)識一定是基于大模型與傳統(tǒng)AI技術(shù)的互補(bǔ)，共同解決問題，這是我講的第一個(gè)理解。
第二個(gè)理解，垂域大模型與通用大模型。前面周漢民主席、柴洪峰院士都已經(jīng)提到，這里重點(diǎn)強(qiáng)調(diào)通用大模型雖然能力很強(qiáng)，但我個(gè)人認(rèn)為它也不是萬能的。雖然它有參數(shù)量大、泛化能力強(qiáng)等特點(diǎn)，以解決通識能力作為主要出發(fā)點(diǎn)。但從行業(yè)應(yīng)用角度講起來，它對專業(yè)知識要求更高。相對來講，通用大模型“幻覺”問題、高成本問題也是做行業(yè)應(yīng)用落地比較難以解決的困難。垂直領(lǐng)域大模型應(yīng)該具有性價(jià)比比較高的特色，為行業(yè)應(yīng)用帶來了比較好的應(yīng)用前景，所以我們會(huì)更關(guān)注垂直大模型，也就是我們今天論壇的主題。
垂直大模型也不是憑空出來的，目前產(chǎn)生方式是從通用大模型基礎(chǔ)疊加專業(yè)知識、領(lǐng)域知識進(jìn)行強(qiáng)化學(xué)習(xí)，讓它更好滿足需要，也不是從頭開始。從這個(gè)意義上來講，通用大模型也是垂直大模型發(fā)展的基礎(chǔ)，應(yīng)該是相互促進(jìn)的過程。
從行業(yè)角度來說，大模型生成能力為我們提供很多想象力，特別是推動(dòng)了人機(jī)互動(dòng)場景的轉(zhuǎn)變。以前講人工智能都是覺得要讓它干事，現(xiàn)在大模型出現(xiàn)以后，我們更多關(guān)注它能扮演什么角色，大模型為我們帶來空間和想象力，能不能做其他AI技術(shù)進(jìn)行互補(bǔ)，更好來解決我們行業(yè)的問題。
大模型應(yīng)用以后成本很多。大家也聽說Open AI訓(xùn)練一次要100-120萬美金，我們的訓(xùn)練技術(shù)成本也很高。從行業(yè)應(yīng)用角度講起來，一定會(huì)關(guān)注它落地時(shí)性價(jià)比的問題，它的ROE的問題。從這個(gè)角度出發(fā)，我們做行業(yè)落地的時(shí)候，也不是隨便做的，還是要根據(jù)自己的情況去選擇合適的AI發(fā)展策略，核心來講要實(shí)現(xiàn)投資回報(bào)最大化。
我把AI場景分為兩大類，這也是我個(gè)人的看法。一是賦能型AI，一類是變革型AI。
01賦能型AI
賦能型AI更多專注于日常事務(wù)生產(chǎn)力的提升，也就是傳統(tǒng)講的降本增效、優(yōu)化體驗(yàn)，更多替代我們?nèi)粘Ｖ貜?fù)性勞動(dòng)，輔助提高生產(chǎn)效率。
02變革型AI
如果這個(gè)AI關(guān)注于企業(yè)核心應(yīng)用環(huán)節(jié)，能夠考慮為行業(yè)中長期發(fā)展提供持久競爭力，這個(gè)AI我們覺得更有意義。它能夠推動(dòng)我們公司業(yè)務(wù)創(chuàng)新，能夠推動(dòng)公司組織變革。
這也是在大模型背景下，我覺得作為企業(yè)落地可能必須要思考的問題。這么大的投入與傳統(tǒng)AI是不一樣的，如果要有效地實(shí)現(xiàn)投入產(chǎn)出最大化，我們要更多思考有利于幫助公司提升中長期競爭力的AI場景應(yīng)用。
再說到瓶頸，從金融行業(yè)來講，有一個(gè)比較大的要求，就是專業(yè)度與安全性的問題。證券行業(yè)是一個(gè)相對來說專業(yè)能力要求比較強(qiáng)的，這也是我們行業(yè)利用大模型潛力最大的地方，數(shù)據(jù)安全、數(shù)據(jù)流動(dòng)、隱私合規(guī)又有很嚴(yán)格的要求，從行業(yè)本身來講，它的發(fā)展真的是大家比較謹(jǐn)慎的。
從瓶頸來講，我這里總結(jié)了四條：
01算力瓶頸
國產(chǎn)芯片性能從生態(tài)來講，還有進(jìn)一步提升的問題。多模態(tài)可能需要更強(qiáng)的算力，如果要訓(xùn)練一個(gè)千億級多模態(tài)，可能需要整個(gè)社會(huì)逐步定量支持。很多人都說最后大模型發(fā)展的瓶頸就在整個(gè)社會(huì)的電力，電力也是會(huì)有一定的影響，就是基礎(chǔ)設(shè)施會(huì)有影響。
02數(shù)據(jù)瓶頸
大家知道Open AI的訓(xùn)練，其實(shí)中文數(shù)據(jù)語料只占了千分之一，目前國內(nèi)很多大模型廠商用的這些性能數(shù)據(jù)，大部分來自于互聯(lián)網(wǎng)或者來自電子銷售渠道，存在著數(shù)據(jù)質(zhì)量不夠。不管是從數(shù)量，還是從質(zhì)量來說都很難保證需要。如果加上數(shù)據(jù)收集標(biāo)注，那其實(shí)是很大的成本。
03可視性差
基本上大模型本身就是一個(gè)“黑盒”，它的可解釋性很差。但金融行業(yè)對于算法一定是要有解釋的，沒有解釋其實(shí)很難面對監(jiān)管和客戶。更麻煩的是，它容易出現(xiàn)“幻覺”，這是它機(jī)理所決定的，所以有時(shí)候會(huì)犯事實(shí)性的錯(cuò)誤。目前來看，金融行業(yè)把單純大模型用在高可靠用的場景，其實(shí)還是蠻難的。
04安全與倫理
訓(xùn)練數(shù)據(jù)會(huì)牽扯到各類隱私，前面說到利用AI去做虛假信息，這可能也是一個(gè)相對容易的事。我一直說詐騙行業(yè)用新技術(shù)，可能會(huì)比我們很多行業(yè)還要更加有積極性。從這個(gè)道理上講，我們也是建議國家行業(yè)堅(jiān)持發(fā)展以安全并重的發(fā)展原則。
02國泰君安的人工智能推進(jìn)策略
國泰君安是整個(gè)行業(yè)里面最早推行人工智能應(yīng)用的，早在2017年，就提出整個(gè)人工智能發(fā)展策略。我們認(rèn)為人工智能將來是基礎(chǔ)設(shè)施，提出來人機(jī)同行AI應(yīng)用。希望AI能夠給各個(gè)環(huán)節(jié)、各個(gè)場景進(jìn)行賦能。這幾年一直在探索，在投研、風(fēng)控、服務(wù)、協(xié)作、運(yùn)維等領(lǐng)域都在使用，效果也非常好，基本上還是處于提質(zhì)增效的階段。我認(rèn)為大模型不完全是生產(chǎn)力，它更是一個(gè)驅(qū)動(dòng)我們公司長期轉(zhuǎn)型發(fā)展的動(dòng)力引擎。從這個(gè)意義上來講，公司提出一個(gè)新的發(fā)展策略，叫“Al in ALL”，希望把大模型作為公司變革的重要力量，去驅(qū)動(dòng)組織變革與流程創(chuàng)新，推動(dòng)整個(gè)公司業(yè)務(wù)、經(jīng)營管理模式的創(chuàng)新。從2017年AI應(yīng)用，到2024年“AI in ALL”的進(jìn)化，背后邏輯是從賦能AI向變革型AI發(fā)展。
再說說我們具體三大決策，也是介紹我們具體的做法。
三大舉措01構(gòu)筑“1+N”?AI大模型底座
“1”指的是基于1個(gè)通用大模型作為基石，共建行業(yè)大模型，同時(shí)服務(wù)于N個(gè)場景模型，探索1個(gè)大模型，在N個(gè)場景方面的應(yīng)用，共同探索打造國泰君安適用于場景應(yīng)用的策略。
02探索算力創(chuàng)新合作方式
算力是瓶頸，一方面自己構(gòu)建自主可控的算力值。同時(shí)基于融合方案，既用英偉達(dá)算力，更是用國產(chǎn)算力進(jìn)行融合。前面復(fù)旦金融科技研究院、國泰君安證券、達(dá)觀、燧原簽約也是有這么一個(gè)背景，國泰君安去年與相關(guān)機(jī)構(gòu)合作，推出“國芯證道”解決方案，完全基于公司全站信創(chuàng)的環(huán)境，基于國產(chǎn)算力，實(shí)現(xiàn)了完整金融大模型工程，探索了可持續(xù)的一步，一直在做異構(gòu)算力融合創(chuàng)新應(yīng)用。一方面自建基礎(chǔ)小的算力池，同時(shí)也與相關(guān)方合作租賃算力池發(fā)展。算力的應(yīng)用與行業(yè)特征還有點(diǎn)關(guān)系，證券行業(yè)晚上周末算力用得不足，基于這么一個(gè)情況，我們提出可信數(shù)據(jù)沙盒+分時(shí)算力租賃方案，現(xiàn)在也在走監(jiān)管沙盒審批路線。
03
夯實(shí)AI基礎(chǔ)設(shè)施，強(qiáng)化數(shù)據(jù)管理
我們2015年開始做大模型平臺，目前已經(jīng)完成滬深一體的數(shù)據(jù)底座建設(shè)，整個(gè)數(shù)據(jù)量已超過PB級。同時(shí)算力能力幫助我們實(shí)現(xiàn)從數(shù)據(jù)搜集、清洗、加工、存儲到運(yùn)營支持整個(gè)環(huán)節(jié)，對整個(gè)公司語料支持也有技術(shù)條件。同時(shí)這幾年我們構(gòu)筑完成了語料中臺，也把傳統(tǒng)客戶數(shù)據(jù)、場景數(shù)據(jù)、運(yùn)維數(shù)據(jù)之外，還疊加了另類數(shù)據(jù)，支撐多模態(tài)語料中臺，支持模型訓(xùn)練。語料生成也不是靠我們一家，國泰君安有開放證券理念，與相關(guān)機(jī)構(gòu)合作，共同打造整體數(shù)據(jù)生態(tài)。
下面簡單介紹一下應(yīng)用場景：
應(yīng)用場景01智能投顧
相對核心的環(huán)節(jié)是智能投顧，國泰君安2017年率先在行業(yè)中推出，當(dāng)時(shí)基于資訊、交易、理財(cái)展現(xiàn)服務(wù)，叫“君弘靈犀”。2022年又通過構(gòu)建自己的知識圖譜，構(gòu)造了能夠?qū)崿F(xiàn)全自主投資的君弘靈犀的模型。2023年又基于數(shù)字人技術(shù)，推出數(shù)字投顧。今年3月份，我們與相關(guān)技術(shù)一起打造推出行業(yè)首個(gè)千億參數(shù)多模態(tài)垂類大模型，特別是把我們整個(gè)大模型能力融入到客戶服務(wù)體系當(dāng)中。我們做這件事的時(shí)候，是通過大模型與小模型結(jié)合實(shí)現(xiàn)的。
剛才也說了基于不同模型做了一些探索，也有80%-90%的好處，但是我們發(fā)現(xiàn)有幾個(gè)不足。第一語義理解能力沒有想象那么好，只有80%不到左右。我們把大模型在這方面的語音識別、多模態(tài)能力融合進(jìn)去以后，我們現(xiàn)在從語音識別角度講起來，能提升到98%，與后端98%體系結(jié)合起來。用大模型來解決我們對客戶語義的理解進(jìn)行分類，通過小模型做專業(yè)處理。特別是我們后面的知識庫是利用國泰君安積累下來的知識庫、知識圖譜，與我們合作伙伴提供的相關(guān)咨訊信息，共同提供可信數(shù)據(jù)的可靠輸出。通過這么一個(gè)過程，利用人工智能技術(shù)，進(jìn)一步提升國泰君安對海量客戶服務(wù)體系的建設(shè)。
02智能投行
我們這幾年一直在探索投行，也引入了相關(guān)AI工具能力，與投行盡調(diào)、文檔制作、信息報(bào)送、業(yè)務(wù)問答方面做探索，這塊對整個(gè)投行體系建設(shè)還是非常有幫助的，關(guān)注于它的轉(zhuǎn)型升級。
03智能投研
投研對我們來說意義也很大，國泰君安基于這么多年投研數(shù)據(jù)積累、模型能力積累，也推出了相關(guān)服務(wù)。
04智能網(wǎng)點(diǎn)
特別是推出智能雙路等智能應(yīng)用，對客戶服務(wù)體驗(yàn)提升還是很有意義。2023年，我們又在行業(yè)內(nèi)首家落地了信創(chuàng)網(wǎng)點(diǎn)，同時(shí)也落地了首柜VTM數(shù)字人小安，共同提升客戶交付體驗(yàn)，目前正好基于“君弘靈犀”大模型在推動(dòng)業(yè)務(wù)梳理模式變革，這個(gè)對于未來客戶服務(wù)體系提升也會(huì)很有意義。
05智能運(yùn)維
智能運(yùn)維，我一直認(rèn)為運(yùn)維的數(shù)據(jù)是整個(gè)證券公司中質(zhì)量最高，也是最全的。從2018年開始，構(gòu)筑一體化運(yùn)維平臺。比較有特點(diǎn)的，我們統(tǒng)一了海量運(yùn)維數(shù)據(jù)與安全數(shù)據(jù)，對于公司整個(gè)能力提升很有幫助，包括強(qiáng)大的健康度評估、日志檢測、故障根因診斷、多源情報(bào)分析等。在這么幾年發(fā)展當(dāng)中，我們曾經(jīng)就這個(gè)創(chuàng)新拿到了深交所創(chuàng)新課題兩次一等獎(jiǎng)。
06智能風(fēng)控
風(fēng)控也是證券行業(yè)比較重要的，在我們原有的風(fēng)控模型基礎(chǔ)上，疊加了智能大腦，進(jìn)一步提升我們整個(gè)風(fēng)險(xiǎn)管理模式的轉(zhuǎn)變。我們2018年開始搞并表管理，把整個(gè)集團(tuán)數(shù)據(jù)底座給做起來了。
07智能協(xié)作
公司提出人工數(shù)字化，背后很重要的邏輯就是讓員工能夠更好利用。我們提出全鏈接引入AI，看重智能協(xié)作新空間。要解決公司目前基于平臺上面從效率工具到生存工具的轉(zhuǎn)變，重構(gòu)協(xié)作模式，希望給員工更好的職場體驗(yàn)，也提高公司協(xié)作效率。
