本文整理自7月7日世界人工智能大會(huì)“AI生成與垂直大語(yǔ)言模型的無(wú)限魅力”論壇上上海市數(shù)據(jù)科學(xué)重點(diǎn)實(shí)驗(yàn)室主任，復(fù)旦大學(xué)教授肖仰華《《面向領(lǐng)域應(yīng)用的大模型關(guān)鍵技術(shù)》》的主題分享。

當(dāng)ChatGPT之類的生成式大模型呈現(xiàn)出較強(qiáng)的通用智能能力之后，產(chǎn)業(yè)界的關(guān)注點(diǎn)較多地落在了千行百業(yè)。大模型只有在實(shí)體型的千行百業(yè)落地取得效果才能凸顯其價(jià)值。ChatGPT之類的大模型均是用通用語(yǔ)料訓(xùn)練而成，具備通識(shí)能力。那么自然就會(huì)遇到一些有意思的問(wèn)題，為何千行百業(yè)的垂直領(lǐng)域需要通用大模型？當(dāng)前的通用大模型是否就已經(jīng)能夠勝任垂直領(lǐng)域的復(fù)雜任務(wù)？通用大模型需要如何優(yōu)化才能勝任領(lǐng)域中的復(fù)雜任務(wù)。本報(bào)告對(duì)這些問(wèn)題做初步回答。

一、垂域問(wèn)題為何需要通用大模型解決？

首先，通用生成式大模型所帶來(lái)的開(kāi)放世界理解能力是至關(guān)重要的。這種能力使得大模型能夠?qū)Ω鞣N開(kāi)放環(huán)境中的自然語(yǔ)言問(wèn)題都有著一定程度的理解，在大多數(shù)情況下能夠提供準(zhǔn)確答案。盡管當(dāng)前的生成式大模型在生成答案時(shí)可能存在一些事實(shí)或邏輯上的錯(cuò)誤。但總體而言，其生成的內(nèi)容不會(huì)偏離問(wèn)題的主題，對(duì)于通識(shí)問(wèn)題能夠進(jìn)行準(zhǔn)確回答。這種開(kāi)放世界問(wèn)題理解能力對(duì)于垂域領(lǐng)域認(rèn)知的實(shí)現(xiàn)至關(guān)重要。ChatGPT之前的AI實(shí)現(xiàn)思路傾向于認(rèn)為只有讓其學(xué)會(huì)大多數(shù)垂域的能力，才能實(shí)現(xiàn)開(kāi)放世界的通識(shí)理解能力?；蛘哒f(shuō)，如果垂域認(rèn)知都無(wú)法實(shí)現(xiàn)，實(shí)現(xiàn)通用認(rèn)知?jiǎng)t更加困難。然而，ChatGPT出現(xiàn)之后，證明了先煉制通用大模型塑造機(jī)器的通識(shí)能力，再經(jīng)垂直領(lǐng)域數(shù)據(jù)的持續(xù)訓(xùn)練練就垂域認(rèn)知能力，是一條更為可行的落地路徑。事實(shí)上，將機(jī)器的垂域認(rèn)知能力建立在通用認(rèn)知能力基礎(chǔ)之上是必然的、是合理的。一個(gè)醫(yī)生如不理解“健康”，怎么可能真正理解 “疾病”。也就是說(shuō)理解某個(gè)概念，不單單要理解這個(gè)概念自身的內(nèi)涵與外延，更要理解概念之外的內(nèi)涵與外延。所以，理解領(lǐng)域內(nèi)，就包括理解領(lǐng)域外，傳統(tǒng)所謂的“垂域認(rèn)知”本質(zhì)上是個(gè)偽命題。這種“先通識(shí)、再專識(shí)”的智能實(shí)現(xiàn)路徑與人類的教育過(guò)程極為相似。我們?nèi)祟惖慕逃?，首先是?cè)重通識(shí)教育的基礎(chǔ)教育，才是側(cè)重專業(yè)知識(shí)的高等教育。生成式大模型的發(fā)展刷新了我們對(duì)領(lǐng)域認(rèn)知智能實(shí)現(xiàn)路徑的認(rèn)識(shí)，這是大模型技術(shù)發(fā)展帶來(lái)的重要啟發(fā)之一。

大模型除了開(kāi)放世界的理解能力之外，還具有很多其他能力特性，在領(lǐng)域應(yīng)用中尤為值得關(guān)注：

一、組合創(chuàng)新能力

通過(guò)在訓(xùn)練階段引導(dǎo)大模型學(xué)習(xí)多個(gè)不同任務(wù)，從而可以讓大模型組合創(chuàng)造出解決更多復(fù)合任務(wù)的能力。例如，我們可以讓大模型根據(jù)李清照的詩(shī)詞風(fēng)格寫一個(gè)Python代碼的注釋，這要求它既具備寫詩(shī)的能力，又具備編寫代碼的能力。大模型通過(guò)對(duì)指令學(xué)習(xí)的結(jié)果進(jìn)行組合泛化，模擬了人類舉一反三的能力，從而讓機(jī)器能夠勝任一些從未學(xué)習(xí)過(guò)的新任務(wù)。

二、評(píng)估評(píng)價(jià)能力

通用大模型具有出色的。具有一定規(guī)模的大模型（特別是百億以上的大模型）在常見(jiàn)的文本任務(wù)結(jié)果評(píng)估方面具有優(yōu)良性能。傳統(tǒng)的文本任務(wù)，其結(jié)果評(píng)估工作往往需要人工參與，耗費(fèi)昂貴的人力成本。而現(xiàn)在，我們可以利用大模型進(jìn)行很多評(píng)估任務(wù)。例如，我們可以讓大模型扮演一個(gè)翻譯專家的角色，對(duì)翻譯質(zhì)量進(jìn)行評(píng)估。通過(guò)設(shè)計(jì)合理的評(píng)價(jià)標(biāo)準(zhǔn)、給出有效的評(píng)分示例、給出翻譯專家評(píng)價(jià)過(guò)程思維鏈，巨型大模型（比如GPT4）是能夠出色的完成諸如習(xí)語(yǔ)翻譯這類非常專業(yè)的評(píng)價(jià)工作。大模型的評(píng)價(jià)能力能夠顯著領(lǐng)域任務(wù)中的人工評(píng)價(jià)的成本，從而顯著降低領(lǐng)域智能化解決的方案的落地成本。

三、復(fù)雜指令理解及其執(zhí)行能力

復(fù)雜指令理解及其執(zhí)行能力是大模型的核心特點(diǎn)之一。只需給予大模型詳細(xì)的指令，清晰表達(dá)任務(wù)約束或規(guī)范，超大模型就能夠按指令要求地完成任務(wù)。這種忠實(shí)于指令要求的能力與大模型的情境化生成能力高度相關(guān)。給定合理提示，且提示越是豐富、細(xì)致，大模型往往越能生成高質(zhì)量?jī)?nèi)容。大模型的情景化生成能力刷新了我們對(duì)智能本質(zhì)的認(rèn)識(shí)，傳統(tǒng)關(guān)聯(lián)認(rèn)為智能是人類的知識(shí)發(fā)現(xiàn)和應(yīng)用能力。這類定義是從人類視角出發(fā)，知識(shí)是人類認(rèn)知世界的產(chǎn)物。而從大模型的角度來(lái)看，只要在給予的情境提示做出合理生成，就是一種智能。這種情景化生成能力本質(zhì)上體現(xiàn)了一種建模世界的能力，且無(wú)關(guān)于人類對(duì)于世界的認(rèn)知方式。

四、復(fù)雜任務(wù)的分解能力和規(guī)劃能力

復(fù)雜任務(wù)的分解能力和規(guī)劃能力是大模型的另一項(xiàng)優(yōu)勢(shì)。它可以將復(fù)雜任務(wù)分解為多個(gè)步驟，并合理規(guī)劃任務(wù)的執(zhí)行順序。這為垂域應(yīng)用提供了重要的機(jī)會(huì)，使得大模型能夠與傳統(tǒng)信息系統(tǒng)協(xié)同工作，將傳統(tǒng)IT系統(tǒng)中數(shù)據(jù)庫(kù)、知識(shí)庫(kù)、辦公自動(dòng)化系統(tǒng)、代碼庫(kù)等眾多系統(tǒng)高效協(xié)同，完成以往傳統(tǒng)智能系統(tǒng)難以勝任的復(fù)雜決策任務(wù)，從而提升整個(gè)信息系統(tǒng)的智能水平。

五、符號(hào)推理能力

此外，大模型還具備符號(hào)推理能力，可以進(jìn)行常識(shí)推理、以及一定程度的邏輯推理、數(shù)值推理。雖然這些推理能力在面對(duì)復(fù)雜的領(lǐng)域文本任務(wù)時(shí)仍需進(jìn)一步提升其專業(yè)水平。此外，價(jià)值觀對(duì)齊能力也是大模型落地的重要特性，以確保大模型的輸出與我們?nèi)祟愓l(shuí)的倫理道德、意識(shí)形態(tài)、價(jià)值觀念相一致。

總而言之，通用大模型作具備開(kāi)放世界的理解能力、組合創(chuàng)新能力、評(píng)估能力、忠實(shí)的指令理解和執(zhí)行能力、復(fù)雜任務(wù)的分解和規(guī)劃能力、符號(hào)推理能力以及與價(jià)值觀對(duì)齊能力性。這些優(yōu)點(diǎn)使得大模型成為了為人工智能的新基座。也就是說(shuō)任何應(yīng)用接入大模型，均可以享受其所到來(lái)的智能能力。大模型也日益成為智能化應(yīng)用生態(tài)中的核心部件，控制與協(xié)調(diào)各個(gè)傳統(tǒng)信息系統(tǒng)，帶動(dòng)信息系統(tǒng)智能水平的整體性提升。

二、大模型能夠直接勝任垂域任務(wù)嗎？

對(duì)于通用大模型是否已經(jīng)能夠勝任垂域任務(wù)，需要審慎評(píng)估。目前的判斷是，大模型還無(wú)法直接勝任各領(lǐng)域復(fù)雜決策任務(wù)。因此，在企業(yè)服務(wù)市場(chǎng)，我們既要重視大模型給我們帶來(lái)的重大機(jī)遇，也要保持冷靜，對(duì)ChatGPT能做什么不能做什么保持謹(jǐn)慎態(tài)度。要意識(shí)到，我們?nèi)孕栝_(kāi)展大量研究工作才能將ChatGPT應(yīng)用落地。ChatGPT這類大模型在開(kāi)放環(huán)境下的人機(jī)對(duì)話或閑聊已經(jīng)取得顯著效果，但其解決實(shí)際工作中的復(fù)雜決策任務(wù)存在差距。我們?cè)诖怪鳖I(lǐng)域的大部分任務(wù)是復(fù)雜決策任務(wù)。例如，設(shè)備故障排查、疾病診斷、投資決策……等任務(wù)都屬于嚴(yán)肅的復(fù)雜決策場(chǎng)景。所謂“嚴(yán)肅”是指這些任務(wù)對(duì)于錯(cuò)誤有著較低的容忍度。上述場(chǎng)景的任一錯(cuò)誤都會(huì)帶來(lái)巨大損失與難以接受的代價(jià)。這些任務(wù)也是“復(fù)雜”的，需要豐富的專業(yè)知識(shí)、復(fù)雜的決策邏輯、宏觀態(tài)勢(shì)的判斷能力（例如股票市場(chǎng)的宏觀態(tài)勢(shì)）。還需要擁有綜合任務(wù)的拆解與規(guī)劃能力，比如將故障排查分解成若干步驟；需要復(fù)雜約束下做出取舍的能力，例如投資決策往往要多眾多約束進(jìn)行權(quán)衡與取舍。還需要具備未見(jiàn)事物的預(yù)見(jiàn)能力和在不確定場(chǎng)景下進(jìn)行推理和推斷的能力，因?yàn)槲覀儸F(xiàn)實(shí)環(huán)境發(fā)展快速往往超出我們預(yù)期，我們往往要在對(duì)信息不完全的情況下就要做出及時(shí)的決策。

復(fù)雜決策任務(wù)

舉個(gè)例子來(lái)說(shuō)，讓機(jī)器“調(diào)研知識(shí)工場(chǎng)實(shí)驗(yàn)室最近發(fā)表的大模型持續(xù)學(xué)習(xí)的論文”，這看似一個(gè)簡(jiǎn)單的任務(wù)，實(shí)則需要使用上述各類復(fù)雜決策能力。例如，要了解知識(shí)工場(chǎng)實(shí)驗(yàn)室是一個(gè)什么樣的團(tuán)隊(duì)、有哪些成員，需要了解大模型持續(xù)學(xué)習(xí)的內(nèi)涵，需要具備AI領(lǐng)域的專業(yè)知識(shí)。同時(shí)，還需要知道如何查找論文資源（比如我們都知道計(jì)算機(jī)領(lǐng)域的前沿論文往往可以從Arxiv網(wǎng)站上下載），下載論文時(shí)可能會(huì)遇到一些未預(yù)料到的問(wèn)題（例如網(wǎng)絡(luò)訪問(wèn)出現(xiàn)404、出現(xiàn)驗(yàn)證碼等情況）。我自己實(shí)驗(yàn)室的本科生、碩士生顯然能夠完成上述任務(wù)。但是，當(dāng)前的大模型還難以完成整套流程中的工作，還需要針對(duì)性地提升大模型自身的能力，還需要從外圍不足大模型的先天不足。總體而言，大模型在領(lǐng)域知識(shí)方面仍然相對(duì)匱乏。通用大模型具備寬廣的知識(shí)底座，具有寬度有余但深度不足。然而，在解決實(shí)際問(wèn)題時(shí)，例如運(yùn)維問(wèn)題，如果沒(méi)有設(shè)備相關(guān)的知識(shí)，是無(wú)法勝任運(yùn)維任務(wù)的。因此，大模型需要具備專業(yè)知識(shí)的深度和長(zhǎng)程推理的能力，才能在垂直領(lǐng)域落地應(yīng)用。

寬廣的知識(shí)底座

另一個(gè)無(wú)法回避的問(wèn)題是大模型的”幻覺(jué)”問(wèn)題，即一本正經(jīng)地胡說(shuō)八道問(wèn)題。當(dāng)我們?cè)儐?wèn)復(fù)旦大學(xué)的校訓(xùn)時(shí)，大模型可能會(huì)很有條理地編造出看似嚴(yán)謹(jǐn)?shù)幕卮?。但仔?xì)查證，你會(huì)發(fā)現(xiàn)在一些基本事實(shí)（比如它編造了復(fù)旦校訓(xùn)的出處），大模型的回答容易出錯(cuò)。大模型以“一本正經(jīng)”的文字風(fēng)格編造答案的現(xiàn)象，將會(huì)為其應(yīng)用帶來(lái)巨大困擾。因?yàn)榭此茋?yán)謹(jǐn)?shù)幕卮鹜刂恍┗臼聦?shí)錯(cuò)誤，我們?cè)趹?yīng)用時(shí)仍然要付諸極大的代價(jià)進(jìn)行信息真?zhèn)蔚呐袛?。這實(shí)質(zhì)上反而帶來(lái)了大模型應(yīng)用的額外成本。大模型的幻覺(jué)問(wèn)題，其自身經(jīng)過(guò)優(yōu)化之后能夠解決么？比如使用更多的訓(xùn)練數(shù)據(jù)，更充分算力的訓(xùn)練。理論上ChatGPT這類大模型是概率化的生成式大模型，仍然會(huì)以一定概率犯錯(cuò)。某種意義上，幻覺(jué)是大模型的創(chuàng)造力所必須付出的代價(jià)，魚和熊掌難以兼得。因此，幻覺(jué)問(wèn)題是大模型落地垂域應(yīng)用不可避免的問(wèn)題。

大模型的”幻覺(jué)”問(wèn)題

此外，大模型缺乏對(duì)于給定信息的”忠實(shí)度”。在領(lǐng)域任務(wù)中，我們需要大模型遵循特定領(lǐng)域的規(guī)范、制度、流程和知識(shí)進(jìn)行回答。然而，如果沒(méi)有進(jìn)行適當(dāng)?shù)恼{(diào)優(yōu)，大模型往往會(huì)拋開(kāi)給定的文檔或信息，而傾向于利用已習(xí)得的通用知識(shí)進(jìn)行自由發(fā)揮。飄逸的創(chuàng)造發(fā)揮與忠實(shí)的事實(shí)陳述是一對(duì)難以調(diào)和的矛盾。對(duì)于一個(gè)給定的問(wèn)題，是用通識(shí)回答還是用專識(shí)回答。我們?nèi)祟悓?duì)于問(wèn)題的知識(shí)適配，往往是直覺(jué)方式完成的，但是要讓機(jī)器在通識(shí)和專識(shí)之間的靈活協(xié)同是十分困難的。雖然巨型大模型（比如GPT4）能在一定程度上緩解大模型忠實(shí)度缺乏的問(wèn)題，但是即便進(jìn)行過(guò)微調(diào)和優(yōu)化，大模型的答案仍然有可能超越給定的范圍，從而產(chǎn)生錯(cuò)誤。這是當(dāng)前通用大模型面臨的一個(gè)重大問(wèn)題。

信息的”忠實(shí)度”

因此，我的基本判斷是僅僅依靠現(xiàn)有的通用大模型是不足以解決各行業(yè)領(lǐng)域的許多問(wèn)題的。我們需要發(fā)展垂域大模型，并積極發(fā)展外圍插件，實(shí)施大模型和知識(shí)圖譜、傳統(tǒng)知識(shí)庫(kù)相結(jié)合的策略，緩解大模型的自身問(wèn)題，提升大模型的落地效果。

三、通用大模型如何才能勝任垂域任務(wù)？

通用大模型向特定領(lǐng)域應(yīng)用，仍需大量?jī)?yōu)化，才能從“不作詩(shī)、只做事”，才能從一個(gè)知識(shí)容器變成解決問(wèn)題的利器，才能釋放大模型的巨大潛力。我相信達(dá)觀數(shù)據(jù)的”曹植”模型也在做類似優(yōu)化。我將以我實(shí)驗(yàn)室自己的大模型KW-CuteGPT面向領(lǐng)域優(yōu)化過(guò)程作為例子，向大家介紹大模型勝任垂域任務(wù)的路徑。存在兩個(gè)基本優(yōu)化的路徑，一是大模型自身的優(yōu)化，二是大模型與外圍技術(shù)的協(xié)同。先討論大模型自身能力如何優(yōu)化。首先是提升大模型對(duì)長(zhǎng)文本的理解能力。比如，用大模型做對(duì)客服通話記錄進(jìn)行總結(jié)是一個(gè)很常見(jiàn)的應(yīng)用場(chǎng)景，很多客戶經(jīng)?；宋辶昼?，通過(guò)冗長(zhǎng)對(duì)話記錄，才能表達(dá)自己的意圖。而其中可能只包含一兩個(gè)重要的信息點(diǎn)。用大模型進(jìn)行對(duì)話的摘要，需要支持長(zhǎng)文本的理解能力。當(dāng)前已經(jīng)商用的一些大模型，如GPT-4，已經(jīng)能夠支持最長(zhǎng)32K的輸入長(zhǎng)度，相當(dāng)于上萬(wàn)字，是非常了不起的能力。然而，大多數(shù)開(kāi)源模型只支持2-4K的輸入長(zhǎng)度，在長(zhǎng)文本的理解能力方面仍存在不足。因此，在發(fā)展垂域大模型的過(guò)程中，首要的任務(wù)就是提升長(zhǎng)文本輸入的理解與處理能力。長(zhǎng)文本之所以具有挑戰(zhàn)性，是因?yàn)槠渲写嬖谌终Z(yǔ)義約束，許多語(yǔ)義約束涉及多個(gè)句子甚至多個(gè)段落，讓大模型理解這種全局上下文仍是巨大挑戰(zhàn)。

提升長(zhǎng)文本理解能力

其次，我們需要進(jìn)一步提升大模型求解復(fù)雜任務(wù)的規(guī)劃和協(xié)同能力。這里同樣給出一個(gè)問(wèn)答系統(tǒng)中的真實(shí)案例，我們常常面臨一個(gè)困惑：對(duì)于某個(gè)自然語(yǔ)言問(wèn)題，是應(yīng)該調(diào)用知識(shí)圖譜的知識(shí)來(lái)回答，還是讓大模型來(lái)回答？我們希望大模型能夠自主決策、規(guī)劃，判斷是否需要使用外部知識(shí)，并決定需要使用哪些外部知識(shí)。對(duì)于不同來(lái)源或不同類型的知識(shí)，可以通過(guò)API調(diào)用獲取其知識(shí)。這就進(jìn)一步需要讓大模型理解API以及相應(yīng)的使用規(guī)則、調(diào)用關(guān)系、參數(shù)配置以及輸入輸出格式等，從而實(shí)現(xiàn)達(dá)模型其與外部知識(shí)庫(kù)工具的協(xié)同。然而，客觀來(lái)說(shuō)，大模型的外部工具林林種種，工具所處的環(huán)境也是非常復(fù)雜，必須不斷進(jìn)行優(yōu)化大模型的規(guī)模與協(xié)同能力，才能確保大模型在協(xié)同各種工具完成復(fù)雜任務(wù)是取得理想效果。

復(fù)雜任務(wù)的規(guī)劃和協(xié)同能力

第三，還需要進(jìn)一步優(yōu)化文本的結(jié)構(gòu)化解釋和風(fēng)格樣式。在實(shí)際應(yīng)用中，用戶對(duì)樣式有特定要求，需要大模型能夠理解并及時(shí)響應(yīng)對(duì)輸出格式的調(diào)整。行業(yè)復(fù)雜抽取仍然面臨著很大的需求。過(guò)去，我們通常需要在提示中提供行業(yè)背景信息（比如領(lǐng)域Schema），大模型才能夠抽取出關(guān)鍵要素。經(jīng)過(guò)優(yōu)化之后，大模型在各個(gè)領(lǐng)域的背景理解能力大幅提升，可以自適應(yīng)地對(duì)各個(gè)領(lǐng)域的背景進(jìn)行理解，而無(wú)需依賴于特定的行業(yè)背景提示，能夠?qū)I(yè)性較強(qiáng)的文本進(jìn)行結(jié)構(gòu)化分析和拆解。

優(yōu)化文本的結(jié)構(gòu)化解釋和風(fēng)格樣式

第四，要持續(xù)提升大模型的問(wèn)答領(lǐng)域問(wèn)題的能力，包括不兜圈子直接回答、忠實(shí)于給定文檔的回答以及堅(jiān)定正確信念等能力。通用大模型在問(wèn)答過(guò)程中容易出現(xiàn)繞圈子、和稀泥式樣的回答。在與大模型對(duì)話的過(guò)程中，它很可能會(huì)回復(fù)“我是一個(gè)大模型，我的回答僅供參考……”，不愿意給出具有明確判斷性質(zhì)的答案（主要是通用模型出于安全、免責(zé)的初衷），讓你困惑了半天卻無(wú)法獲得想要的答案。垂域應(yīng)用中，我們不希望它繞圈子，我們希望它能直接給出答案，才能輔助我們實(shí)現(xiàn)決策。同時(shí)，我們要求大模型在給定文檔的基礎(chǔ)上生成答案時(shí)，不要超出給定的內(nèi)容范圍。它必須結(jié)合給定的內(nèi)容和自身的語(yǔ)言生成能力，給出一個(gè)合理的答案，而不是自行發(fā)揮。在垂域應(yīng)用中，我們不希望大模型隨意發(fā)揮，它需要忠實(shí)于所涉領(lǐng)域。另外，要提升大模型對(duì)于正確信念的堅(jiān)持能力。信念不堅(jiān)定的模型會(huì)出現(xiàn)“墻頭草”式的回答，即沒(méi)有明確立場(chǎng)，你告訴它”你錯(cuò)了”，它立即改口，你說(shuō)”2+2=4″是錯(cuò)誤的，它會(huì)說(shuō)”是的，我錯(cuò)了，2+2應(yīng)該等于5″。信念過(guò)于堅(jiān)定的大模型又會(huì)出現(xiàn)“死鴨子嘴硬”的問(wèn)題，即明確提示它回答錯(cuò)誤了，但它仍然堅(jiān)持不改。這兩種情況都是錯(cuò)誤的。在垂域的應(yīng)用中，我們希望大模型能夠意識(shí)到自己的錯(cuò)誤，既不動(dòng)搖自己的正確信念，又能夠避免死鴨子嘴硬式的知錯(cuò)不改問(wèn)題。

提升大模型的問(wèn)答領(lǐng)域問(wèn)題的能力

從大模型與外圍技術(shù)的協(xié)同角度來(lái)看，首先還需要進(jìn)一步優(yōu)化大模型的診斷和應(yīng)用評(píng)測(cè)。知識(shí)工場(chǎng)實(shí)驗(yàn)室最近發(fā)布了幾個(gè)跨學(xué)科的評(píng)測(cè)體系，這些評(píng)測(cè)體系旨在從大模型訓(xùn)練過(guò)程的診斷以及大模型的應(yīng)用效果兩個(gè)角度進(jìn)行評(píng)測(cè)。目前許多評(píng)測(cè)都是以應(yīng)用效果為導(dǎo)向，但實(shí)際上，面向診斷的評(píng)測(cè)也十分重要。我們需要建立訓(xùn)練大模型所需的數(shù)據(jù)集的評(píng)測(cè)基準(zhǔn)，需要通過(guò)評(píng)測(cè)建立大模型訓(xùn)練過(guò)程中的關(guān)鍵參數(shù)、模型架構(gòu)、數(shù)據(jù)配比的最佳實(shí)踐體系。此外，大模型的評(píng)測(cè)應(yīng)該從當(dāng)前最求標(biāo)準(zhǔn)評(píng)測(cè)數(shù)據(jù)集上的“高分”的單一目標(biāo)發(fā)展到兼顧解決實(shí)際問(wèn)題的“高能”的雙重目標(biāo)。這意味著評(píng)測(cè)不僅僅關(guān)注各類側(cè)重考察知識(shí)點(diǎn)掌握能力的考題評(píng)測(cè)，更要關(guān)注大模型解決實(shí)際復(fù)雜的決策問(wèn)題的能力。面向“高分高能”的大模型評(píng)測(cè)體系，是大模型評(píng)測(cè)主要發(fā)展方向。

優(yōu)化大模型的診斷和應(yīng)用評(píng)測(cè)

另外，還要進(jìn)一步提升大模型的數(shù)據(jù)治理能力。大模型在實(shí)際應(yīng)用中表現(xiàn)出的很多問(wèn)題，比如答案偏見(jiàn)、隱私泄露、版權(quán)侵犯、內(nèi)容違規(guī)、錯(cuò)誤觀念等等，最終均可以歸結(jié)到數(shù)據(jù)源頭的問(wèn)題。當(dāng)前的主流思路仍然是大模型能力煉制之后的事后優(yōu)化。這里需要指出的是，事后優(yōu)化難以從源頭上解決大模型的上述問(wèn)題。比如大模型的隱私泄露、版權(quán)侵犯、意識(shí)形態(tài)錯(cuò)誤，我們無(wú)法在結(jié)果層面百分百地保證其相應(yīng)安全性。大模型仍然存在一定的犯錯(cuò)概率，或者是難以預(yù)料的犯錯(cuò)情形，從而造成違背相關(guān)法律規(guī)范，帶來(lái)難以彌補(bǔ)的影響。因此，必須從數(shù)據(jù)源頭加強(qiáng)數(shù)據(jù)治理，開(kāi)展數(shù)據(jù)清洗、隱私識(shí)別、樣本糾偏、違規(guī)內(nèi)容清洗等的工作。有關(guān)部門應(yīng)積極推動(dòng)大模型訓(xùn)練數(shù)據(jù)集的標(biāo)準(zhǔn)與規(guī)范，進(jìn)行大模型訓(xùn)練數(shù)據(jù)集的合規(guī)性認(rèn)證，從數(shù)據(jù)源頭保障大模型產(chǎn)業(yè)的健康發(fā)展。

提升大模型的數(shù)據(jù)治理能力

總而言之，目前國(guó)產(chǎn)大模型研發(fā)中的主要問(wèn)題仍然在于缺乏數(shù)據(jù)治理系統(tǒng)與能力、評(píng)測(cè)偏離應(yīng)用需求。加大這兩個(gè)方面的研究力度，推動(dòng)這兩個(gè)問(wèn)題的解決，是近期推動(dòng)我國(guó)大模型產(chǎn)業(yè)向好發(fā)展的關(guān)鍵舉措。最后，仍然強(qiáng)調(diào)一下，通用大模型絕不能停留在類ChatGPT的開(kāi)放式聊天階段，必須盡快提升其解決實(shí)際問(wèn)題的能力，引導(dǎo)大模型發(fā)展成為助力我國(guó)各行業(yè)高質(zhì)量發(fā)展與數(shù)字化轉(zhuǎn)型的先進(jìn)生產(chǎn)力。

作者介紹

肖仰華

上海市數(shù)據(jù)科學(xué)重點(diǎn)實(shí)驗(yàn)室主任，復(fù)旦大學(xué)教授、博導(dǎo)，復(fù)旦大學(xué)知識(shí)工場(chǎng)實(shí)驗(yàn)室負(fù)責(zé)人、復(fù)旦-愛(ài)數(shù)認(rèn)知智能聯(lián)合研究中心主任