此內(nèi)容來自復(fù)旦-達(dá)觀金融垂域應(yīng)用大模型校企聯(lián)合研究中心研究成果

近期，大型語言模型如GPT-4和LLaMa等，在自然語言處理領(lǐng)域各項(xiàng)任務(wù)中展現(xiàn)了驚人的實(shí)力。這些模型憑借其強(qiáng)大的知識(shí)存儲(chǔ)和上下文理解能力，其優(yōu)異性能已廣泛滲透至金融、法律、醫(yī)療等多個(gè)專業(yè)領(lǐng)域。在構(gòu)建這些大模型的過程中，指令微調(diào)技術(shù)扮演了核心角色，它通過利用有監(jiān)督的數(shù)據(jù)集對(duì)模型進(jìn)行精調(diào)，助力模型從簡(jiǎn)單的文本續(xù)寫向復(fù)雜任務(wù)解答的躍遷。

然而，受制于特定領(lǐng)域的數(shù)據(jù)量和計(jì)算資源限制，指令微調(diào)往往需要借助參數(shù)高效的微調(diào)策略，LoRA（低秩適配器）方法應(yīng)運(yùn)而生，它通過為原始模型引入可分解的低參數(shù)旁路，實(shí)現(xiàn)了模塊化改造及性能的全面提升，并具備了簡(jiǎn)便易用的“即插即用”特性。與此同時(shí)，來自不同來源的數(shù)據(jù)在多樣性和質(zhì)量上存在差異，而如何合理配置不同數(shù)據(jù)量的比例在先前的研究中并未得到充分探討。這進(jìn)一步加劇了LoRA適配器選擇和數(shù)據(jù)選擇的問題，使其成為一個(gè)亟待解決的關(guān)鍵挑戰(zhàn)。因此，探索一種能夠同時(shí)優(yōu)化LoRA選擇和數(shù)據(jù)選擇策略的方法，以保持?jǐn)?shù)據(jù)在語義空間中的連續(xù)性和關(guān)聯(lián)性，成為了提升混合專家模型性能的重要研究方向。這要求我們不僅要關(guān)注適配器的訓(xùn)練過程，還要重視數(shù)據(jù)預(yù)處理和選擇機(jī)制，以確保模型能夠在面對(duì)復(fù)雜多變的任務(wù)時(shí)，依然能夠保持高效和準(zhǔn)確的性能表現(xiàn)。

為了填補(bǔ)現(xiàn)有研究的空白，我們提出了自適應(yīng)語義空間學(xué)習(xí)框架(Adaptive Semantic Space Learning, ASSL)，并通過金融多任務(wù)數(shù)據(jù)集訓(xùn)練了一個(gè)名為“銀瞳” (SilverSight) 的金融多任務(wù)大語言模型，模型在推理階段能夠根據(jù)問題自適應(yīng)選擇最優(yōu)專家進(jìn)行回答，如圖1所示。

圖1?“銀瞳”金融多任務(wù)大模型流程示意

ASSL框架利用多任務(wù)訓(xùn)練數(shù)據(jù)在語義空間中的相似性進(jìn)行聚類，從而摒棄了對(duì)訓(xùn)練數(shù)據(jù)任務(wù)類型的預(yù)定義。實(shí)驗(yàn)結(jié)果表明，與基于預(yù)設(shè)任務(wù)類型的分類方法相比，我們的方法具有較為顯著的優(yōu)勢(shì)，確保了每個(gè)專家模型能夠被分配到與其最相關(guān)的下游任務(wù)中。此外，通過利用語義空間的相似性，我們的方法能夠聚合互補(bǔ)任務(wù)的多種數(shù)據(jù)，從而在相關(guān)任務(wù)上提升模型性能。

在ASSL框架下，我們?cè)诿總€(gè)聚類中采用基于模型自我進(jìn)化的數(shù)據(jù)重分布策略，進(jìn)行自適應(yīng)的數(shù)據(jù)挑選。通過兩階段的數(shù)據(jù)自適應(yīng)篩選，我們確保了用于訓(xùn)練每個(gè)LoRA專家的少量數(shù)據(jù)具備高質(zhì)量、高覆蓋率以及高必要性。在原始數(shù)據(jù)質(zhì)量及數(shù)量分布不均的情況下，ASSL框架通過考慮語義空間分布密度和模型自反饋機(jī)制，對(duì)每個(gè)LoRA的訓(xùn)練數(shù)據(jù)進(jìn)行自適應(yīng)篩選。這種方法使得模型能夠?qū)﹂L(zhǎng)尾分布中的頭部相似性數(shù)據(jù)和尾部小樣本數(shù)據(jù)進(jìn)行更均衡的擬合，從而提高了模型在多樣任務(wù)上的泛化能力和性能表現(xiàn)。

我們從金融領(lǐng)域的23個(gè)不同來源收集了22萬條中文金融微調(diào)數(shù)據(jù)，并將這些數(shù)據(jù)分類為情感分析、金融問答、文本生成、金融選擇題等多個(gè)任務(wù)類型?；谶@些實(shí)驗(yàn)數(shù)據(jù)，我們得出以下主要發(fā)現(xiàn)：

01

通過利用語義空間中的相似性進(jìn)行聚類，我們能夠識(shí)別出相互促進(jìn)和存在沖突的訓(xùn)練任務(wù)。采用多個(gè)專家模型分別針對(duì)特定領(lǐng)域任務(wù)進(jìn)行學(xué)習(xí)，可以使得每個(gè)專家專注于其擅長(zhǎng)的領(lǐng)域，實(shí)現(xiàn)“各司其職”的效果。

02

結(jié)合數(shù)據(jù)在語義空間中的密度分布和模型自身對(duì)訓(xùn)練數(shù)據(jù)的需求，我們能夠有效地對(duì)數(shù)據(jù)進(jìn)行語義平滑重分布。這種方法使得整個(gè)系統(tǒng)能夠在僅使用10%的數(shù)據(jù)進(jìn)行微調(diào)的情況下，達(dá)到與使用全量數(shù)據(jù)進(jìn)行微調(diào)相似的效果。

03

通過對(duì)聚類內(nèi)部的數(shù)據(jù)進(jìn)行分布平滑處理，我們利用聚類內(nèi)數(shù)據(jù)嵌入的質(zhì)心作為L(zhǎng)oRA專家的嵌入，從而實(shí)現(xiàn)了LoRA選擇的最優(yōu)化。
核心算法模型

自適應(yīng)語義空間學(xué)習(xí)框架

我們提出了一種名為ASSL (自適應(yīng)語義空間學(xué)習(xí)) 的框架，該框架旨在實(shí)現(xiàn)對(duì)LoRA專家及 其數(shù)據(jù)自適應(yīng)選擇的功能。框架示意如圖2所示，它確保了每個(gè)專家能夠發(fā)揮最佳性能，并使整個(gè)系統(tǒng)在多任務(wù)集合上擁有卓越的表現(xiàn)。本節(jié)將詳細(xì)闡述框架的兩個(gè)核心組 成部分，即如何通過數(shù)據(jù)在語義空間的重新分布來統(tǒng)一實(shí)現(xiàn)專家以及數(shù)據(jù)之間的自適應(yīng)選擇。

圖2 自適應(yīng)語義空間學(xué)習(xí)框架

1.1 LoRA專家的自適應(yīng)選擇
在處理LoRA專家的自適應(yīng)選擇時(shí)，我們的目標(biāo)是優(yōu)化數(shù)據(jù)劃分以避免任務(wù)間的潛在沖突，并確保對(duì)于每個(gè)輸入，都能匹配到最擅長(zhǎng)處理該類問題的專家。這一目標(biāo)主要分為兩個(gè)方面：（1）如何更有效地訓(xùn)練多任務(wù)指令；（2）如何根據(jù)用戶輸入選擇最合適的LoRA專家。

首先，使用句子編碼器Emb(·)對(duì)每條指令及其輸入數(shù)據(jù)的拼接Ins ⊕ Inp 進(jìn)行編碼，獲得所有數(shù)據(jù)在同一語義空間中的嵌入向量。我們采用K-Means聚類方法將語義空間中相近的句子聚集成K 類，以此來優(yōu)化任務(wù)的數(shù)據(jù)劃分。聚類過程可以通過以下公式表示：

其中，X表示所有數(shù)據(jù)點(diǎn)的集合，Ci 是第i 個(gè)聚類中的數(shù)據(jù)點(diǎn)集合，而μi是第i 個(gè)聚類的質(zhì)心。通過實(shí)驗(yàn)證明，與混合任務(wù)訓(xùn)練以及按預(yù)定義標(biāo)簽進(jìn)行劃分訓(xùn)練的方式相比，這種基于語義的聚類訓(xùn)練法能夠顯著提升系統(tǒng)性能。針對(duì)每個(gè)LoRA專家，我們選擇其聚類的質(zhì)心作為該專家的語義嵌入，每個(gè)聚類的質(zhì)心μi 是聚類中所有點(diǎn)語義嵌入的平均位置，計(jì)算公式如下：

其中，Ci 是第i 個(gè)聚類中的數(shù)據(jù)點(diǎn)集合，而|Ci| 表示集合Ci 中元素的數(shù)量。μi 代表聚類i中所有點(diǎn)的均值，即該聚類的質(zhì)心。每當(dāng)有用戶輸入時(shí)，系統(tǒng)通過以下公式尋找與用戶輸入語義嵌入最接近的專家進(jìn)行響應(yīng)：

這里，Emb(x) 是用戶輸入的嵌入向量，Emb(e) 是專家的語義嵌入向量，而e ? 則是被選中的專家。通過此種匹配方式，系統(tǒng)能夠在語義空間中找到與訓(xùn)練任務(wù)最匹配的專家。

1.2 多源異構(gòu)數(shù)據(jù)的自適應(yīng)選擇
在本章中，我們討論如何對(duì)多任務(wù)有監(jiān)督數(shù)據(jù)進(jìn)行聚類，以隔離相互沖突的任務(wù)并聚集相互增強(qiáng)的任務(wù)。雖然這種方法有效地解決了任務(wù)間的沖突，但它也引入了新的挑戰(zhàn)，如數(shù)據(jù)配比失衡和質(zhì)量不一，特別是長(zhǎng)尾數(shù)據(jù)分布的問題。為了解決這些問題，我們?yōu)槊總€(gè)聚類設(shè)計(jì)了一個(gè)兩階段的數(shù)據(jù)重分布操作，目的是在保持少量數(shù)據(jù)集上進(jìn)行有效微調(diào)的同時(shí)，達(dá)到比擬全數(shù)據(jù)集微調(diào)的效果，具體流程見圖3。

圖3 自適應(yīng)語義空間數(shù)據(jù)重分布流程

在第一階段，針對(duì)聚類簇中數(shù)據(jù)失衡的問題，我們基于DBSCAN算法設(shè)計(jì)了一種自適應(yīng)調(diào)整的A-DBSCAN算法，對(duì)每個(gè)聚類中的數(shù)據(jù)進(jìn)行嵌套聚類。該算法可以根據(jù)數(shù)據(jù)密度在不同區(qū)域中動(dòng)態(tài)調(diào)整連通數(shù)量。具體實(shí)現(xiàn)步驟如下：首先，算法通過K-最近鄰算法(K-Nearest Neighbor, KNN) (Peterson, 2009)距離計(jì)算框架來評(píng)估數(shù)據(jù)點(diǎn)在語義空間中的局部密度。每個(gè)數(shù)據(jù)點(diǎn)的局部密度為其至最近的k個(gè)鄰居的平均距離的倒數(shù)，其數(shù)學(xué)表達(dá)式為：

其中，d(xi, xij )表示數(shù)據(jù)點(diǎn)xi與其第j個(gè)最近鄰居xij之間的距離。隨后，算法根據(jù)計(jì)算得到的局部密度值將數(shù)據(jù)點(diǎn)進(jìn)行排序，形成一個(gè)優(yōu)先隊(duì)列，優(yōu)先處理局部密度較高的數(shù)據(jù)點(diǎn)。在每次迭代中，選取隊(duì)列中局部密度最高的點(diǎn)作為起始點(diǎn)，圍繞此點(diǎn)進(jìn)行簇的生成。在自適應(yīng)過程中，算法利用隊(duì)列中所有數(shù)據(jù)點(diǎn)KNN距離的中位數(shù)定義鄰域半徑ε。同時(shí)，啟發(fā)式地將鄰域節(jié)點(diǎn)數(shù)MinPts的初始值設(shè)置為：

其中，ρmax表示全局最大局部密度，即初始優(yōu)先隊(duì)列中第一個(gè)數(shù)據(jù)點(diǎn)的局部密度。在每個(gè)簇形成后，MinPts根據(jù)以下公式進(jìn)行更新，以適應(yīng)當(dāng)前的局部密度環(huán)境：此處，ρcurrent表示當(dāng)前優(yōu)先隊(duì)列中第一個(gè)點(diǎn)的局部密度。這種動(dòng)態(tài)調(diào)整策略使得算法能夠更靈活地適應(yīng)不同密度的數(shù)據(jù)分布，提高聚類的準(zhǔn)確性和效率。同時(shí)，這一策略允許我們?cè)诿總€(gè)子簇中平均選取數(shù)據(jù)量，同時(shí)過濾掉不連通的噪聲點(diǎn)，有效地對(duì)高密度數(shù)據(jù)進(jìn)行下采樣，對(duì)低密度數(shù)據(jù)進(jìn)行上采樣，從而避免過擬合和欠擬合。在第二階段，我們利用第一階段篩選出的少量數(shù)據(jù)對(duì)模型進(jìn)行初步的LoRA微調(diào)。參考先前的研究，大語言模型在微調(diào)階段主要學(xué)習(xí)新的語言風(fēng)格分布，而難以獲得新的領(lǐng)域知識(shí)。因此，我們考慮數(shù)據(jù)與大模型自身知識(shí)的沖突情況，根據(jù)初步訓(xùn)練前后大模型對(duì)未選數(shù)據(jù)的得分差異，設(shè)計(jì)了兩種得分機(jī)制來評(píng)估每條數(shù)據(jù)對(duì)當(dāng)前模型的價(jià)值。差異得分和比例得分分別定義為：其中，ScoreRaw(x)以及ScoreLoRA(x)通過Rouge方法計(jì)算。此外，為了確保 新選數(shù)據(jù)的質(zhì)量和對(duì)整個(gè)聚類簇的覆蓋度，受啟發(fā)于MMR公式，我們?cè)O(shè)計(jì)了訓(xùn)練數(shù)據(jù)的效用函數(shù)：其中，μ 代表聚類中心點(diǎn)，dnew 代表待加入的數(shù)據(jù)點(diǎn)，Dselected 表示已經(jīng)被選中的數(shù)據(jù)點(diǎn)集合，λ1，λ2 和λ3 是三個(gè)可設(shè)定的權(quán)重參數(shù)，用于調(diào)整相似度、多樣性和模型得分對(duì)最終數(shù)據(jù)點(diǎn)效用值的貢獻(xiàn)。經(jīng)過兩階段的數(shù)據(jù)篩選，每個(gè)聚類中的數(shù)據(jù)將在語義空間中進(jìn)行重分布，從而促使模型學(xué)習(xí)那些罕見但有益的數(shù)據(jù)，避免在常見數(shù)據(jù)集上產(chǎn)生過擬合現(xiàn)象。

實(shí)驗(yàn)

實(shí)驗(yàn)數(shù)據(jù)

我們從金融領(lǐng)域23個(gè)不同的來源收集了約22萬條中文金融微調(diào)數(shù)據(jù)，并將這些數(shù)據(jù)分類為情感分析、金融問答、金融問答等7類任務(wù)，具體介紹如下表。同時(shí)，我們使用CFLEB和FinEval 評(píng)測(cè)集作為評(píng)估工具，旨在評(píng)估大語言模型在金融領(lǐng)域的知識(shí)儲(chǔ)備、指令跟隨及任務(wù)執(zhí)行能力。

CFLEB評(píng)測(cè)集是利用公開的研報(bào)及新聞等項(xiàng)目構(gòu)建的高質(zhì)量、高實(shí)用性的評(píng)測(cè)基準(zhǔn)，包含了六種自然語言處理任務(wù)，衡量金融領(lǐng)域模型在情感分析、問答、摘要生成、信息抽取、語義匹配等方面理解與生成的全面能力。

FinEval評(píng)測(cè)集是針對(duì)金融領(lǐng)域知識(shí)評(píng)估而設(shè)計(jì)的一套全面數(shù)據(jù)集，包含了共4661道選擇題。這些題目覆蓋了34個(gè)不同的學(xué)術(shù)領(lǐng)域，如金融學(xué)、保險(xiǎn)學(xué)、宏觀經(jīng)濟(jì)學(xué)和稅法等，主要分為四大類別：金融、經(jīng)濟(jì)、會(huì)計(jì)以及資格證考試，以全面測(cè)試大型模型對(duì)金融領(lǐng)域通用知識(shí)的掌握程度，評(píng)估其在金融專業(yè)領(lǐng)域內(nèi)的先進(jìn)知識(shí)與實(shí)際應(yīng)用能力。

表1 微調(diào)數(shù)據(jù)集統(tǒng)計(jì)

實(shí)驗(yàn)結(jié)果

DATAGRAND表2與表3展示了我們對(duì)“銀瞳”大型模型進(jìn)行的評(píng)測(cè)實(shí)驗(yàn)結(jié)果。在針對(duì)CFLEB數(shù)據(jù)集的評(píng)測(cè)中，我們注意到FinFE、FinQA、FinNA、FinRE的指標(biāo)與FinNSP1、FinNSP2的指標(biāo)之間存在一定的矛盾，往往表現(xiàn)出此消彼長(zhǎng)的趨勢(shì)。然而，我們采用的多專家方法有效地緩解了這種偏差，幾乎所有指標(biāo)都超越了采用混合數(shù)據(jù)訓(xùn)練的SilverSight-mix模型。此外，我們的方法僅使用總量10%的數(shù)據(jù)，就能達(dá)到與全數(shù)據(jù)微調(diào)模型相媲美的測(cè)試成績(jī)，在平均分?jǐn)?shù)上只有1%的差距，在FinNSP2任務(wù)上的F1指標(biāo)甚至為全數(shù)據(jù)微調(diào)模型的2倍。同時(shí)，我們發(fā)現(xiàn)對(duì)每個(gè)聚類進(jìn)行全數(shù)據(jù)微調(diào)的模型，在CFLEB數(shù)據(jù)集上的表現(xiàn)相較于全數(shù)據(jù)微調(diào)模型有所提升，這充分證明了ASSL框架的有效性。

為驗(yàn)證該LoRA自適應(yīng)挑選算法的有效性， 我們對(duì)于聚類后的六個(gè)LoRA專家逐一在CFLEB數(shù)據(jù)集和FinEval數(shù)據(jù)集上進(jìn)行測(cè)試，如表2與表3所示。實(shí)驗(yàn)結(jié)果顯示，LoRA自適應(yīng)挑選算法在每個(gè)任務(wù)上的表現(xiàn)和在該任務(wù)上表現(xiàn)最出色的單個(gè)LoRA專家相近，證明大多數(shù)時(shí)候這種LoRA自適應(yīng)挑選算法均能挑選到最合適的LoRA專家回答問題。

表2 CFLEB的評(píng)估結(jié)果：All-data表示使用我們收集的所有數(shù)據(jù)訓(xùn)練的單個(gè)模型，Clusterdata表示使用所有聚類數(shù)據(jù)訓(xùn)練的多專家系統(tǒng)，SilverSight-mix表示使用所有過濾數(shù)據(jù)訓(xùn)練的單一模型。

表3FinEval的評(píng)估結(jié)果：泛化性驗(yàn)證