MoE大模型一鍵訓練！達觀大模型管理平臺新功能驚艷發(fā)布！
在當下MoE架構模型可能成為主流趨勢的背景下，達觀大模型管理平臺為了滿足用戶多樣化模型管理需求，此次帶來了2大內容更新，除了更大參數(shù)量級的70B曹植模型，更重量級的是上線全新曹植MoE模型，獨家支持在平臺上完成MoE大模型私有化部署、一鍵訓練，支持用戶對曹植MoE模型進行和常規(guī)模型同樣的SFT微調、模型量化（支持INT8、INT4、INT3、INT2）、封裝服務接口、Prompt指令定制等運維流程，曹植MoE模型相比Mixtral更優(yōu)的特點在于曹植MoE模型不光支持多語種，而且全面支持中文（Mixtral 8x7B不支持中文），并在中文場景做了針對性的訓練優(yōu)化，使得模型在長文本、多語種或眾多垂直場景中發(fā)揮出更優(yōu)、更強勁的性能。
曹植MoE模型全新上線
近年來，人工智能領域發(fā)展迅猛，基于Transformer或類Transformer架構的大模型在自然語言處理、圖像識別等任務中展現(xiàn)出了強大的性能，其中基于GPT-3.5（1750億參數(shù)）在chat場景微調的應用ChatGPT橫空出世、火爆全網(wǎng)、成功出圈，在多個層面上ChatGPT成為一個現(xiàn)象級別的人工智能應用。自 GPT-4 問世以來，人們一直驚艷于它強大的涌現(xiàn)能力，包括出色的語言理解能力、生成能力、邏輯推理能力等等，這些能力讓 GPT-4 成為機器學習領域最前沿的模型之一，然而，OpenAI 至今未公開 GPT-4 的任何技術細節(jié)，訓練單個擁有巨大參數(shù)（千億甚至萬億級別）的大模型需要耗費最大人力和財力，只有少數(shù)巨頭公司才有財力物力能夠獨立完成。
2023年6月，美國知名黑客George Hotz在接受一家名為 Latent Space 的 AI 技術播客的采訪時提到GPT-4其實是一個混合模型。具體來說，GPT-4 采用由 8 個專家模型組成的集成系統(tǒng)，每個專家模型都有 2200?億個參數(shù)，比 GPT-3.5 的 1750?億參數(shù)量略多一些，這么算來GPT-4 實際有8 x 220B = 1.76萬億參數(shù)，這些子模型經(jīng)過了針對不同數(shù)據(jù)和任務分布的訓練。
歷代gpt模型參數(shù)概覽
隨著MoE架構的嶄露頭角，我們看到了一種新的可能性，即通過組合多個中等規(guī)模的模型，同樣能夠達到更大模型的效果。最近在大模型開源社區(qū)中備受矚目的，除了采用與Gemini相同技術構建的Gemma，另一個備受關注的模型便是Mixtral 8x7B。這個由一家法國公司推出的新架構模型在推出后迅速引起了巨大的討論。
Mixtral 8x7B 是基于編碼器（Decoder-Only）架構的稀疏專家混合網(wǎng)絡（Sparse Mixture-Of-Experts，SMoE）開源大語言模型，使用 Apache 2.0?協(xié)議發(fā)布。它的獨特之處在于對于每個 token，路由器網(wǎng)絡選擇八組專家網(wǎng)絡中的兩組進行處理，并且將其輸出累加組合，因此雖然 Mixtral 8x7B 擁有總共 47B 的參數(shù)，但每個 token 實際上只使用13B的活躍參數(shù)，推理速度與13B模型相當。
Mixtral 8x7B 支持多種語言，包括法語、德語、西班牙語、意大利語和英語（注：Mixtral有個明顯弊端為不支持中文），支持的上下文長度為32K token，并且在所有的評估的基準測試中均達到或優(yōu)于 Llama-2-70B 和 GPT-3.5，特別是在數(shù)學、代碼生成和多語言基準測試中，Mixtral 大大優(yōu)于 Llama-2-70B。
Mixtral 8x7B性能測試
最令人矚目的是，Mixtral 8x7B用更少的參數(shù)量就達到了Llama 2和chatGPT3.5的水平。這一突破性的進展引發(fā)了業(yè)界的廣泛關注，許多專業(yè)人士紛紛表示，MoE架構的出現(xiàn)將在未來產生深遠的影響。既然MoE架構能力這么出眾，那么
MoE即Mixture of Experts-專家混合模型，2013年12月，第一篇提出在神經(jīng)網(wǎng)絡中應用MoE的論文是《Learning Factored Representations in a Deep Mixture of Experts》。2017年1月，Google Brain團隊發(fā)表論文《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》，真正意義上將MoE應用到超大參數(shù)規(guī)模模型之上。
MoE架構的核心思想是將模型分為若干個專家模塊，每個專家負責處理數(shù)據(jù)的一部分。而后，一個門控機制負責動態(tài)選擇哪個專家模塊應該負責當前輸入數(shù)據(jù)。這種模塊化的結構不僅有效減少了模型的參數(shù)規(guī)模，還提高了模型的靈活性和泛化能力。
路由策略有兩種：token選擇路由器或路由器選擇token。
路由器使用softmax門控函數(shù)通過專家或token對概率分布進行建模，并選擇前k個。
-
每個專家都可以專門處理不同的任務或數(shù)據(jù)的不同部分。
-
MoE構架能向LLM添加可學習參數(shù)，而不增加推理成本。
-
可以利用稀疏矩陣的高效計算
-
并行計算所有專家層，以有效利用GPU的并行能力
-
幫助有效地擴展模型并減少訓練時間。以更低的計算成本獲得更好的結果！
與傳統(tǒng)的單一大模型相比，MoE架構具有更好的可擴展性。由于專家模塊的獨立性，可以方便地增加或減少專家的數(shù)量，從而靈活應對不同規(guī)模和復雜度的任務。這使得MoE模型在適應各種場景時更加高效，成為了許多研究者和工程師關注的焦點。
MoE架構的興起也意味著開源社區(qū)將迎來新的發(fā)展契機。在MoE模型的基礎上，開發(fā)者可以更輕松地構建適應特定任務的模型，從而加速人工智能技術的傳播和落地。這將推動人工智能技術的普及化，使更多行業(yè)和領域受益于其應用。
在當前的技術發(fā)展趨勢下，MoE架構很可能在2024年成為主流。Mixtral 8x7B的成功表明，MoE架構能夠在不損失性能的前提下，顯著降低訓練和推理的資源成本。除了Mixtral 8x7B，還有許多其他公司和研究機構也在積極探索MoE架構的潛力。隨著對該技術的深入理解和不斷改進，MoE模型將逐漸取代傳統(tǒng)的大型模型，成為各類應用領域的首選。
LLMP實現(xiàn)曹植MoE模型全流運維實踐
用戶可在達觀大模型管理平臺LLMP上完成MoE模型微調的數(shù)據(jù)集管理、模型SFT微調，服務封裝上線、Prompt指令自定義等運維流程。
數(shù)據(jù)集管理
達觀大模型管理平臺LLMP是一款可為各種類GPT模型提供模型優(yōu)化的全方位工具。它以降低模型優(yōu)化門檻、提高用戶體驗為目標，為企業(yè)用戶提供了一站式的模型管理解決方案。
與傳統(tǒng)的大模型優(yōu)化相比，“曹植”平臺以零門檻優(yōu)化為特色。用戶無需具備深厚的編碼技能，只需簡單的幾步操作，即可完成對模型效果的優(yōu)化。這一特點使得即便非專業(yè)人員也能輕松上手，實現(xiàn)模型的快速、高效管理。
平臺支持用戶根據(jù)業(yè)務需求，靈活進行模型訓練。用戶可以使用歷史優(yōu)質、合規(guī)的專業(yè)內容構建訓練數(shù)據(jù)集，選擇基礎模型及版本、模型訓練方式和數(shù)據(jù)集，輕松調整訓練參數(shù)。這一靈活性使得模型更好地適應不同應用場景需求。
“曹植”平臺注重用戶體驗，提供了手把手式的引導。用戶只需按流程輕松點選基礎模型及版本、模型訓練方式及訓練數(shù)據(jù)集，快速調整訓練參數(shù)，就能完成模型微調配置并上線全新服務。這一引導方式減少了用戶在操作過程中的迷茫感，使得模型管理更為直觀。
平臺允許用戶根據(jù)業(yè)務需求自定義prompt指令，供上層業(yè)務應用調用。這使得模型輸出更為貼合實際需求的優(yōu)質內容，進一步提高了模型在特定業(yè)務場景下的適應性。
“曹植”平臺可與其他專業(yè)領域模型結合，采用最前沿的RAG技術，支持從大量文檔、圖片、表格中挖掘、分析和提煉內容，使得大語言模型輸出內容更為專業(yè)、深度。這一特性讓企業(yè)用戶更加輕松獲取專業(yè)領域的知識。
模型訓練
通過提供這一系列、全方位的功能和特性，“曹植”大模型管理平臺成為一款強大的大語言模型運營和管理工具，為企業(yè)用戶在知識對話、智能寫作、文本生成領域帶來了更高效、更便捷的模型管理體驗。
