機器之心原創(chuàng)
作者：吳昕
大模型最讓人印象深刻的是它們的「涌現(xiàn)」行為，數(shù)以萬計的二進制計算決策融合成一種仿佛人類的理解力和創(chuàng)造力，讓金融行業(yè)看到開發(fā)一個專注金融的語言大模型的巨大價值。
近半年時間，素來以新技術(shù)最早采用者著稱的金融機構(gòu)以及科技公司紛紛下場：
3 月，美國彭博正式發(fā)布百億級語言大模型 BloombergGPT；
5 月，度小滿推出國內(nèi)首個千億級中文金融大模型「軒轅」；
6 月，開源金融大模型貔貅（PIXIU) 、聚寶盆（Cornucopia）接踵而至
9 月 8 日，螞蟻集團在外灘大會上正式發(fā)布工業(yè)級金融大模型（AntFinGLM) ，同時開放了金融專屬任務(wù)評測集「Fin-Eval」。
該測試集從五大維度（認知、生成、專業(yè)知識、專業(yè)邏輯、安全性）28 類金融專屬任務(wù)評估了金融大模型能力，結(jié)果大幅超過當(dāng)前主流通用大模型。在「研判觀點提裙、「金融意圖理解」、「金融事件推理」任務(wù)上，金融大模型已經(jīng)達到專家平均水平。
巨頭做大模型一定會和自己過往的業(yè)務(wù)深度融合。除了模型層，螞蟻集團也發(fā)布了兩個金融大模型的產(chǎn)業(yè)應(yīng)用。
用戶端的支小寶（2.0）是國內(nèi)首個應(yīng)用大模型技術(shù)的智能理財助理。內(nèi)測近半年，完成備案工作后上線。
產(chǎn)業(yè)端的「支小助」（類似金融版 Copilot）也是螞蟻集團首個基于金融大模的面向產(chǎn)業(yè)的生產(chǎn)力工具。
一、金融大模型：屹立在萬億 Token 上的「知識力」
通用大模型缺少金融領(lǐng)域的專業(yè)力、知識力、語言力以及安全力，金融大模型實現(xiàn)落地行業(yè)是一個復(fù)雜化的系統(tǒng)工程，需要將「四力」形成合力。螞蟻集團金融行業(yè)大模型負責(zé)人王曉航在發(fā)布會上講到。
螞蟻金融大模型具有「四力」，知識力、語言力、專業(yè)力和安全力
所謂知識力，主要是指金融大模型的底座能力，模型規(guī)模只有足夠大（通常百億以上），才會有「涌現(xiàn)」現(xiàn)象的出現(xiàn)。預(yù)訓(xùn)練大模型則需要海量數(shù)據(jù)。
從目前公開的數(shù)據(jù)來看，BloombergGPT 的通用數(shù)據(jù)集包含 3454 億個 Token，金融領(lǐng)域數(shù)據(jù)集由彭博在過去四十年的商業(yè)經(jīng)營中積累而來，共包含 3635 億個 Token。
國內(nèi)金融大模型「軒轅」（2.0）使用了自身業(yè)務(wù)中積累的金融領(lǐng)域的 13B（130 億） Token。恒生電子 Light-GPT 利用了超過 4000 億個 Token 的金融領(lǐng)域數(shù)據(jù)。
螞蟻金融大模型，在萬億量級 Token 通用語料基礎(chǔ)上，注入了千億量級 Token 金融知識 包括全網(wǎng)公開的金融行業(yè)語料約 5000 億 Token 以及螞蟻獨家金融語料約 279 億 Token，行業(yè)領(lǐng)先。
就國內(nèi)數(shù)據(jù)市場而言，我國政府?dāng)?shù)據(jù)資源占全國數(shù)據(jù)資源比重超過 3/4，但開放規(guī)模不足美國的 10%，個人和企業(yè)可資利用的規(guī)模更是不及美國的 7%。在此背景下，具有私域?qū)傩缘男袠I(yè)數(shù)據(jù)的重要性就更為凸顯。螞蟻有著多年保險、理財、信貸平臺經(jīng)驗，在金融大模型布局上擁有先天優(yōu)勢。
「小模型時代，螞蟻就積累了深厚的數(shù)據(jù)資產(chǎn)和產(chǎn)業(yè) AI 的 know-how�！刮浵伡瘓F金融行業(yè)大模型負責(zé)人王曉航在大會上講到，他也多次提到了螞蟻的金融知識工程。
如果說大模型是一個參數(shù)化的知識力容器，那么，知識圖譜就是另一種基于符號機制的知識力容器。對螞蟻金融大模型來說，兩種知識力形成互補，缺一不可，金融知識圖譜能夠指導(dǎo)大模型對金融行業(yè)進行正確精準的認知，提高其理解、推理決策的能力。
過去幾年，螞蟻的金融科技團隊在金融知識工程上做了大量投入。例如，支小寶團隊基于一些研報、新聞、大 V 資訊以及高質(zhì)量權(quán)威合作數(shù)據(jù)源和數(shù)據(jù)庫，通過合作的一些業(yè)務(wù)專家和策略專家，對于領(lǐng)域?qū)I(yè)知識進行了提煉和萃取，形成了一個標準化基礎(chǔ)知識層。算法工程師在此基礎(chǔ)上做了一些領(lǐng)域知識的關(guān)聯(lián)和整合，嘗試建構(gòu)金融現(xiàn)象之間的因果邏輯，構(gòu)建形成匹配金融專業(yè)要求的知識圖譜、資產(chǎn)圖譜和事理圖譜等機器可讀可用的數(shù)字資產(chǎn)。
以支小寶（2.0）為例，背后注入了金融資訊和百科 420 萬 +，金融圖譜覆蓋保險 3000 + 險種 / 2 萬 + 常規(guī)藥 / 7000 + 常見病和幾十種就醫(yī)方式等萬級實體和 50 萬 + 關(guān)系，金融行業(yè) / 板塊 / 機構(gòu) / 產(chǎn)品 / 管理人 / 資訊等 200 萬 + 實體和 1100 萬 + 關(guān)系，金融數(shù)據(jù)、公開信息和條款存儲量達到億級。
不過，高質(zhì)量數(shù)據(jù)集和知識圖譜還只是金融大模型的「知識力」來源，大模型的業(yè)務(wù)「能力」離不開螞蟻「從 300 + 真實產(chǎn)業(yè)場景中提取了共 60 萬 + 高質(zhì)量指令數(shù)據(jù)」（貔貅 PIXIU 指令集為 13.6 萬）。
金融大模型包括三個部分：上游是預(yù)訓(xùn)練語言模型；下游是針對通用任務(wù)或特定任務(wù)的微調(diào)。最后要與人類對齊，基于人類反饋進行強化學(xué)習(xí)。當(dāng)我們用足夠多的高質(zhì)量指令集對它進行微調(diào)后，大模型才能很好地勝任金融任務(wù)，包括從未見過的任務(wù)。
當(dāng)談到與金融大模型相伴的數(shù)據(jù)安全與隱私問題時，金融大模型智能算法負責(zé)人陳鴻告訴我們，用戶的隱私數(shù)據(jù)在語料當(dāng)中會被全部清洗掉，避免用戶個人信息或者任何能識別出可聯(lián)想身份的信息進入大模型的訓(xùn)練環(huán)節(jié)，對大模型來講，它里面不會壓入任何用戶的私人數(shù)據(jù)。
安全部分，我們也做得比較嚴格。他強調(diào)說，不止是訓(xùn)練數(shù)據(jù)從入庫起的每一個環(huán)節(jié)都會做清洗和過濾，我們還做了對抗樣本的技術(shù)去訓(xùn)練模型識別這些有害內(nèi)容，有害內(nèi)容攔截率現(xiàn)在已經(jīng)到 99% 以上。
二、出色的「語言力」，巴菲特為什么減持比亞迪？
金融大模型一定要有「語言力」，作為認知和交互的「中樞」，不僅要對用戶的金融情感、金融意圖，明察秋毫，還要善于總結(jié)歸納行業(yè)資訊，推理分析行業(yè)事件。
金融情緒有自己的特定屬性。比如一些特定行情事件發(fā)生后，對于持有一些風(fēng)險資產(chǎn)的人來說，這是個好消息，他可能會很興奮。但對于一些持有債券、黃金資產(chǎn)的人來說，反而是個壞消息，不會很開心。
金融大模型有一個很重要的涌現(xiàn)能力 In-Context Learning，給到幾個例子，不需要調(diào)整模型參數(shù)，它就能夠很好地勝任這些情緒識別任務(wù)。螞蟻金融大模型的情緒識別準確率已經(jīng)超過 90%。
過去做金融意圖識別，讓器聽懂用戶要什么，難度很大。
理財對話往往具有很強的時序、連續(xù)性和歷史性，用戶提問「招商銀行怎么樣？」，很可能在此之前已經(jīng)討論過相關(guān)內(nèi)容。要想聽懂用戶要求，機器還得有一副好記性，還要能理解上下文。
如果遇到「我要 A、B、C 這三個基金，不要 D、E、F」這樣的訴求，機器還得具備邏輯能力，否則只會一股腦兒地將用戶提及的六只基金全拋給對方。但是給機器引入邏輯符號也是一件比較困難的事情。
現(xiàn)在，用足夠多的高質(zhì)量指令集進行微調(diào)后，螞蟻金融大模型已經(jīng)掌握金融意圖的識別，識別準確率達到 95%，達到了專家平均水平。即使從未見過的任務(wù)，也能勝任。
最有意思的是螞蟻金融大模型甚至可以像投研專家一樣解讀行業(yè)事件。比如，「巴菲特為什么減持比亞迪？」
它會先從巴菲特的投資哲學(xué)、注重什么樣的策略開始，然后分析他在投資界的影響力、比亞迪的業(yè)務(wù)、過去幾年的財務(wù)狀況等，接著分析巴菲特買入 / 賣出的時點、價格、原因。歷經(jīng)二十多個推理環(huán)節(jié)，最后輸出它的解讀：「減持原因可能是基于對股票價格與內(nèi)在價值的判斷和風(fēng)險管理的考慮」，并做出詳細解釋。
傳統(tǒng)方法難以數(shù)學(xué)建模的這么復(fù)雜的分析過程�，F(xiàn)在，螞蟻通過「仿金融專家多智能體協(xié)同推理」機制，實現(xiàn)了媲美人類投研專家的水平。
大模型其實本來就有「一人分飾 N 角」能力，可以用不同人設(shè) prompt 召喚出它們。采用 AI Agent 的建模思路，螞蟻讓大模型派生出四個工作小組 計劃組、執(zhí)行組、表達組和評價組 執(zhí)行不同任務(wù)，就像將一個大命題分拆成幾個小的問題。只要業(yè)務(wù)有需要，每個小組還可以繼續(xù)像這樣被分拆，派生更多智能體。這些智能體協(xié)同作業(yè)，如同一個作戰(zhàn)集群，可以快速跑出答案，給到用戶。
當(dāng)然，這里需要補充解釋什么是「專家平均水平」？金融數(shù)據(jù)的標注需要專業(yè)人員來做。在螞蟻集團，通常是兩個專業(yè)人員打標，第三個人（專家）負責(zé)核實 ground truth（比如某個內(nèi)容到底是不是合規(guī)）。螞蟻金融大模型在某些任務(wù)上的識別精度已經(jīng)達到這樣的專家水平，高于負責(zé)打標的專業(yè)人員的平均水平。
三、「專業(yè)力」：調(diào)用工具，給你選基
所謂專業(yè)力，其實是指大模型調(diào)用螞蟻的「存貨」工具，完成復(fù)雜金融任務(wù)的能力。
除了意圖識別，螞蟻金融大模型有工具理解能力。你用自然語言講清楚它做什么，然后舉一些例子，大模型就可以學(xué)會將用戶意圖轉(zhuǎn)換成一系列的 API 調(diào)用，完成更加復(fù)雜場景下的應(yīng)用。
螞蟻長達十年的積累，平臺上有完備的數(shù)字化金融工具矩陣，螞蟻金融大模型可通過理解用戶語言，精準調(diào)用螞蟻體系內(nèi)的這些專業(yè)工具，給用戶提供相應(yīng)專業(yè)服務(wù)。理財側(cè)包括理財選品、產(chǎn)品評測、行情解讀、資產(chǎn)配置等 6 大類服務(wù)。保險側(cè)包括產(chǎn)品解讀、家庭配置、智能核賠、智能理賠等 10 多個智能服務(wù)。
舉個栗子。你說「幫我挑一只白酒基金」，大模型會先做一個行業(yè)研判（背后調(diào)用行業(yè)研判的 API）了解白酒行業(yè)。接著，它要選擇相關(guān)的基金（調(diào)用條件選基的 API）。金融大模型還會針對用戶的個人風(fēng)險偏好、預(yù)期回報，做必要的投教信息輸出（投教 API），最后形成一個完整閉環(huán)服務(wù)：根據(jù)用戶指令分析相應(yīng)的基金，將要點信息發(fā)給用戶，并根據(jù)行情給用戶一些風(fēng)險提示。
如果用戶后續(xù)反饋白酒基金怎么又跌了，金融大模型可能會調(diào)用并組合產(chǎn)品研判（API）、圖表生成（API）、投教（API）以及持倉診斷（API），給到用戶完整的服務(wù)。
「這里的核心還是在做 NL2API 的事情，將自然語言翻譯為合適的 API 調(diào)用�！龟慀櫿f，大模型有代碼生成能力，可以寫 Python，SQL，自然也能寫 JSON，生成字符串給到下游工具 API。
相比之下，原來的技術(shù)做法就很機械，螞蟻積累多年專業(yè)工具無法被邏輯地連貫起來，沒有閉環(huán)，用戶很容易「逸出」預(yù)設(shè)的邏輯，很難獲得想要的服務(wù)。
當(dāng)然，螞蟻金融大模型給到的這種專業(yè)服務(wù)，不只是調(diào)用某個工具，而是這些工具的有效組合，牽涉到推理、規(guī)劃能力 它知道如何將這些工具組合起來，如何將不同工具的輸出整合起來，變成一個完成、連貫的回答，給到用戶。
這就不得不提到大模型的思維鏈能力。對于這類通常由多個步驟構(gòu)成的復(fù)雜任務(wù)（比如數(shù)學(xué)競賽、寫代碼、生成腳本），當(dāng)大模型大到一定臨界點時，就會涌現(xiàn)出思維鏈能能力，過去基本不能解決的問題，變得能夠勝任。思維鏈就像做「因式分解」，把一個復(fù)雜的推理問題進行拆解，逐步解決，自然也就更容易得到高質(zhì)量答案。
現(xiàn)在訓(xùn)練大語言模型的企業(yè)和機構(gòu)很多，但能夠訓(xùn)練出思維鏈并應(yīng)用的很少。保險核賠自動化可以很好展現(xiàn)螞蟻金融大模型的思維鏈能力。
比如，重疾險的賠付往往需要上傳許多發(fā)票、病例等資料，系統(tǒng)識別后還需人工判斷這些材料是否構(gòu)成一個完整的核賠證據(jù)鏈。螞蟻金融大模型通過做思維鏈推理就能自動判斷證據(jù)鏈是否閉合，核賠決策準確率達到 98%。過去依靠人工核賠最快也要 1-2 天，現(xiàn)在僅需幾秒。
四、回避不了的「安全力」
「安全力」幾乎時所有圍繞大模型的討論無法回避的主題，特別是在金融這樣的強監(jiān)管領(lǐng)域，如何讓通用大模型這樣一個率性不羈的創(chuàng)作者懂得西裝白領(lǐng)世界的中規(guī)中矩？
從第一天開始，我們就是奔著工業(yè)化上線的目的去做，所以螞蟻金融大模型的安全力功課做得比較細致。王曉航在大會后接受記者采訪時談道。
與主流通用大模型相比，螞蟻金融大模型有更強的生成內(nèi)容安全的能力，主要包括三個方面。除了和通用大模型一樣要與社會價值觀對齊，金融行業(yè)內(nèi)容生成還要遵循更嚴苛的金融合規(guī)要求。比如，不能有強觀點、不能直接去推薦買或者推薦賣、預(yù)測漲跌等等。
螞蟻金融大模型采用了一個關(guān)鍵技術(shù) RLHF。RLHF 使大模型基于巨量數(shù)據(jù)進行持續(xù)反饋與強化學(xué)習(xí)，更好掌握人類的偏好，結(jié)果更符合人類預(yù)期，比如風(fēng)險規(guī)避水平、投資習(xí)慣，當(dāng)然也包括安全合規(guī)。
「我們也用 RLHF 讓大模型對齊這些業(yè)務(wù)上比較復(fù)雜的適當(dāng)性要求，然后也用后置校驗的方式去保障這個底線�！龟慀櫧忉屨f。
針對大模型最后輸出，會用到 Reward model，它是強化學(xué)習(xí)中的一個核心概念，可以用來評價 Agent 的一次行動的獎勵是多少，并以此為信號指導(dǎo) Agent 的學(xué)習(xí)。比如，通過給輸出打分，看看是否安全合規(guī)，利用打出的 Reward 對生成模型進行迭代。
「合規(guī)要求都非常細，我們都是跟業(yè)務(wù)對出來的，然后也經(jīng)過 RLHF，和人類去對齊這些標準，所以，合規(guī)水位會比通用模型要高。」陳鴻說，在線上實際運行的時候還會有例行的巡檢，對各種意外的情況做毫秒級的安全攔截。
第三，金融事實是高度動態(tài)的，尤其是一些行情數(shù)據(jù)（比如收盤價、基金漲跌幅度），我們會通過一些工具，比如檢索外部實時更新的金融數(shù)據(jù)庫去確保事實準確性，要求也會比通用大模型更高。
針對大模型的幻覺問題，在大規(guī)模產(chǎn)業(yè)級應(yīng)用里（比如核賠），螞蟻采用了大模型與知識圖譜相結(jié)合的雙輪驅(qū)動，確保生成內(nèi)容的專業(yè)和嚴謹。此外，螞蟻還讓大模型生成思維鏈，一步一步展開思考過程，用概率圖模型來檢驗這些推理鏈條的置信度，確保事實性幻覺問題的大幅下降。
螞蟻集團首席技術(shù)官、平臺技術(shù)事業(yè)群總裁何征宇在大會上表示，建設(shè)大模型安全能力也是未來螞蟻持續(xù)探索和精進大模型的五大能力方向之一。
四、「四力合一」的上與下：底層支持與產(chǎn)業(yè)應(yīng)用
強大底層算力設(shè)施為螞蟻金融大模型提供了一個好的基礎(chǔ)和起點。
之前 AI 應(yīng)用里，很多訓(xùn)練的任務(wù)都是單卡或單機就能完成，但在大模型時代，需要千卡、萬卡來完成一個任務(wù)。這就需要構(gòu)建智算集群，能夠支持萬卡級別的高速互聯(lián)，并且支持各種異構(gòu)算力，包括 CPU、GPU 等算力的高速互聯(lián)。
螞蟻金融大模型走純自研的技術(shù)路線，全棧布局，在底層基礎(chǔ)設(shè)施方面，目前已建成萬卡 AI 集群，為大模型落地應(yīng)用提供有力支撐。
不過，高性能 GPU 卡多了，在現(xiàn)有工程條件下保證大量的卡的長時間穩(wěn)定運行，極有挑戰(zhàn)性。因為中間容易出現(xiàn)各種狀況，導(dǎo)致重啟，拉低訓(xùn)練效率。螞蟻也歷經(jīng)了許多試錯，目前千卡規(guī)模訓(xùn)練 MFU 業(yè)界平均水平約 50% 左右。螞蟻的千卡規(guī)模訓(xùn)練 MFU 可達到 40%。另外，集群有效訓(xùn)練時長占比 90% 以上。
值得注意的是，螞蟻金融大模型是直接面向生產(chǎn)的工業(yè)級大模型，因此也做了很多推理上的工作。比如，提升系統(tǒng)每秒吐出的 Token 數(shù)量。
ChatGPT 推理輸出時，都是一個字一個字地出，等它把最后一個字出完了，機器才能執(zhí)行。系統(tǒng)反應(yīng)完成大概需要十幾秒，在真實應(yīng)用場景下，這種體驗會很差。
目前，螞蟻金融大模型的「RLHF 訓(xùn)練在同等模型效果下，訓(xùn)練吞吐性能相較于業(yè)界方案提升 3.59 倍，推理性能相較于業(yè)界方案提升～2 倍，處于業(yè)界先進水平�！�
離開底層再往上看，金融大模型能否與應(yīng)用場景結(jié)合，解決產(chǎn)業(yè)真問題，一直是螞蟻的關(guān)注點。王曉航在大會上表示，銷售、服務(wù)、風(fēng)險管理、投研、理賠等，金融業(yè)務(wù)鏈條上每一個關(guān)鍵職能，「都值得用大模型技術(shù)重做一次�！�
具體到消費端，支小寶（2.0）完成從檢索式 AI 飛躍到生成式 AI，服務(wù)水平趨近于專家水平，能幫助用戶深度解讀市場信息、并結(jié)合用戶的財務(wù)目標、投資偏好等，提供個性化的配置策略。
這里需要補充一點 支小寶的「情商」也有顯著提升。理財市場朝著權(quán)益凈值化方向發(fā)展，更好更專業(yè)的陪伴也成為一種必然趨勢。陪伴小白用戶更理性持有理財產(chǎn)品，「情商」不可或缺。
支小寶（2.0）在回答用戶提問后，還會自動「反思」回答準確度，進行自我糾偏。
這種「自使，主要是指判斷自己給到的答案是不是可信。陳鴻解釋說。比如，客戶問白酒為什么漲，第一步可能是理解他想問什么，接下來可能要調(diào)取相應(yīng)的服務(wù)和工具去生成相應(yīng)回應(yīng)，最后還會評價自己剛才的生成的結(jié)果到底有多可靠。
它知道自己這句話的置信度，然后決定要不要「認慫」，這在小模型時代是很難做到的。
除了支小寶（2.0），螞蟻也首次推出了面向產(chǎn)業(yè)的金融版 Copilot「支小助 1.0」，包含「服務(wù)專家版」、「投研專家版」、「理賠專家版」、「保險研判專家版」等六個版本。
以保險行業(yè)為例。因為條款、專業(yè)術(shù)語很多，保險行業(yè)招募培訓(xùn)保險代理人員的成本居高不下，核賠等后端服務(wù)也是人力密集，人們常說理賠才是服務(wù)開始，成本居高不下。
現(xiàn)在，「服務(wù)專家版」「支小助 1.0」可以為銷售提供個性化的話術(shù)培訓(xùn)。擁有思維鏈能力（以及多模態(tài)能力）的理賠專家版「支小助 1.0」大幅提升了核賠自動化水平：
它不僅將復(fù)雜單據(jù)的整案提取準確率由 80% 提升到 98%，也讓核賠決策在 98% 準確率的前提下，覆蓋率從 40% 提升至 70%，讓門診險理賠和 30% 以上的住院醫(yī)療險理賠能夠完全自動化。
保險研判專家版「支小助 1.0」研判觀點提取不僅比主流通用模型優(yōu)秀，甚至超過專家平均水平。
投研版「支小助 1.0」對每日事件實現(xiàn)媲美人類專家平均水平的主觀分析與決策，將事件解讀效率從每周 10 篇提升到每日 400+，還能幫忙生成金融工程代碼。
通用大模型無法在專業(yè)嚴謹?shù)念I(lǐng)域直接對外商用，只有走向垂直行業(yè)大模型，才能帶來產(chǎn)業(yè)價值。螞蟻探索出了一條路：
以行業(yè)大模型為認知和交互的中樞，調(diào)用領(lǐng)域知識和專業(yè)服務(wù)，這是一個「大模型 + 知識 + 服務(wù)」驅(qū)動的架構(gòu)，為消費者和產(chǎn)業(yè)應(yīng)用，提供「四力」的支撐。
不過，金融行業(yè)本質(zhì)是一個關(guān)于數(shù)字、邏輯、復(fù)雜決策的領(lǐng)域，初出茅廬的金融大模型的局限性和它的優(yōu)點一樣明顯：對金融長文本的理解能力很差、缺乏數(shù)量推理能力和否定判定與生成能力，等等。
金融大模型產(chǎn)業(yè)化應(yīng)用的征程才剛剛開始，選擇在外灘發(fā)布或許也有這樣一種意味：
一個世紀之前，這里中國第一輛汽車上路的地方。從這里出發(fā)，科技助力人類越走越遠，從上海走向全中國、走向世界，上天入地、一步步走向日常生活……
