傳統(tǒng)軟件問題尚能引發(fā)如此大的問題，那么站在大模型時(shí)代當(dāng)下，AI+金融，是否又能做到準(zhǔn)確可信？
正所謂實(shí)踐是檢驗(yàn)真理唯一標(biāo)準(zhǔn)，要回答的這個(gè)問題，我們不妨了解一下已經(jīng)在金融領(lǐng)域“上崗”了的AI大模型。
大模型上崗金融，都在做什么？
誠(chéng)然AI大模型的發(fā)展已然呈現(xiàn)勢(shì)不可擋的趨勢(shì)，但在金融領(lǐng)域真正應(yīng)用的時(shí)候，依舊存在一些顯著的困難和挑戰(zhàn)。
例如數(shù)據(jù)隱私和安全方面，金融數(shù)據(jù)往往高度敏感，涉及個(gè)人和企業(yè)的財(cái)務(wù)信息，確保數(shù)據(jù)隱私和安全是首要挑戰(zhàn)之一。
并且這些數(shù)據(jù)具有多源和異構(gòu)的特點(diǎn)，需要進(jìn)行有效的整合和處理，才能確保它們的準(zhǔn)確性和完整性。
再如模型本身，大模型往往被視為“黑箱”，因?yàn)槠鋬?nèi)部決策過程難以解釋；在金融領(lǐng)域，尤其是涉及風(fēng)險(xiǎn)管理和監(jiān)管合規(guī)時(shí)，可解釋性和決策透明性是非常重要的。
還有在實(shí)時(shí)性和資源消耗方面，金融市場(chǎng)瞬息萬(wàn)變，需要實(shí)時(shí)數(shù)據(jù)處理和決策支持，大模型的推理涉及到大量的矩陣乘法計(jì)算，對(duì)硬件的矩陣乘法計(jì)算能力提出較高要求，計(jì)算復(fù)雜性可能導(dǎo)致響應(yīng)時(shí)間延遲，不利于實(shí)時(shí)應(yīng)用。
加之大模型訓(xùn)練和推理過程需要大量的計(jì)算資源和能量消耗，這對(duì)企業(yè)的成本和環(huán)保要求提出了挑戰(zhàn)。
而成立于1998年的老牌金融科技公司金證，面對(duì)上述固有的重重困難，卻有著自己的一套解法。
在金證看來(lái)，大模型的優(yōu)勢(shì)在于文本及非結(jié)構(gòu)化數(shù)據(jù)處理能力、人機(jī)交互能力、生成能力和邏輯推理能力較強(qiáng)。
而相比小模型而言，大模型也存在明顯的劣勢(shì)，例如大模型“幻覺”問題（即大模型答非所問），大模型的部署算力要求高造成算力資源浪費(fèi)，部署成本高等問題。
因此，金證的解法就是通過組合式AI，即大模型+小模型+工具，以此來(lái)支撐各個(gè)業(yè)務(wù)場(chǎng)景AI需求。
大模型方面，包含金證去年年底推出的K-GPT以及業(yè)內(nèi)眾多頂流的大模型，在特定的金融任務(wù)中發(fā)揮大模型的特長(zhǎng)。
小模型則是指諸如OCR、NLP、人臉識(shí)別、文字識(shí)別、財(cái)務(wù)分析等傳統(tǒng)模型，可以細(xì)分任務(wù)做到快準(zhǔn)狠地處理。
至于工具，則是指地圖、天氣、CRM、郵件、OA等。
一言蔽之，在某個(gè)金融領(lǐng)域任務(wù)中，這種模式可以讓大模型、小模型和工具做到“專業(yè)的人干專業(yè)事”，尤其能極大地提高效率。
值得一提的是，相比于通用大模型，金證的K-GPT在數(shù)據(jù)查詢的準(zhǔn)確性方面表現(xiàn)更佳，能夠更好地理解金融術(shù)語(yǔ)，提供專業(yè)且數(shù)據(jù)扎實(shí)的回復(fù)。
據(jù)了解，K-GPT 還支持查看引用的知識(shí)源，并具備與實(shí)時(shí)數(shù)據(jù)和模塊化集成的能力，可以調(diào)取實(shí)時(shí)數(shù)據(jù)和組件。
依托龐大的金融知識(shí)庫(kù)，K-GPT專為金融場(chǎng)景服務(wù)，其核心優(yōu)勢(shì)在于對(duì)金融的深入理解、數(shù)據(jù)準(zhǔn)確、可驗(yàn)證性以及支持調(diào)用Agent功能。
從效果上不難看出，金證已然讓大模型在金融領(lǐng)域中合格地上崗，那么針對(duì)成本和資源上的痛點(diǎn)，金證又是如何解決的呢？
背后是高帶寬內(nèi)存（HBM）的至強(qiáng)處理器在發(fā)力
金證K-GPT方案中，還有一點(diǎn)比較特別：與英特爾合作，采用了基于CPU的大模型推理方案。
據(jù)了解，他們主要是看中的是英特爾 至強(qiáng) CPU Max 系列處理器。
這是英特爾唯一一款基于x86架構(gòu)并采用高帶寬內(nèi)存（HBM）的CPU系列，采用了片上HBM設(shè)計(jì)，內(nèi)存帶寬高達(dá)4TB/s。和傳統(tǒng)DDR5內(nèi)存相比，HBM具有更多的訪存通道和更長(zhǎng)的讀取位寬，理論帶寬可達(dá)DDR5的4倍之多。
要知道，大模型推理涉及大量的權(quán)重?cái)?shù)據(jù)讀取，對(duì)硬件平臺(tái)的內(nèi)存訪問帶寬提出了很高的要求。
至強(qiáng) CPU Max具有64GB HBM，每個(gè)內(nèi)核可以分?jǐn)偟匠^1GB的內(nèi)存，對(duì)于包括大模型推理任務(wù)在內(nèi)的絕大多數(shù)計(jì)算任務(wù)，HBM都可以容納全部的權(quán)重?cái)?shù)據(jù)。
內(nèi)存帶寬還不是金證選擇這款CPU的全部理由。
英特爾 至強(qiáng) CPU Max系列還內(nèi)置了英特爾 高級(jí)矩陣擴(kuò)展 (英特爾 AMX)引擎，大幅提升了大規(guī)模矩陣乘法運(yùn)算性能。
金證K-GPT基于Transformer架構(gòu)，其核心特點(diǎn)包括多頭注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)層，這其中都包含大量矩陣運(yùn)算，而英特爾 AMX通過1024位TMUL指令和8個(gè)獨(dú)立的矩陣計(jì)算單元，可以每時(shí)鐘周期執(zhí)行8次獨(dú)立的矩陣乘累加操作，為這些運(yùn)算提供強(qiáng)大的加速能力。
如此一來(lái)，大模型推理的效果如何呢？
在只用單顆 CPU 的情況下，推理130億參數(shù)大模型，首個(gè)詞元生成時(shí)間就能壓到1秒左右，模型推理TPS超過10 tokens/s，用戶提問后約2秒內(nèi)就能得到響應(yīng)。
別忘了遇到負(fù)載高峰等情況，還可以同時(shí)啟用2顆CPU，性能還能提升將近一倍，可以說(shuō)足以滿足金融場(chǎng)景的大部分應(yīng)用需求了。
除了硬件層面的突破，英特爾還提供了經(jīng)過優(yōu)化的軟件工具來(lái)挖掘硬件潛力。
比如廣泛使用的OpenVINO 工具套件，就被用來(lái)專門調(diào)優(yōu)加速模型的Embedding處理進(jìn)行。
金融場(chǎng)景涉及大量專業(yè)文檔的輸入任務(wù)，Emedding正是把文本從離散變量轉(zhuǎn)變?yōu)檫B續(xù)向量的過程，好讓AI能夠理解。
經(jīng)過OpenVINO 工具套件優(yōu)化后，K-GPT大模型的批量Embedding性能提升到3倍之多。
圖注：OpenVINO 工具套件優(yōu)化前后 Embedding 性能比較
再比如金證與K-GPT配合使用的開源向量數(shù)據(jù)庫(kù)Faiss，英特爾也提供了優(yōu)化版本，以提升在至強(qiáng) CPU Max上的模型推理性能。
在大規(guī)模向量相似性檢索任務(wù)中，經(jīng)英特爾優(yōu)化過的版本性能可提升至4倍左右。
圖注：英特爾優(yōu)化版 Faiss 與原始 Faiss 性能對(duì)比（越高越好）
除了性能方面之外，金證選擇英特爾 至強(qiáng) CPU Max系列作為算力底座還帶來(lái)其他方面的優(yōu)勢(shì)：
首先是靈活性。由于與主流的 x86 架構(gòu)完全兼容，金證可以繼續(xù)使用原有的機(jī)器，靈活搭配適合自身業(yè)務(wù)的配置。而且 CPU 能同時(shí)應(yīng)對(duì)推理和通用計(jì)算，可根據(jù)負(fù)載情況隨時(shí)調(diào)配資源。
第二是總擁有成本 (TCO)。從長(zhǎng)遠(yuǎn)來(lái)看，CPU路線能以更低的部署和維護(hù)開銷，實(shí)現(xiàn)與專用加速器相媲美的性能。這對(duì)于需要控制預(yù)算的金融機(jī)構(gòu)來(lái)說(shuō)至關(guān)重要。
綜合看下來(lái)，英特爾 至強(qiáng) CPU Max系列處理器在硬件能力、軟件優(yōu)化、生態(tài)適配、總擁有成本優(yōu)勢(shì)等方面都與金融場(chǎng)景非常契合，不失為業(yè)界大模型落地的一種新思路。
如何評(píng)價(jià)？
隨著數(shù)字化轉(zhuǎn)型的不斷深入，大模型為金融行業(yè)帶來(lái)的機(jī)遇與挑戰(zhàn)并存。
越來(lái)越多的金融機(jī)構(gòu)開始探索如何將 AIGC 技術(shù)與實(shí)際業(yè)務(wù)相結(jié)合，在提質(zhì)增效的同時(shí)控制成本。但總的來(lái)說(shuō)，大模型在金融行業(yè)的應(yīng)用仍處于初步探索階段。
金證攜手英特爾打造的這套大模型推理方案，可謂是應(yīng)用層、模型層、算力層的深度融合，為業(yè)界樹立了標(biāo)桿。
不久前舉辦的金證科技節(jié)，就吸引了眾多金融機(jī)構(gòu)前來(lái)"取經(jīng)"。
作為連接金融與科技的重要平臺(tái)，金證科技節(jié)吸引了眾多來(lái)自銀行、證券、保險(xiǎn)等領(lǐng)域的金融行業(yè)玩家參與，共同探討 AI 技術(shù)在金融領(lǐng)域的應(yīng)用前景與優(yōu)質(zhì)實(shí)踐。
可以預(yù)見，在英特爾的算力加持下，金證將在大模型技術(shù)上不斷突破，助力更多金融機(jī)構(gòu)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型，為用戶帶來(lái)更智能、高效的服務(wù)體驗(yàn)。
