劃重點(diǎn)
01國(guó)產(chǎn)大模型零一萬(wàn)物發(fā)布的Yi-Lightning在公開(kāi)榜單上首次超過(guò)GPT-4o，躋身Top10。
02Yi-Lightning在中文能力、數(shù)學(xué)能力、代碼能力等方面表現(xiàn)優(yōu)秀，總分幾乎與馬斯克的最新xAI大模型Grok-2-08-13持平。
03除此之外，國(guó)內(nèi)清華系大模型公司智譜AI的GLM-4-Plus也殺進(jìn)總榜，位居第9位。
04零一萬(wàn)物創(chuàng)始人兼CEO李開(kāi)復(fù)博士表示，國(guó)產(chǎn)大模型與硅谷頂尖模型的差距已縮小至五個(gè)月。
05Yi-Lightning采用MoE混合專(zhuān)家模型架構(gòu)，優(yōu)化混合注意力機(jī)制、跨層注意力等技術(shù)，以提高性?xún)r(jià)比。
以上內(nèi)容由騰訊混元大模型生成，僅供參考
西風(fēng) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
國(guó)產(chǎn)大模型首次在公開(kāi)榜單上超過(guò)GPT-4o！
就在剛剛，“大模型六小強(qiáng)”之一的零一萬(wàn)物正式對(duì)外發(fā)布新旗艦?zāi)Ｐ?strong>Yi-Lightning（閃電）。
在大模型競(jìng)技場(chǎng)（Chatbot Arena）上，Yi-Lightning性能直沖總榜單并列第6，數(shù)學(xué)分榜并列第3，代碼等其它分榜也名列前茅。
總成績(jī)幾乎與馬斯克最新xAI大模型Grok-2-08-13持平，超越GPT-4o-2024-05-13、GPT-4o-mini-2024-07-18、Claude 3.5 Sonnet等頂流。
同時(shí)，國(guó)內(nèi)清華系大模型公司智譜AI的GLM-4-Plus也殺進(jìn)了總榜，位居第9位。
該榜單結(jié)果來(lái)自全球累積超千萬(wàn)次的人類(lèi)用戶(hù)盲測(cè)投票。
前段時(shí)間大模型競(jìng)技場(chǎng)還剛剛更新了規(guī)則，新榜單對(duì)AI回答的長(zhǎng)度和風(fēng)格等特征做了降權(quán)處理，分?jǐn)?shù)更能反映模型真正解決問(wèn)題的能力。
這次Yi-Lightning殺出重圍，Lmsys團(tuán)隊(duì)特意發(fā)帖子，稱(chēng)這是競(jìng)技場(chǎng)上的大新聞：
大模型競(jìng)技場(chǎng)總榜第六、國(guó)產(chǎn)第一細(xì)看大模型競(jìng)技場(chǎng)分類(lèi)榜上的“賽況”，Yi-Lightning各項(xiàng)能力都排在前頭。
在中文能力上，Yi-Lightning和GLM-4-Plus兩個(gè)國(guó)產(chǎn)大模型都名列前位。
Yi-Lightning躍居并列第二，和o1-mini相差無(wú)幾。
數(shù)學(xué)能力，Yi-Lightning和Gemini-1.5-Pro-002并列第3，僅次于o1-preview、o1-mini。
代碼能力Yi-Lightning排名并列第4。
另外在Hard Prompts和Longer Query分榜，Yi-Lightning也都排在第4位。
最后同樣值得關(guān)注的是，競(jìng)技場(chǎng)新功能風(fēng)格控制過(guò)濾，確保分?jǐn)?shù)反映模型真正解決問(wèn)題的能力，而不是用漂亮的格式、增加回答長(zhǎng)度。
在對(duì)長(zhǎng)度和風(fēng)格等特征做了降權(quán)處理后，所有模型分?jǐn)?shù)均有下降，Yi-Lightning排名變化不大，整體還與GPT-4o、Grok-2同一梯隊(duì)。
發(fā)布會(huì)上，零一萬(wàn)物創(chuàng)始人兼CEO李開(kāi)復(fù)博士展示了Yi-Lightning在不同場(chǎng)景上的能力。
Yi-Lightning主打一個(gè)“推理速度更快，生成質(zhì)量更好”。
相比上半年Yi-Large，Yi-Lightning首包速度提升1倍，推理速度也提升了4成。
像是翻譯下面這種文學(xué)作品，Yi-Lightning不僅速度更快：
而且用詞更精準(zhǔn)，更具文學(xué)色彩：
那么Yi-Lightning是如何做到的？
好用還得極速Yi-Lightning采用MoE混合專(zhuān)家模型架構(gòu)。
底層技術(shù)上，Yi-Lightning在以下方面進(jìn)行了提升。
首先是優(yōu)化混合注意力機(jī)制（Hybrid Attention），只在模型的部分層次中將傳統(tǒng)的全注意力（Full Attention）替換為滑動(dòng)窗口注意力（Sliding Window Attention）。
由此以來(lái)，模型在保證處理長(zhǎng)序列數(shù)據(jù)高性能表現(xiàn)的同時(shí)，還能大大降低推理成本。
Yi-Lightning還引入了跨層注意力（Cross-Layer Attention, CLA），允許模型在不同的層次之間共享鍵（Key）和值（Value）頭，減少對(duì)存儲(chǔ)需求。
這使得Yi-Lightning能在不同層次之間更有效地共享信息。
總的來(lái)說(shuō)，KV cache縮小了2-4倍，同時(shí)將計(jì)算的復(fù)雜度從O(L)降至O(L)。
其次，Yi-Lightning還采用了動(dòng)態(tài)Top-P路由機(jī)制。
也就是說(shuō)，Yi-Lightning可以根據(jù)任務(wù)的難度動(dòng)態(tài)自動(dòng)選擇最合適的專(zhuān)家網(wǎng)絡(luò)組合
訓(xùn)練過(guò)程中會(huì)激活所有專(zhuān)家網(wǎng)絡(luò)，使模型能學(xué)習(xí)到所有專(zhuān)家知識(shí)；而推理階段，根據(jù)任務(wù)的難度，模型會(huì)選擇性激活更匹配的專(zhuān)家網(wǎng)絡(luò)。
另外，之前有一些傳言稱(chēng)國(guó)內(nèi)大模型“六小強(qiáng)”，有一些已經(jīng)不做預(yù)訓(xùn)練了，李開(kāi)復(fù)博士這次在發(fā)布會(huì)上直接“辟謠”：
零一萬(wàn)物絕不放棄預(yù)訓(xùn)練。
而且在模型預(yù)訓(xùn)練階段，團(tuán)隊(duì)還積累了豐富的多階段訓(xùn)練方法，將整個(gè)訓(xùn)練分為兩塊，一塊做好以后就把它固定起來(lái)，然后在這個(gè)固定的模型上再做后段訓(xùn)練。
訓(xùn)練前期，更注重?cái)?shù)據(jù)多樣性，使得Yi-Lightning盡可能學(xué)習(xí)不同的知識(shí)；訓(xùn)練后期更重內(nèi)容更豐富、知識(shí)性更強(qiáng)的數(shù)據(jù)。
同時(shí)團(tuán)隊(duì)還在不同階段采用不同的batch size和LR schedule保證訓(xùn)練速度和穩(wěn)定性。
李開(kāi)復(fù)博士還表示，零一萬(wàn)物開(kāi)發(fā)模型講究“�；步�”，也就是共建模型和基礎(chǔ)架構(gòu)。
模型的訓(xùn)練、服務(wù)、推理設(shè)計(jì)，與底層的AIInfra架構(gòu)和模型結(jié)構(gòu)必須高度適配。
這樣做的目的，不僅是讓模型更好，而且讓它在推理的時(shí)候能夠更便宜。
再加上以上種種抬升“性?xún)r(jià)比”的技術(shù)加持，所以Yi-Lightning這次也是打到了白菜價(jià)
0.99元每1M token在中文等方面，Yi-Lightning比肩OpenAI的o1-mini，o1-mini的定價(jià)是每百萬(wàn)輸入3美元，每百萬(wàn)輸出12美元。
Yi-Lightning每百萬(wàn)token只需0.99RMB也是打到了骨折。
但李開(kāi)復(fù)博士表示，即便這樣也：不虧錢(qián)。
除了發(fā)布新模型，零一萬(wàn)物這次還首發(fā)了AI2.0數(shù)字人方案。
目前該數(shù)字人已接入Yi-Lightning，實(shí)時(shí)互動(dòng)效果相比以往更強(qiáng)更自然了，belike：
最后談起和國(guó)外頭部大模型的差距，李開(kāi)復(fù)博士表示這次Yi-Lightning的排名證明了國(guó)產(chǎn)大模型跟硅谷最頂尖模型的差距縮小到了五個(gè)月。
去跟追上美國(guó)最頂尖的模型，縮短這個(gè)時(shí)間差非常困難，要付出很大的努力和有獨(dú)特的打法。在國(guó)內(nèi)不少公司都在努力，“�；步�”則是零一萬(wàn)物自己摸索的獨(dú)特路徑。
參考鏈接：[1]https://x.com/lmarena_ai/status/1846245604890116457[2]https://x.com/01AI_Yi/status/1845776529185476613
