夢晨 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
“取消今晚所有計劃!”,許多AI開發(fā)者決定不睡了。
只因首個開源MoE大模型剛剛由Mistral AI發(fā)布。
MoE架構(gòu)全稱專家混合(Mixture-of-Experts),也就是傳聞中GPT-4采用的方案,可以說這是開源大模型離GPT-4最近的一集了。
沒有發(fā)布會、沒有宣傳視頻,只靠一個磁力鏈接,就產(chǎn)生如此轟動效果。
具體參數(shù)還得是網(wǎng)速快的人下載完之后,從配置文件里截圖發(fā)出來的:
7B參數(shù)x8個專家,對每個token選擇前兩個最相關(guān)的專家來處理。
以至于OpenAI創(chuàng)始成員Karpathy都吐槽,是不是少了點什么?
怎么缺了一個那種排練很多次的專業(yè)范視頻,大談特談AI變革埃
至于吐槽的是誰,懂得都懂了。
以及他還解釋了為什么AI社區(qū)這幾天如此活躍:最大的深度學(xué)習(xí)會議NeurIPS即將在下周開啟。
MoE,開源大模型新階段?
為何這款開源MoE模型如此受關(guān)注?
因為其前身Mistral-7B本來就是開源基礎(chǔ)模型里最強的那一檔,經(jīng)?梢栽郊壧魬(zhàn)13B、34B。
并且Mistral-7B以寬松的Apache-2.0開源協(xié)議發(fā)布,可免費商用,這次新模型很可能沿用這個協(xié)議。
在多個評測排行榜上,基于Mistral-7B微調(diào)的Zephyr-7B-beta都是前排唯一的7B模型,前后都是規(guī)模比他大得多的模型。
LLMSYS Chatbot Arena上,Zephry-7B-beta目前排第12。
AlpacaEval上,也排到第15。
目前這個新的MoE模型連個正式名字都還沒有,社區(qū)一般稱呼它為Mistral-7Bx8 MoE。
但在大家期待的期待中,新MoE模型對比單體Mistral-7B的提升幅度,就應(yīng)該像GPT-4對比GPT-3.5那樣。
但是注意了,有人提醒大家MoE對于本地運行來說不是太友好,因為更占內(nèi)存
但更適合部署在云端,跨設(shè)備專家并行,給公司處理并發(fā)需求帶來成本優(yōu)勢。
行動比較快的公司是前PyTorch成員出走創(chuàng)辦的fireworks.ai。
第一次嘗試、沒有任何優(yōu)化的情況下,需要兩張80GB內(nèi)存的卡,優(yōu)化版本即將推出。
Replicate上也有了可試玩版本,簡單試用發(fā)現(xiàn)中文水平也不錯。
其實Mistral AI也為大家準(zhǔn)備了官方配套代碼,使用了斯坦福去年發(fā)布的輕量級MoE庫Megablocks。
創(chuàng)始人:小模型支持更多有意思的應(yīng)用
Mistral AI由前DeepMind、前Meta科學(xué)家創(chuàng)辦。
剛剛完成一輪4.87億美元的新融資,最新估值逼近20億美元,已晉升獨角獸。
三位聯(lián)合創(chuàng)始人中,CEOArthur Mensch此前在DeepMind巴黎工作。
CTOTimothée Lacroix和首席科學(xué)家Guillaume Lample則在Meta共同參與過Llama系列的研發(fā),Lample是通訊作者之一。
Arthur Mensch曾在接受采訪時談到,讓模型變小是支持Agent發(fā)展的路徑之一。
如果能把計算成本降低100倍,就能構(gòu)建起更多有意思的應(yīng)用。
Mistral AI成立于今年5月,種子輪融資1.13億美元。
9月底,Mistral AI以磁力鏈接的形式發(fā)布第一個開源模型Mistral-7B,當(dāng)時很多開發(fā)者試用后都覺得Llama-2不香了。
12月初,Mistral AI再次甩出開源MoE模型磁力鏈接,再次掀起一波熱潮。
這就是公司官號僅有的幾次發(fā)言。
不少人都拿來和最近谷歌的過度宣傳做對比。
最新的梗圖:磁力鏈接就是新的arXiv。
參考鏈接:
[1]https://x.com/MistralAI/status/1733150512395038967?s=20
[2]https://github.com/mistralai/megablocks-public
[3]https://replicate.com/nateraw/mixtral-8x7b-32kseqlen