11月6日,李開復AI公司零一萬物宣布首款開源中英雙語大模型“Yi”正式發(fā)布。同時,零一萬物完成了新一輪融資,由阿里云領投。零一萬物目前估值已超10億美元,成為新晉獨角獸。
李開復親自籌組的大模型新公司零一萬物于今年7月正式官宣亮相,由原百度副總裁馬杰擔任法人,創(chuàng)新工場創(chuàng)新工場首席市場官及運營合伙人黃蕙雯擔任002號員工,聯(lián)創(chuàng)團隊成員包含前阿里巴巴副總裁、前滴滴/百度首席算法負責人、前谷歌中國高管、前微軟/SAP/Cisco/副總裁,算法和產(chǎn)品團隊背景均來自國內(nèi)外大廠。
11月2日,Yi在Hugging Face低調上傳了兩個參數(shù)規(guī)模分別為6B和34B的基礎模型。截至11月5日,Yi-34B在Hugging Face LLM Leaderboard(pretrained)(預訓練大語言模型)和中文大模型榜單C-Eval排行榜2個榜單中均快速上升至首位。目前,Yi擁有200K上下文窗口,可處理約40萬字的文本(目前全球大模型中最長的上下文窗口)。
Yi的訓練數(shù)據(jù)主要來源于公開語料的爬取和數(shù)據(jù)庫。測試結果顯示,Yi-6B在常識推理能力和閱讀理解能力上達到了國內(nèi)外開源模型的平均水平,但在數(shù)學與代碼能力上還較弱。Yi-34B在常識推理能力和閱讀理解能力上均大幅領先國內(nèi)外開源模型,在數(shù)學與代碼能力上處于領先水平。
據(jù)了解,零一萬物現(xiàn)已啟動100B以上參數(shù)規(guī)模的模型訓練,同時多模態(tài)大模型團隊已經(jīng)召集了十多個人。李開復透露“Yi”的定位是通用底座,同時,Yi系列量化版本、對話模型、數(shù)學模型、代碼模型、多模態(tài)模型將以快節(jié)奏推出,具體進展在幾周之內(nèi)就會有新的發(fā)布。