文｜林煒鑫
編輯｜鄧詠儀
本月初新發(fā)布的大模型「Yi」這兩天卷入一場(chǎng)爭(zhēng)議�？萍夹侣勆鐓^(qū)Hacker News的一篇帖子指出，Yi-34B模型完全使用了LLaMa的架構(gòu)，只是重新命名了兩個(gè)張量（Tensor，通常用來(lái)表示模型的輸入、輸出和參數(shù)），卻未提及LLaMa。
帖子引起業(yè)內(nèi)關(guān)注
「Yi」是由李開(kāi)復(fù)創(chuàng)辦的AI公司「零一萬(wàn)物」打造的國(guó)產(chǎn)開(kāi)源大模型，擁有200K上下文窗口，可處理約40萬(wàn)字文本。自推出后，零一萬(wàn)物表示，Yi模型在Hugging Face英文開(kāi)源社區(qū)平臺(tái)和C-Eval中文評(píng)測(cè)榜單中，取得多項(xiàng)SOTA國(guó)際最佳性能指標(biāo)認(rèn)可，成為第一家登頂Hugging Face全球開(kāi)源模型排行榜的國(guó)產(chǎn)模型。
零一萬(wàn)物昨日回應(yīng)表示，Yi模型的研發(fā)借鑒了行業(yè)頂尖水平的公開(kāi)成果；之所以改名是為了滿足訓(xùn)練實(shí)驗(yàn)的需求；團(tuán)隊(duì)將更新代碼。
這場(chǎng)爭(zhēng)議的源頭是零一萬(wàn)物Hugging Face社區(qū)的一條留言。一位ID名為「ehartford」的工程師數(shù)天前便發(fā)現(xiàn)了這個(gè)問(wèn)題，并指出這一行為沒(méi)有符合LLaMa規(guī)定的許可協(xié)議。
ehartford朝Yi團(tuán)隊(duì)喊話
有開(kāi)發(fā)者跟帖道：“如果他們確實(shí)用了Meta LLaMa結(jié)構(gòu)、代碼庫(kù)和所有相關(guān)資源，需要遵守LLaMa規(guī)定的許可協(xié)議。”
因此，另一位開(kāi)發(fā)者動(dòng)手把張量名字改了回去，重新放到Hugging Face上。
很快，有人翻出了前阿里首席AI科學(xué)家、AI創(chuàng)業(yè)者賈揚(yáng)清的朋友圈：
賈揚(yáng)清朋友圈
需要區(qū)別的是，Yi引發(fā)的爭(zhēng)議在于其模型架構(gòu)的命名，與抄襲、簡(jiǎn)單套殼有本質(zhì)區(qū)別。LLaMa本就是開(kāi)源的模型，使用LLaMa的架構(gòu)是正常的大模型訓(xùn)練步驟，即使是選擇同一種架構(gòu)，用不同數(shù)據(jù)集訓(xùn)練出來(lái)的模型也會(huì)截然不同。
一位開(kāi)發(fā)者則向36氪表示，外界苛責(zé)的是使用開(kāi)源LLaMa-2模型架構(gòu)，卻改了名字，“好比造了跟奔馳一樣的車(chē)，把牌子換了名字，把方向盤(pán)改為動(dòng)力控制轉(zhuǎn)向器”。在他看來(lái)，用了LLaMa架構(gòu)，“大方承認(rèn)就好”。
有開(kāi)發(fā)者曬出Yi和LLaMa的代碼對(duì)比
昨天下午，「Yi」團(tuán)隊(duì)開(kāi)源總監(jiān)在Hugging Face社區(qū)回復(fù)，命名問(wèn)題是團(tuán)隊(duì)的疏忽，“在大量的訓(xùn)練實(shí)驗(yàn)中，我們對(duì)代碼進(jìn)行了多次重命名以滿足實(shí)驗(yàn)要求，但在發(fā)布前沒(méi)有將它們切換回來(lái)”。他表示，團(tuán)隊(duì)將把張量名字從Yi改回LLaMa，并且重新發(fā)布。
Yi團(tuán)隊(duì)在社區(qū)上的回應(yīng)
附零一萬(wàn)物給機(jī)器之心的回應(yīng)：
GPT 是一個(gè)業(yè)內(nèi)公認(rèn)的成熟架構(gòu)，LLaMa 在 GPT 上做了總結(jié)。零一萬(wàn)物研發(fā)大模型的結(jié)構(gòu)設(shè)計(jì)基于 GPT 成熟結(jié)構(gòu)，借鑒了行業(yè)頂尖水平的公開(kāi)成果，同時(shí)基于零一萬(wàn)物團(tuán)隊(duì)對(duì)模型和訓(xùn)練的理解做了大量工作，這是我們首次發(fā)布獲得優(yōu)秀結(jié)果的地基之一。與此同時(shí)，零一萬(wàn)物也在持續(xù)探索模型結(jié)構(gòu)層面本質(zhì)上的突破。
模型結(jié)構(gòu)僅是模型訓(xùn)練其中一部分。Yi 開(kāi)源模型在其他方面的精力，比如數(shù)據(jù)工程、訓(xùn)練方法、baby sitting（訓(xùn)練過(guò)程監(jiān)測(cè)）的技巧、hyperparameter 設(shè)置、評(píng)估方法以及對(duì)評(píng)估指標(biāo)的本質(zhì)理解深度、對(duì)模型泛化能力的原理的研究深度、行業(yè)頂尖的 AI Infra 能力等，投入了大量研發(fā)和打底工作，這些工作往往比起基本結(jié)構(gòu)能起到更大的作用跟價(jià)值，這些也是零一萬(wàn)物在大模型預(yù)訓(xùn)練階段的核心技術(shù)護(hù)城河。
在大量訓(xùn)練實(shí)驗(yàn)過(guò)程中，由于實(shí)驗(yàn)執(zhí)行需求對(duì)代碼做了更名，我們尊重開(kāi)源社區(qū)的反饋，將代碼進(jìn)行更新，也更好的融入 Transformer 生態(tài)。
我們非常感謝社區(qū)的反饋，我們?cè)陂_(kāi)源社區(qū)剛剛起步，希望和大家攜手共創(chuàng)社區(qū)繁榮，Yi Open-source 會(huì)盡最大努力持續(xù)進(jìn)步。
歡迎交流
