西風(fēng) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
Stability AI開(kāi)年第一個(gè)大模型來(lái)了！
名為Stable Code 3B，參數(shù)27億，專(zhuān)為寫(xiě)代碼而生。
Stable Code 3B可理解處理18種不同的編程語(yǔ)言，上下文長(zhǎng)度100K token。
且它對(duì)硬件要求也不高，用MacBook Air等普通筆記本電腦也能離線運(yùn)行。
性能方面，Stable Code 3B規(guī)模比CodeLLaMA 7B小60%，但性能卻大差不差。
BigCode評(píng)估中，在包含多種編程語(yǔ)言的MultiPL-E數(shù)據(jù)集上，Stable Code 3B與類(lèi)似大小的模型相比，都拿下了SOTA性能。
Stable Code 3B剛上線，有網(wǎng)友反饋已經(jīng)在插件中用上了：
效果非常好！體積小，兼容各種硬件且運(yùn)行速度非�？臁�
Stable Code 3B長(zhǎng)啥樣？
在此之前，Stability AI去年8月份就已發(fā)布了一個(gè)初代版本Stable Code Alpha 3B，Stable Code 3B是其進(jìn)化版。但開(kāi)發(fā)團(tuán)隊(duì)表示，Stable Code 3B是首個(gè)主要版本，基于Stable LM 3B基礎(chǔ)模型打造，并增加了多項(xiàng)附加功能。
其中就包括支持中間填補(bǔ)（FIM）等新功能，并使用RoPE（旋轉(zhuǎn)位置嵌入）方法，將上下文長(zhǎng)度從16000 token拉長(zhǎng)至100000 token。
Stable Code 3B整體架構(gòu)類(lèi)似于LLaMA，是一個(gè)僅解碼器模型，使用Flash Attention 2算法。
支持以下18種編程語(yǔ)言：
C、CPP、Java、JavaScript、CSS、Go、HTML、Ruby、Rust、Markdown、Shell、Php、Sql、R、Typescript、Python、Jupyter-Clean、RestructuredText
下面是對(duì)性能比較的補(bǔ)充。
面對(duì)比自己大兩倍多的CodeLLama 7B，Stable Code 3B的性能也差不多能與其打個(gè)平手，在Python、CPP語(yǔ)言上甚至略勝一籌。
在類(lèi)似大小的模型中，Stable Code 3B表現(xiàn)突出。
不過(guò)也有吐槽聲
雖然Stable Code 3B收到了一波好評(píng)，但也有不少網(wǎng)友認(rèn)為“沒(méi)有太多新東西”、“沒(méi)有那么好”。
此外，它僅支持英語(yǔ)和編程語(yǔ)言，也是讓大家有些許失望。
對(duì)此，你怎么看？
參考鏈接：
[1]https://huggingface.co/stabilityai/stable-code-3b
[2]https://twitter.com/StabilityAI/status/1747348018884493623
