存儲(chǔ)器方案
芝能智芯出品
SK海力士預(yù)測(cè)在人工智能（AI）領(lǐng)域，存儲(chǔ)器解決方案的比重將進(jìn)一步增加，可以通過類似AiMX的解決方案部分替代圖形處理單元（GPU）。在首爾江南區(qū)科技會(huì)議中心舉行的“ETRI Conference 2023”上，SK海力士副社長(zhǎng)表示，對(duì)于像BERT這樣的模型，內(nèi)存密集型功能僅占約5%，而在GPT2中，內(nèi)存功能約占45%。在175B GPT3中，內(nèi)存密集型功能已經(jīng)達(dá)到92%。
內(nèi)存密集型函數(shù)是GEMV，即矩陣和向量相乘的運(yùn)算，是大型語(yǔ)言模型（LLM）的核心。“現(xiàn)在LLM的GEMV內(nèi)存密集比例已達(dá)到92%”，并解釋說，“92%是通過Accelerator in Memory（AiM）處理的，其余8%是通過AiM Control處理的Hub。SK海力士計(jì)劃將AiM控制器改為AiMX專用SoC，而不是FPGA。
AiMX是SK海力士去年發(fā)布的基于內(nèi)存的加速器，專為內(nèi)存密集型函數(shù)計(jì)算進(jìn)行優(yōu)化，配備有16個(gè)1GB GDDR6-AiM和2個(gè)可編程半導(dǎo)體（FPGA）�！霸O(shè)計(jì)AiM控制中樞的成本太高，首先使用FPGA創(chuàng)建了一個(gè)加速器。當(dāng)創(chuàng)建自己的片上系統(tǒng)時(shí)，將添加更多的GDDR6-AiM，以制造64GB或更大的產(chǎn)品�！�
在LLM中，AiMX的延遲比GPU快13倍，功耗降低17%，與GPU相比，LLM具有更優(yōu)越的性能。“主要供應(yīng)AiM芯片并提供參考設(shè)計(jì)來幫助超大規(guī)�？蛻�，”并表示SK海力士將支持創(chuàng)建加速器系統(tǒng)。由于公司最大的客戶之一是GPU公司，因此在推廣AiMX時(shí)需要謹(jǐn)慎，以確保其利益與客戶的利益部分重疊。
