東軟主要采用了體渲染（Volume Rendering）技術(shù)，通過(guò)OpenMP與SSE4指令集支持光線合成的實(shí)現(xiàn)。
SSE4指令集不僅擴(kuò)展了Intel 64指令集架構(gòu)，還加入了圖形、視頻編碼及處理、三維成像等方面的指令，使涉及音頻、圖像和數(shù)據(jù)壓縮算法的應(yīng)用程序性能大幅提升。
為了找出執(zhí)行三維可視化任務(wù)時(shí)，其產(chǎn)品在部分應(yīng)用中性能不足的瓶頸所在，東軟使用了英特爾提供的VTune Profiler工具，最終確定了瓶頸函數(shù)SafeGradz。該函數(shù)主要利用SSE4指令集進(jìn)行三線性插值，從而實(shí)現(xiàn)光線上點(diǎn)的梯度計(jì)算。通過(guò)對(duì)該函數(shù)的代碼進(jìn)行優(yōu)化，東軟成功提升了三維可視化應(yīng)用的性能。
在不同代英特爾 至強(qiáng) 可擴(kuò)展處理器上進(jìn)行測(cè)試，結(jié)果顯示，在處理器開(kāi)通4并發(fā)8線程時(shí)，第五代英特爾 至強(qiáng) 鉑金8592+處理器的三維重建效率，相比第二代的英特爾 至強(qiáng) 銀牌4210R處理器提升達(dá)2.45倍，讓三維影像的交互更加流暢順滑。
圖注：PACS/RIS 系統(tǒng)的三維重建應(yīng)用運(yùn)行效率比較
值得注意的是，第五代英特爾 至強(qiáng) 鉑金8592+的主頻為1.90GHz，比第二代英特爾 至強(qiáng) 銀牌4210R的2.40GHz主頻還要低。
更進(jìn)一步說(shuō)明了，性能提升靠的不是主頻提升，而是靠適合工作負(fù)載的指令集和各種優(yōu)化工作。
接下來(lái)看AI推理部分。
東軟借助處理器內(nèi)置的英特爾 AMX（高級(jí)矩陣擴(kuò)展）技術(shù)，讓CPU也能輕松駕馭深度學(xué)習(xí)任務(wù)。
英特爾 AMX針對(duì)廣泛的硬件和軟件進(jìn)行了優(yōu)化，在前代VNNI和BF16技術(shù)的基礎(chǔ)上，進(jìn)一步增強(qiáng)了矩陣計(jì)算能力，最大限度地利用計(jì)算資源，改善高速緩存利用率，避免潛在的帶寬瓶頸。
東軟在第二代/第四代/第五代英特爾 至強(qiáng) 可擴(kuò)展處理器上，測(cè)試了不同參數(shù)規(guī)模的AI模型在同步和異步模式下的推理表現(xiàn)。
測(cè)試數(shù)據(jù)顯示，對(duì)于參數(shù)量為31,185,568的較大模型，在BF16精度和異步模式下，第五代英特爾 至強(qiáng) 鉑金8592+處理器相比第二代英特爾 至強(qiáng) 銀牌4210R處理器，推理性能提升高達(dá)8.49倍。這意味著AI輔助診斷能以更快的速度為醫(yī)生提供洞見(jiàn)。
圖注：BF16 精度下的異步推理性能比較
之所以選擇第五代英特爾 至強(qiáng) 可擴(kuò)展處理器，除了其本身性能夠強(qiáng)之外，還有一些額外的好處。
比如輔以英特爾提供的OpenVINO 工具套件優(yōu)化和部署各類模型，還可跨英特爾 硬件擴(kuò)展計(jì)算機(jī)視覺(jué)和非視覺(jué)工作負(fù)載，從而大幅提高性能，達(dá)到軟硬協(xié)同的效果。
又比如第五代至強(qiáng) 與上一代產(chǎn)品在軟件和平臺(tái)上兼容，因此在部署新系統(tǒng)時(shí)可以大大減少測(cè)試和驗(yàn)證工作。
……
在減少測(cè)試和驗(yàn)證這里，其實(shí)也起到一些節(jié)省成本的效果了。
不過(guò)在省錢(qián)這件事上，除了與具體技術(shù)優(yōu)化相關(guān)，還有更多行業(yè)經(jīng)驗(yàn)可以分享。
##成本怎么打下來(lái)
其實(shí)醫(yī)療行業(yè)在選擇硬件這件事上，CPU早已成為各大玩家們眼中的“香餑餑”。
原因也是很簡(jiǎn)單，GPU固然在性能方面存在一定的優(yōu)勢(shì)，但“硬傷”也是比較明顯，那便是成本過(guò)高。
并且從宏觀角度來(lái)看，大模型的火熱確實(shí)催動(dòng)了GPU需求的激增，在訓(xùn)練階段尤甚；但現(xiàn)如今到了以推理為主的階段，如何能讓AI“快好省”地用起來(lái)成為了關(guān)鍵點(diǎn)。在部署時(shí)盲目堆GPU不僅可能會(huì)造成算力過(guò)剩，出現(xiàn)“大炮打蚊子”的現(xiàn)象，更是會(huì)導(dǎo)致成本的“水漲船高”。
而諸如第五代英特爾 至強(qiáng) 這樣的高端CPU，不僅能夠很好地跟上性能的腳步，在成本的控制方面也是給出了滿足成本條件的更加可行、更符合實(shí)際的方案。
一言蔽之，高性價(jià)比才是關(guān)鍵中的關(guān)鍵。
其次，CPU也算找準(zhǔn)了“賽道”部分醫(yī)療場(chǎng)景的AI推理具備批處理特性，對(duì)AI推理時(shí)延性能不敏感，更適合采用CPU進(jìn)行推理。
具體到性能方面，第五代英特爾 至強(qiáng) 的“打開(kāi)方式”是這樣的：
●整體性能提升：21%
●推理性能提升：42%
●內(nèi)存速度提升：16%
●三級(jí)緩存提升：2.7倍
●每瓦性能提升：10倍
也正因如此，第五代英特爾 至強(qiáng) 在處理多樣化的任務(wù)負(fù)載時(shí)，可以顯著提升每瓦特性能，尤其在人工智能、數(shù)據(jù)中心管理、網(wǎng)絡(luò)操作和科學(xué)計(jì)算領(lǐng)域，而且還能顯著降低總體擁有成本（TCO）。
而這也還僅是東軟等醫(yī)療行業(yè)選擇CPU的原因之一，廣泛的兼容性和成熟的技術(shù)也是不可忽視的。
眾所周知，CPU技術(shù)的發(fā)展相對(duì)來(lái)說(shuō)較為成熟，幾乎所有軟件應(yīng)用和操作系統(tǒng)都能在CPU上良好運(yùn)行。
而在醫(yī)療行業(yè)中，存在大量基于傳統(tǒng)架構(gòu)開(kāi)發(fā)的軟件，這些軟件通常設(shè)計(jì)為在標(biāo)準(zhǔn)的CPU上運(yùn)行。因此，使用CPU可以確保與現(xiàn)有系統(tǒng)和軟件的廣泛兼容性。
其次，CPU易于維護(hù)和升級(jí)也是重要的一點(diǎn)，而GPU在這方面會(huì)顯得更為復(fù)雜。醫(yī)療行業(yè)依賴于穩(wěn)定運(yùn)行的系統(tǒng)來(lái)保證服務(wù)的連續(xù)性，因此更傾向于選擇維護(hù)簡(jiǎn)便、升級(jí)路徑明確的硬件解決方案。
加之CPU早已在醫(yī)療行業(yè)上崗，廣泛用于電子病歷系統(tǒng)、醫(yī)院資源規(guī)劃系統(tǒng)等，培養(yǎng)出成熟的技術(shù)團(tuán)隊(duì)，也建立了完善的采購(gòu)流程。
因此，為什么醫(yī)療行業(yè)青睞于CPU、為什么越來(lái)越多的人會(huì)選擇CPU做AI推理，也就不難理解了。
在這一點(diǎn)上，或許也正應(yīng)了英特爾CEO帕特基辛格曾經(jīng)表達(dá)過(guò)的觀點(diǎn)：
>從經(jīng)濟(jì)學(xué)的角度看推理應(yīng)用的話，很多客戶并不需要高端的GPU設(shè)備，因?yàn)樗杀咎�，耗電太多，并且需要�?gòu)建新的技術(shù)架構(gòu)，以及新的IT設(shè)施，一切都是全新的挑戰(zhàn)。
>如果我能在標(biāo)準(zhǔn)版的英特爾芯片上運(yùn)行AI應(yīng)用且滿足需求，就不會(huì)出現(xiàn)這些問(wèn)題。
##能用起來(lái)才是硬道理
如果說(shuō)東軟選擇第五代英特爾 至強(qiáng) 這件事是一個(gè)“點(diǎn)”，它其實(shí)能夠帶出來(lái)的是一個(gè)更大的“面”
技術(shù)，需得廣泛用起來(lái)，這才是硬道理。
誠(chéng)然現(xiàn)在是以大模型為主流的時(shí)代，但回看2023年至今的發(fā)展，其實(shí)也是在印證著這一點(diǎn)。
起初大模型的發(fā)展先是掀起了以訓(xùn)練為主的百模大戰(zhàn)，而后又迅速轉(zhuǎn)向了推理階段，也就是技術(shù)要落地。
到了今年，這一趨勢(shì)也是越發(fā)明顯，不論是OpenAI、谷歌等巨頭，還是乘AIGC東風(fēng)起家的初創(chuàng)，都在發(fā)力于如何讓AIGC更好地用起來(lái)。
一言蔽之，現(xiàn)在已然是應(yīng)用為王的階段。
而要讓前沿技術(shù)做到真正落地，就必須要在性能和成本之間做好平衡；或許這也正是近期國(guó)內(nèi)大廠們掀起瘋狂“價(jià)格戰(zhàn)”的原因之一。
但無(wú)論AI如何發(fā)展，算力，永遠(yuǎn)是繞不開(kāi)的一個(gè)話題。
因此，站在現(xiàn)在這個(gè)“AI一日，人間一年”的時(shí)代，縱使技術(shù)日新月異，要想讓它們廣泛被用起來(lái)，性能和成本之間的這桿秤，需是得從最底層的基礎(chǔ)設(shè)施抓起。
而東軟和英特爾的合作模式，是一個(gè)可以值得借鑒的“范本”了。
